AI systems on edge devices face a critical challenge in open-world environments: adapting when data distributions shift and novel classes emerge. While offline training dominates current paradigms, online continual learning (OCL)--where models learn incrementally from non-stationary streams without catastrophic forgetting--remains challenging in power-constrained settings. We present a neuromorphic solution called CLP-SNN: a spiking neural network architecture for Continually Learning Prototypes and its implementation on Intel's Loihi 2 chip. Our approach introduces three innovations: (1) event-driven and spatiotemporally sparse local learning, (2) a self-normalizing three-factor learning rule maintaining weight normalization, and (3) integrated neurogenesis and metaplasticity for capacity expansion and forgetting mitigation. On OpenLORIS few-shot learning experiments, CLP-SNN achieves accuracy competitive with replay methods while being rehearsal-free. CLP-SNN delivers transformative efficiency gains: 70\times faster (0.33ms vs 23.2ms), and 5,600\times more energy efficient (0.05mJ vs 281mJ) than the best alternative OCL on edge GPU. This demonstrates that co-designed brain-inspired algorithms and neuromorphic hardware can break traditional accuracy-efficiency trade-offs for future edge AI systems.


翻译:边缘设备上的人工智能系统在开放世界环境中面临关键挑战:当数据分布发生偏移且新类别出现时需进行自适应调整。尽管离线训练主导当前范式,但在功耗受限场景下实现在线持续学习——即模型从非平稳数据流中增量学习且避免灾难性遗忘——仍具挑战性。我们提出一种名为CLP-SNN的神经形态解决方案:一种用于持续学习原型的脉冲神经网络架构及其在英特尔Loihi 2芯片上的实现。该方法包含三项创新:(1)事件驱动且时空稀疏的局部学习机制,(2)保持权重归一化的自归一化三因子学习规则,(3)集成神经发生与元可塑性以实现容量扩展与遗忘缓解。在OpenLORIS小样本学习实验中,CLP-SNN达到与回放方法相当的准确率且无需样本复现。CLP-SNN实现了突破性效率提升:相比边缘GPU上最优替代OCL方案,速度提升70倍(0.33ms对比23.2ms),能效提高5600倍(0.05mJ对比281mJ)。这表明协同设计的类脑算法与神经形态硬件能够为未来边缘AI系统突破传统精度-效率权衡。

0
下载
关闭预览

相关内容

英特尔公司是世界上最大的半导体公司,也是第一家推出x86架构处理器的公司,总部位于美国加利福尼亚州圣克拉拉。由罗伯特·诺伊斯、高登·摩尔、安迪·葛洛夫,以“集成电子”之名在1968年7月18日共同创办公司,将高级芯片设计能力与领导业界的制造能力结合在一起。 维基百科
《用于代码弱点识别的 LLVM 中间表示》CMU
专知会员服务
14+阅读 · 2022年12月12日
【ECCV2022】对比视觉Transformer的在线持续学习
专知会员服务
23+阅读 · 2022年7月29日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
万字长文概述NLP中的深度学习技术
全球人工智能
12+阅读 · 2019年2月28日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员