We propose a simplified, biologically inspired predictive local learning rule that eliminates the need for global backpropagation in conventional neural networks and membrane integration in event-based training. Weight updates are triggered only on prediction errors and are performed using sparse, binary-driven vector additions. We integrate this rule into an extreme learning machine (ELM), replacing the conventional computationally intensive matrix inversion. Compared to standard ELM, our approach reduces the complexity of the training from O(M^3) to O(M), in terms of M nodes in the hidden layer, while maintaining comparable accuracy (within 3.6% and 2.0% degradation on training and test datasets, respectively). We demonstrate an FPGA implementation and compare it with existing studies, showing significant reductions in computational and memory requirements. This design demonstrates strong potential for energy-efficient online learning on low-cost edge devices.


翻译:我们提出了一种简化的、受生物学启发的预测性局部学习规则,该规则消除了传统神经网络中全局反向传播以及基于事件的训练中膜电位积分的需求。权重更新仅在预测错误时触发,并通过稀疏的、二进制驱动的向量加法执行。我们将此规则集成到极限学习机(ELM)中,替代了传统计算密集型的矩阵求逆运算。与标准ELM相比,就隐藏层M个节点而言,我们的方法将训练复杂度从O(M^3)降低至O(M),同时保持了相当的准确性(在训练和测试数据集上的性能下降分别控制在3.6%和2.0%以内)。我们展示了其FPGA实现,并与现有研究进行了比较,显示出计算和内存需求的显著降低。该设计展现了在低成本边缘设备上实现高能效在线学习的巨大潜力。

0
下载
关闭预览

相关内容

【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员