Equilibrium Propagation (EP) is a biologically-inspired counterpart of Backpropagation Through Time (BPTT) which, owing to its strong theoretical guarantees and the locality in space of its learning rule, fosters the design of energy-efficient hardware dedicated to learning. In practice, however, EP does not scale to visual tasks harder than MNIST. In this work, we show that a bias in the gradient estimate of EP, inherent in the use of finite nudging, is responsible for this phenomenon and that cancelling it allows training deep ConvNets by EP, including architectures with distinct forward and backward connections. These results highlight EP as a scalable approach to compute error gradients in deep neural networks, thereby motivating its hardware implementation.


翻译:平衡促进(EP)是生物激励的 " 穿越时间反向推进 " (BPTT)的对应物,由于它具有很强的理论保障和学习规则的空间,它促进了专门用于学习的节能硬件的设计,但在实践中,EP并不比MNIST更难进行视觉任务。在这项工作中,我们表明,使用有限裸体所固有的EP梯度估计偏差是造成这一现象的原因,取消这一估计可以使EP进行深层次的CVNet培训,包括具有明显前向和后向连接的建筑。这些结果突出表明EP是计算深层神经网络误差梯度的可伸缩方法,从而推动其硬件实施。

0
下载
关闭预览

相关内容

神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
先睹为快:神经网络顶会ICLR 2019论文热点分析
深度学习与NLP
43+阅读 · 2018年12月22日
已删除
将门创投
8+阅读 · 2018年10月31日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
VIP会员
相关VIP内容
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
相关资讯
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
先睹为快:神经网络顶会ICLR 2019论文热点分析
深度学习与NLP
43+阅读 · 2018年12月22日
已删除
将门创投
8+阅读 · 2018年10月31日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
Top
微信扫码咨询专知VIP会员