如何理解和评价清华大学施路平教授团队开发的天机芯片登陆《nature》封面?

https://www.chainnews.com/articles/233442086257.htm 8月1日,顶级学术期刊《自然》杂志的封面文章介…
关注者
359
被浏览
203,417
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

关注这个问题好几天了,我也说说一点看法。


Neuromorphic chip是大势所趋

许多互联网公司都推出了自己的AI芯片,而在SNN这个领域,也有许多相关的硬件研究。小到在FPGA上的实现[1],大到IBM的TrueNorth大型集成芯片[2],还有SpiNNaker[3],Neurogrid[4]等等。

ANN神经元本质就是输入加权和+激活函数,SNN神经元则是用内部电势状态方程得到包含时序信息的脉冲序列。SNN理论上比ANN能耗更低,速度更快,但正如 @许铁-巡洋舰科技 所说,模拟spiking neuron的微分方程实现起来更加耗能,而通过硬件电路实现这些模型可以大大提高速度,这就是Neuromorphic chip的意义。下图就是一种SNN神经元模型的电路实现[5]。

神经元模型的电路实现[5]


天机的意义

前面说到neuromorphic chip已有许多研究,天机的contribution不在于此,而在于集成了两类神经网络,包括MLP、RNN、CNN、SNN,成功实现了两类模型的耦合。我非常感兴趣的是他们如何将离散的脉冲序列转换成精度足够高的模拟信号 -- 无论是rate-based还是spike-based的编码方式,SNN都需要一个足够长的时间窗口来获得脉冲序列,从而解码得到一个实数。论文没有讲的很详细,但是似乎他们用的是另一种方法,利用神经元的膜电势(membrane potentials) -- 当然,这个也不是他们所开创的,也有以往的论文提到这种方法。



[1] K. L. Rice, M. A. Bhuiyan, T. M. Taha, C. N. Vutsinas and M. C. Smith, "FPGA Implementation of Izhikevich Spiking Neural Networks for Character Recognition," 2009 International Conference on Reconfigurable Computing and FPGAs, Quintana Roo, 2009, pp. 451-456.

[2] F. Akopyan et al., "TrueNorth: Design and Tool Flow of a 65 mW 1 Million Neuron Programmable Neurosynaptic Chip," in IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, vol. 34, no. 10, pp. 1537-1557, Oct. 2015.

[3] S. B. Furber et al., "Overview of the SpiNNaker System Architecture," in IEEE Transactions on Computers, vol. 62, no. 12, pp. 2454-2467, Dec. 2013.

[4] Khodagholy, Dion, Jennifer N. Gelinas, Thomas Thesen, Werner Doyle, Orrin Devinsky, George G. Malliaras, and György Buzsáki. "NeuroGrid: recording action potentials from the surface of the brain." Nature neuroscience 18, no. 2 (2015): 310.

[5] Paugam-Moisy, Hélene, and Sander Bohte. "Computing with spiking neuron networks."Handbook of natural computing(2012): 335-376.