这个新型AI电子器件没有硅!北航32岁教授共同一作,能模拟大脑神经元,还登上了Science

2022 年 2 月 8 日 量子位
明敏 发自 凹非寺
量子位 | 公众号 QbitAI

用钙钛矿取代硅研制电子器件,居然还能被用来完成AI计算???

众所周知,钙钛矿作为一种重要的材料,掺杂后主要用于生产SCI及博士论文(手动狗头)

这次被用在开发新型AI电子器件上,还登上了Science,结果让人眼前一亮:

其心律识别任务的平均性能是传统硬件的5.1倍,并且还能灵活模拟动态网络、降低训练能耗。

用神经形态计算降能耗

这项研究主要是通过向钙钛矿中掺入不同量的氢,来模拟人类神经元活动,从而完成不同机器学习任务。

这主要是基于钙钛矿自身的特性。

钙钛矿具备独特的晶体结构,很容易吸收氢离子。氢离子的加入可以改变材料的导电性,由此也就可以让材料制备成一种可切换状态的AI电子器件。

在这里研究人员使用了一种混合了钕和镍的钙钛矿材料。

通过向这一材料中混合不同含量的氢离子,来改变元件的不同状态,以此实现对大脑神经元活动的模拟。

具体来看,在这种材料中加入大量氢离子后,它的电子最终会转移到镍原子上,导致原子电性发生改变,进而影响材料的导电性

这时,施加外部电场可以控制氢的电子转移;再控制氢的含量,则可以让该电子元件在4种不同模式之间切换。

这4种模式分别是神经元模式、突触模式、电阻器模式和记忆电容器模式。

其中,在不掺杂或少量掺杂氢离子的情况下,该材料处于电阻器模式,可以用来存储和处理信息。

在经过一个电子脉冲刺激后,该硬件可切换到记忆电容器模式。记忆电容器是模仿大脑结构神经网络系统的常见元件。

神经元模式会积累多个信号,此时元件电阻会发生明显变化,可以模拟人类大脑神经元被刺激时的活动状态。

突触模式则是根据神经元信号的强度来转换输入。

之所以会想到向钙钛矿这种材料中掺入氢,是因为研究人员想要利用神经拟态计算来构建这一新器件。

这是一种不同于普通冯·诺依曼计算体系的结构,它主要通过模拟人脑神经元和突触的活动来完成机器学习任务。

它最大的好处就是可以降低计算能耗,这对于解决未来更复杂、更大规模的AI计算具有重大意义。

由此一来,在进行AI计算时,便无需在硬件上激活、关闭不同的部分,只需控制硬件调整到相应模式即可。

研究人员还表示,这种电子器件的内部是亚稳定状态,可以保持6个月不用替换氢离子。

实验结果

那么,这种硬件在不同神经网络中的表现如何?就成为了验证其性能的关键。

在这里,研究人员使用了两个神经网络作为测试。

第一个是一种储层计算网络,这是一种模拟人类大脑运作方式的机器学习系统。

它的运作过程是将信息输入到一个储层,其中的数据以各种方式连接在一起,然后这些数据再被送出储层进行分析。

由此一来,该网络也就无需预训练大量数据,仅对输出前的最后一层网络做梯度下降即可。

其中的关键储层,将分别用此次提出的新电子器件和传统硬件来完成运算。

与传统理论储层和实验储层相比,这种新型储层(H-NNO)在MINIST(手写数字识别)、SpokenDight(音频数字识别)、ECGHeartBeat(心率识别)三个任务上都能使用更少的设备、实现相同的性能。

平均性能则分别高出1.4倍1.2倍5.1倍

此外,基于这一新型电子器件设计的动态神经网络,在处理增量学习上的表现也非常好。

如下网络(GWR)是一个可以识别红鸟、黄鸟的系统。理想状态下,当网络检测到新类型(蓝鸟)的输入时,系统会通过增加节点的方式来扩大网络规模。

如果其中任何一类动物长时间没有出现在输入中,其对应的节点也会随之关闭,以此来节省能耗。

研究人员继续使用了手写数字识别这一数据集来进行测试。

首先,他们让网络识别0-4范围内的数字。然后将范围扩大到0-9训练一段时间,之后再只识别0-4。

结果显示,随着后来5-9的数字不再出现,网络中的相关节点也在逐渐关闭。

下图i-iii中,数字表示对应打开节点,黑色区域则表示关闭的节点。

再将这一动态神经网络与静态网络对比,研究人员发现在增量学习场景下,对于MNIST、CUB-200两个数据集,动态网络的表现都更好。

从如下图B-E中可以看到,在MINIST数据集测试中,动态网络最终准确性是静态网络的2.1倍;数据集CUB-200的最终准确性则是静态网路的2.5倍。

北航张海天教授为共同一作及通讯作者

北京航空航天大学张海天教授为该论文的共同一作及通讯作者。

他博士毕业于美国宾夕法尼亚州立大学材料科学与工程专业。

2018年获得美国吉尔布雷斯学者基金(Gilbreth Research Fellow),于普渡大学工程院开展独立研究工作(合作教授:Shriram Ramanathan以及Kaushik Roy)

去年9月,张海天全职加入北京航空航天大学材料科学与工程学院。

主要研究领域为功能相变材料的调控及神经计算学器件应用、磁性功能材料、纳米材料等。

论文链接:
https://www.science.org/doi/10.1126/science.abj7943

参考链接:
https://arstechnica.com/science/2022/02/hydrogen-soaked-crystal-lets-neural-networks-expand-to-match-a-problem/

「智能汽车」交流群招募中!

欢迎关注智能汽车、自动驾驶的小伙伴们加入社群,与行业大咖交流、切磋,不错过智能汽车行业发展&技术进展。

ps.加好友请务必备注您的姓名-公司-职位哦~


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~


登录查看更多
1

相关内容

神经网络的基础数学
专知会员服务
201+阅读 · 2022年1月23日
周志华教授:关于深度学习的一点思考
专知会员服务
121+阅读 · 2021年11月23日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
这次遥控大脑实验成功了,却把网友们吓坏了
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
18+阅读 · 2020年10月9日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
19+阅读 · 2019年4月5日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员