学界 |《自然:神经科学》论文:动物视觉系统里的 RNN 能加速物体识别

2019 年 4 月 30 日 AI科技评论

AI 科技评论按:顶级期刊《Nature Neuroscience》(自然:神经科学)近日刊登了一篇新论文,论文标题是「Evidence that recurrent circuits are critical to the ventral stream's execution of core object recognition behavior」(证据表明循环结构对核心物体识别行为中处理腹侧神经流的过程有关键影响)。论文中把动物视觉系统在物体识别任务中的表现建模为深度学习模型,并对比真实动物和深度学习模型的行为,尝试进一步推测真实动物视觉系统的功能和结构。

       

这类研究得到的发现不仅有神经生物学意义,也可以帮助机器学习领域的研究人员们从其他角度理解深度神经网络的结构和行为特点,比如,根据这篇论文中的结论,动物视觉系统中的 RNN 结构可以加速有挑战性的图像的识别,这种现象能否用来进一步改进人工神经网络呢?

这篇论文的作者们来自哥伦比亚大学和 MIT。

论文摘要:

对动物的研究表明,灵长类动物的视觉系统中有密集的循环式腹侧神经流,并最终在颞下皮层(IT Cortex)汇集,这构成了它们的核心物体识别行为。目前对这种行为建模效果最好的模型是深度卷积神经网络(CNN),但 CNN 却是不带有循环结构的。这就给研究人员们带来了一个疑问:如果动物神经系统追踪的循环结构对它们的行为如此重要,那么灵长类的识别系统就应当在同时需要前馈颞下皮层响应以及额外的循环信号处理的图像识别任务中得到高于只有前馈的深度 CNN 网络的表现。

在这项研究中,作者们首先使用行为学方法找到了数百张这样的「有挑战」的图像(能体现出循环结构的优势)。其次,借助大规模电生理学方法,作者们把其它动物中的有足够识别能力的物体识别方案和灵长类进行了行为学角度对比,发现识别有挑战性的图像时,前者的信号在颞下皮层汇集的时间要比灵长类迟大约 30ms。然而深度 CNN 的行为却很难预测这种行为学角度有显著区别的滞后颞下皮层响应。值得一提的是,非常深的 CNN 和浅一些的循环结构 CNN 对这些滞后响应的预测就要好一些,这表明额外的非线性变换与循环结构之间存在一定的功能等效性。

作者们提由此提出,循环结构的信号通路对于快速物体识别起到了关键作用,这也得到了实验证实;除此之外,实验结果还为未来的循环结构模型开发提供了强有力的限定条件。

由于论文是闭源的,对于论文正文内容我们只能介绍这么多。

论文地址:

https://www.nature.com/articles/s41593-019-0392-5

实验数据:

https://github.com/kohitij-kar/image_metrics

准备实验所用代码:

http://brain-score.org/

AI 科技评论此前也有长文介绍过神经科学研究和人工神经网络之间的联系,见《殊途同归还是渐行渐远?MIT 神经科学教授 James DiCarlo 谈如何通过人类神经理解神经网络》


点击阅读原文加入强化学习论文讨论小组,与同行一起学习交流

登录查看更多
6

相关内容

RNN:循环神经网络,是深度学习的一种模型。
FPGA加速系统开发工具设计:综述与实践
专知会员服务
62+阅读 · 2020年6月24日
最新《自然场景中文本检测与识别》综述论文,26页pdf
专知会员服务
69+阅读 · 2020年6月10日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
3D目标检测进展综述
专知会员服务
186+阅读 · 2020年4月24日
【CVPR2020-百度】用于视觉识别的门控信道变换
专知会员服务
12+阅读 · 2020年3月30日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
这种有序神经元,像你熟知的循环神经网络吗?
机器之心
6+阅读 · 2018年12月20日
【CVPR2018】物体检测中的结构推理网络
深度学习大讲堂
5+阅读 · 2018年7月30日
证伪:CNN中的图片平移不变性
论智
5+阅读 · 2018年6月12日
使用迁移学习做动物脸部识别
极市平台
7+阅读 · 2018年1月8日
TensorFlow 相关论文与研究汇总
云栖社区
4+阅读 · 2018年1月7日
Arxiv
91+阅读 · 2020年2月28日
Mesh R-CNN
Arxiv
4+阅读 · 2019年6月6日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
5+阅读 · 2018年5月22日
Arxiv
5+阅读 · 2018年2月26日
VIP会员
相关VIP内容
FPGA加速系统开发工具设计:综述与实践
专知会员服务
62+阅读 · 2020年6月24日
最新《自然场景中文本检测与识别》综述论文,26页pdf
专知会员服务
69+阅读 · 2020年6月10日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
3D目标检测进展综述
专知会员服务
186+阅读 · 2020年4月24日
【CVPR2020-百度】用于视觉识别的门控信道变换
专知会员服务
12+阅读 · 2020年3月30日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
相关论文
Arxiv
91+阅读 · 2020年2月28日
Mesh R-CNN
Arxiv
4+阅读 · 2019年6月6日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
5+阅读 · 2018年5月22日
Arxiv
5+阅读 · 2018年2月26日
Top
微信扫码咨询专知VIP会员