随着物联网(IoT)时代传感数据的爆炸式增长,传统的机器视觉系统由于其固有的传感、存储和计算单元分离的缺点,难以满足高能效和低延迟的要求。受视网膜和神经形态计算的启发,具有低功耗、低延迟和高并行性的感存算一体视觉系统被认为是超越冯·诺伊曼架构、实现强人工智能的一种有前途的技术。同时,具有优异光电性能的二维半导体和量子点等新型材料的不断发展为实现传感-存储-计算集成架构提供了硬件载体,引起了研究人员的广泛关注。与以往主要关注材料和器件的综述不同,本文从仿生生物学、传感材料、电子器件和计算体系结构等跨学科的角度对仿生感存算一体视觉系统进行了系统全面的总结。

图1 感存算一体视觉系统研究进展

本文从仿生机制、设计原理、计算架构和应用等方面综述了仿生视觉系统的研究进展。(如图1所示)。 首先阐述了高效的生物视觉系统机制,在此基础上总结提炼了仿生感存算一体计算架构,为高性能人工视觉感知系统的设计提供了思路。生物视觉系统通过将光感受器垂直连接到具有存储和整合能力的突触上,在传感端形成了一个多层次的视觉信息整合网络。这些特性赋予视网膜存储和图像预处理特性,集成了传感、记忆和计算等功能。

然后归纳了基于光电突触的仿生感存算一体视觉系统在器件原理和应用方面的研究进展,包括图像滤波、颜色识别、视觉自适应、运动检测等。同时基于已有工作提出仿生感存算一体视觉系统的多学科交叉设计原则,即体系结构设计至顶向下方法与材料科学角度自下而上方法相结合的思路。

最后,从仿生功能、体系结构和材料器件制备等方面讨论了感存算一体视觉系统面临的挑战。在仿生功能方面,模拟大脑视觉皮层中更高级更复杂的后处理功能如视觉注意机制、立体视觉等有待进一步探索;在体系结构方面,需要开发更高级的网络结构并实现更强大的预处理能力,同时激活函数的硬件实现、神经网络的在线训练问题亟需解决;在材料器件制备方面,集成规模更大、存储精度更高、控制方式更简单的材料和器件有待发掘和探索。

成为VIP会员查看完整内容
27

相关内容

物联网,英文名为Internet of Things,可以简单地理解为物物相连的互联网。物联网主要通过各种设备(比如RFID,传感器,二维码等)的接口将现实世界的物体连接到互联网上,或者使它们互相连接,以实现信息的传递和处理。互联网在现实的物理世界之外新建了一个虚拟世界,物联网将会把两个世界融为一体。
基于主动学习的图像分类技术:现状与未来
专知会员服务
34+阅读 · 1月8日
时间序列复杂网络分析中的可视图方法研究综述
专知会员服务
44+阅读 · 2023年12月2日
基于深度学习的图像融合方法综述
专知会员服务
54+阅读 · 2023年1月25日
深度学习在数学推理中的应用综述
专知会员服务
38+阅读 · 2022年12月25日
深度学习在光声成像中的应用综述
专知会员服务
22+阅读 · 2022年5月23日
轻量化神经网络卷积设计研究进展
专知会员服务
54+阅读 · 2021年10月24日
基于深度神经网络的高效视觉识别研究进展与新方向
专知会员服务
36+阅读 · 2021年8月31日
专知会员服务
42+阅读 · 2021年4月15日
专知会员服务
94+阅读 · 2021年2月6日
综述| 当图神经网络遇上强化学习
图与推荐
20+阅读 · 2022年7月1日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
清华大学《高级机器学习》课程
专知
35+阅读 · 2020年7月21日
深度学习与医学图像分析
人工智能前沿讲习班
39+阅读 · 2019年6月8日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
深度学习与计算机视觉任务应用综述
深度学习与NLP
49+阅读 · 2018年12月18日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
131+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
326+阅读 · 2023年3月31日
Arxiv
111+阅读 · 2023年3月24日
Arxiv
16+阅读 · 2023年3月17日
VIP会员
相关VIP内容
基于主动学习的图像分类技术:现状与未来
专知会员服务
34+阅读 · 1月8日
时间序列复杂网络分析中的可视图方法研究综述
专知会员服务
44+阅读 · 2023年12月2日
基于深度学习的图像融合方法综述
专知会员服务
54+阅读 · 2023年1月25日
深度学习在数学推理中的应用综述
专知会员服务
38+阅读 · 2022年12月25日
深度学习在光声成像中的应用综述
专知会员服务
22+阅读 · 2022年5月23日
轻量化神经网络卷积设计研究进展
专知会员服务
54+阅读 · 2021年10月24日
基于深度神经网络的高效视觉识别研究进展与新方向
专知会员服务
36+阅读 · 2021年8月31日
专知会员服务
42+阅读 · 2021年4月15日
专知会员服务
94+阅读 · 2021年2月6日
相关资讯
综述| 当图神经网络遇上强化学习
图与推荐
20+阅读 · 2022年7月1日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
清华大学《高级机器学习》课程
专知
35+阅读 · 2020年7月21日
深度学习与医学图像分析
人工智能前沿讲习班
39+阅读 · 2019年6月8日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
深度学习与计算机视觉任务应用综述
深度学习与NLP
49+阅读 · 2018年12月18日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员