Humans can naturally and effectively find salient regions in complex scenes. Motivated by this observation, attention mechanisms were introduced into computer vision with the aim of imitating this aspect of the human visual system. Such an attention mechanism can be regarded as a dynamic weight adjustment process based on features of the input image. Attention mechanisms have achieved great success in many visual tasks, including image classification, object detection, semantic segmentation, video understanding, image generation, 3D vision, multi-modal tasks and self-supervised learning. In this survey, we provide a comprehensive review of various attention mechanisms in computer vision and categorize them according to approach, such as channel attention, spatial attention, temporal attention and branch attention; a related repository https://github.com/MenghaoGuo/Awesome-Vision-Attentions is dedicated to collecting related work. We also suggest future directions for attention mechanism research.


翻译:人类可以自然而有效地在复杂的场景中找到突出的区域。在这种观察的推动下,在计算机视野中引入了关注机制,目的是模仿人类视觉系统的这一方面。这种关注机制可被视为基于输入图像特征的动态重量调整过程。关注机制在许多视觉任务中取得了巨大成功,包括图像分类、物体检测、语义分解、视频理解、图像生成、3D视觉、多模式任务和自我监督学习。在这次调查中,我们全面审查了计算机视觉中的各种关注机制,并按方法分类,如频道关注、空间关注、时间关注和分支关注;一个相关的文献库https://github.com/MenghaoGuo/Aweome-Vision-Atentions专门收集相关工作。我们还建议了关注机制研究的未来方向。

58
下载
关闭预览

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
注意力机制综述
专知会员服务
81+阅读 · 2021年1月26日
最新《Transformers模型》教程,64页ppt
专知会员服务
300+阅读 · 2020年11月26日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
综述|计算机视觉中的注意力机制
极市平台
8+阅读 · 2020年8月30日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
Arxiv
0+阅读 · 2022年1月8日
Arxiv
39+阅读 · 2021年11月11日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
19+阅读 · 2020年12月23日
Fashion Meets Computer Vision: A Survey
Arxiv
5+阅读 · 2020年3月31日
Arxiv
92+阅读 · 2020年2月28日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
VIP会员
相关资讯
综述|计算机视觉中的注意力机制
极市平台
8+阅读 · 2020年8月30日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
相关论文
Arxiv
0+阅读 · 2022年1月8日
Arxiv
39+阅读 · 2021年11月11日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
19+阅读 · 2020年12月23日
Fashion Meets Computer Vision: A Survey
Arxiv
5+阅读 · 2020年3月31日
Arxiv
92+阅读 · 2020年2月28日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Top
微信扫码咨询专知VIP会员