本文提出一种概念简单且非常有效的注意力模块。不同于现有的通道/空域注意力模块,该模块无需额外参数为特征图推导出3D注意力权值。具体来说,本文基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性。本文进一步针对该能量函数推导出一种快速解析解并表明:该解析解仅需不超过10行代码即可实现。该模块的另一个优势在于:大部分操作均基于所定义的能量函数选择,避免了过多的结构调整。最后,本文在不同的任务上对所提注意力模块的有效性、灵活性进行验证。

本文主要贡献包含以下几点:

  • 受启发于人脑注意力机制,本文提出一种3D注意力模块并设计了一种能量函数用于计算注意力权值;
  • 本文推导出了能量函数的解析解加速了注意力权值的计算并得到了一种轻量型注意力模块;
  • 将所提注意力嵌入到现有ConvNet中在不同任务上进行了灵活性与有效性的验证。
成为VIP会员查看完整内容
21

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
15+阅读 · 2021年6月6日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
19+阅读 · 2021年5月1日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
《常微分方程》笔记,419页pdf
专知会员服务
70+阅读 · 2020年8月2日
【CVPR2020】时序分组注意力视频超分
专知会员服务
30+阅读 · 2020年7月1日
注意力机制介绍,Attention Mechanism
专知会员服务
164+阅读 · 2019年10月13日
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
【论文解读】IJCAI2019: 面向中文NER 基于lexicon rethinking的CNN模型
深度学习自然语言处理
7+阅读 · 2020年3月5日
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
22+阅读 · 2019年9月27日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
红外弱小目标处理研究获进展
中科院之声
16+阅读 · 2017年11月19日
Arxiv
1+阅读 · 2021年9月21日
A spatially adaptive phase-field model of fracture
Arxiv
0+阅读 · 2021年9月21日
Arxiv
0+阅读 · 2021年9月21日
Arxiv
3+阅读 · 2020年9月30日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
4+阅读 · 2017年11月14日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
15+阅读 · 2021年6月6日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
19+阅读 · 2021年5月1日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
《常微分方程》笔记,419页pdf
专知会员服务
70+阅读 · 2020年8月2日
【CVPR2020】时序分组注意力视频超分
专知会员服务
30+阅读 · 2020年7月1日
注意力机制介绍,Attention Mechanism
专知会员服务
164+阅读 · 2019年10月13日
相关资讯
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
【论文解读】IJCAI2019: 面向中文NER 基于lexicon rethinking的CNN模型
深度学习自然语言处理
7+阅读 · 2020年3月5日
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
22+阅读 · 2019年9月27日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
红外弱小目标处理研究获进展
中科院之声
16+阅读 · 2017年11月19日
相关论文
Arxiv
1+阅读 · 2021年9月21日
A spatially adaptive phase-field model of fracture
Arxiv
0+阅读 · 2021年9月21日
Arxiv
0+阅读 · 2021年9月21日
Arxiv
3+阅读 · 2020年9月30日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
4+阅读 · 2017年11月14日
Arxiv
4+阅读 · 2015年8月25日
微信扫码咨询专知VIP会员