现在注意力机制已广泛地应用在深度学习的诸多领域。基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性。通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷。因此从图像处理领域、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述。鉴于注意力机制的重要性,综述了注意力机制的研究发展,分析了注意力机制目前的发展现状并探讨了该机制未来可行的研究方向。

成为VIP会员查看完整内容
198

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
专知会员服务
67+阅读 · 2021年1月16日
专知会员服务
109+阅读 · 2021年1月11日
专知会员服务
29+阅读 · 2021年1月9日
专知会员服务
112+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
专知会员服务
65+阅读 · 2020年10月2日
最新《多任务学习》综述,39页pdf
专知会员服务
258+阅读 · 2020年7月10日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
注意力机制介绍,Attention Mechanism
专知会员服务
164+阅读 · 2019年10月13日
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
22+阅读 · 2019年9月27日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
Python开发者
11+阅读 · 2019年1月31日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
16+阅读 · 2018年4月2日
VIP会员
相关VIP内容
专知会员服务
67+阅读 · 2021年1月16日
专知会员服务
109+阅读 · 2021年1月11日
专知会员服务
29+阅读 · 2021年1月9日
专知会员服务
112+阅读 · 2020年12月9日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
专知会员服务
65+阅读 · 2020年10月2日
最新《多任务学习》综述,39页pdf
专知会员服务
258+阅读 · 2020年7月10日
注意力机制模型最新综述
专知会员服务
259+阅读 · 2019年10月20日
注意力机制介绍,Attention Mechanism
专知会员服务
164+阅读 · 2019年10月13日
相关资讯
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
22+阅读 · 2019年9月27日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
专知
65+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
Python开发者
11+阅读 · 2019年1月31日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
相关论文
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
4+阅读 · 2018年10月31日
Arxiv
16+阅读 · 2018年4月2日
微信扫码咨询专知VIP会员