Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。

精品内容

强化学习中的注意力机制研究综述
专知会员服务
40+阅读 · 2月24日
【CVPR2023】BiFormer:基于双层路由注意力的视觉Transformer
专知会员服务
32+阅读 · 2023年3月20日
【ICML2022】基于随机注意力机制的可解释和广义图学习
专知会员服务
31+阅读 · 2022年8月7日
代码注释最详细的Transformer
专知会员服务
105+阅读 · 2022年6月30日
【AAAI2022】注意力机制的快速蒙特卡罗近似
专知会员服务
19+阅读 · 2022年2月5日
《深度学习中神经注意力模型》综述论文
专知会员服务
110+阅读 · 2021年12月15日
【NeurIPS 2021】流形上的注意力机制:规范等变的Transformer
【NUS-Xavier教授】注意力神经网络,79页ppt
专知会员服务
60+阅读 · 2021年11月25日
卷积神经网络中的注意力机制综述
专知会员服务
74+阅读 · 2021年10月22日
专知会员服务
13+阅读 · 2021年9月17日
参考链接
微信扫码咨询专知VIP会员