在深度学习中引入注意力机制提高了近年来各种模型的成功,并继续成为最先进模型中无处不在的组成部分。因此,我们对注意力及其如何实现其有效性的关注是至关重要的。

在这篇文章中,我将介绍注意力背后的主要概念,包括一个从序列到序列的注意力模型的实现,然后介绍注意力在Transformer中的应用,以及如何将注意力用于最新的结果。建议您对递归神经网络(RNNs)及其变体有一定的了解,或者对序列到序列模型如何工作有一定的了解。

成为VIP会员查看完整内容
0
96

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。

Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
0
154
小贴士
相关VIP内容
专知会员服务
77+阅读 · 2020年3月28日
注意力机制模型最新综述
专知会员服务
154+阅读 · 2019年10月20日
相关资讯
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
15+阅读 · 2019年9月27日
深度学习的下一步:Transformer和注意力机制
云头条
28+阅读 · 2019年9月14日
Attention!注意力机制模型最新综述(附下载)
THU数据派
18+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
13+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
7+阅读 · 2019年2月26日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
63+阅读 · 2018年10月8日
注意力机制(Attention Mechanism)在自然语言处理中的应用
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
12+阅读 · 2017年11月16日
深度学习中的注意力机制
CSDN大数据
14+阅读 · 2017年11月2日
相关论文
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
11+阅读 · 2020年3月5日
Attention Forcing for Sequence-to-sequence Model Training
Qingyun Dou,Yiting Lu,Joshua Efiong,Mark J. F. Gales
6+阅读 · 2019年9月26日
Fine-grained Sentiment Analysis with Faithful Attention
Ruiqi Zhong,Steven Shao,Kathleen McKeown
5+阅读 · 2019年8月19日
Area Attention
Yang Li,Lukasz Kaiser,Samy Bengio,Si Si
4+阅读 · 2019年5月23日
Ofir Press,Noah A. Smith
3+阅读 · 2018年10月31日
Tran Dang Quang Vinh,Tuan-Anh Nguyen Pham,Gao Cong,Xiao-Li Li
9+阅读 · 2018年4月18日
Heeyoul Choi,Kyunghyun Cho,Yoshua Bengio
4+阅读 · 2018年4月3日
Ou Wu,Tao Yang,Mengyang Li,Ming Li
6+阅读 · 2018年3月21日
Qiang Cui,Shu Wu,Yan Huang,Liang Wang
5+阅读 · 2017年12月7日
Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N. Gomez,Lukasz Kaiser,Illia Polosukhin
13+阅读 · 2017年12月6日
Top