Attention!注意力机制模型最新综述

4 月 8 日 中国人工智能学会

转自  专知

【导读】Attention模型目前已经成为神经网络中的一个重要概念,本文为大家带来了该模型的最新综述文章,详细描述了该模型的概念、定义、影响以及如何着手进行实践工作。


介绍:


本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,我们调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,我们讨论了一些受到注意力模型较大影响的应用问题。我们希望本次综述能够为为大家提供一份简明扼要的介绍,帮助大家理解这一模型并着手进行实践。


注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。


注意力模型的思想可以通过人类生物系统来进行解释,例如,在我们的视觉系统中,更倾向于关注图片的某一部分,而忽视其他不相干的信息,这样有助于提高感受能力。相似的,在某些问题涉及到文字、语音与视觉的任务中,部分信息的重要程度要明显高于其他信息,例如,在翻译与摘要任务中,输入序列中只有部分词汇与下个词的预测有关。同样的,在图片描述问题中,输入图像的某些区域可能对描述词更加相关。AM整合了这种相关信息,允许模型对某些有用的输入信息,动态的提供注意力,以此提高模型的性能,例如在文本分类任务中。



注意力模型的飞快发展可以被总结为三个理由:1、这些模型是很多任务的state-of-the-art,例如机器翻译、问答系统、情感分析、词性标注、对话系统等;2、除了提高任务性能之外,还带来了其他几种优势。如,提高模型的可解释性等;3、AM解决了RNN模型的很多问题,例如在面对长文本时的性能衰减,以及计算序列数据对任务的权重影响等。


文章从Number of Sequences、Number of Abstraction Levels、Number of Positions、Number of Representations等多个维度对注意力模型进行了分类,具体结果如下:




请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“ANSAM” 就可以获取《Attention 模型最新综述》的下载链接~ 


附全文预览:


-END-


专 · 知

专知《深度学习:算法到实战》课程全部完成!520+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!


登录查看更多
点赞 0
Top