【干货】33页最新《自然语言处理中神经注意力机制综述》论文

2 月 10 日 专知

【导读】Attention, please! 近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。最近来自意大利博洛尼亚大学研究者Andrea Galassi等人在Arxiv上发表了关于自然语言处理中的神经注意力模型的综述论文《Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing》,详述了最近几年NLP任务中使用注意力的工作。

Attention, please! 

摘要:

注意力是一种在广泛的神经结构中使用的越来越流行的机制。由于这一领域的快速发展,仍然缺乏对注意力的系统概述。在本文中,我们定义了用于自然语言处理的注意力体系结构的统一模型,重点介绍了用于文本数据的向量表示的体系结构。我们讨论了以往工作的不同方面,注意力机制的可能用途,并描述了该领域的主要研究工作和公开挑战。

论文地址:

http://www.zhuanzhi.ai/paper/67faddca8944501936a568598b63c71b

导读:

近年来自然语言处理中注意力应用工作


RNN架构以及对应的注意力机制模型


通用注意力模型


层次输入注意力模型

Compatibility 函数

聚合函数

【论文便捷下载】

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“注意力” 就可以获取《自然语言处理中神经注意力机制综述》的下载链接~ 



-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!470+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
点赞 0
Top