注意力是一种在广泛的神经结构中使用的越来越流行的机制。由于这一领域的快速发展,仍然缺乏对注意力的系统概述。在本文中,我们定义了用于自然语言处理的注意力体系结构的统一模型,重点介绍了用于文本数据的向量表示的体系结构。我们讨论了以往工作的不同方面,注意力机制的可能用途,并描述了该领域的主要研究工作和公开挑战。

https://web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf

成为VIP会员查看完整内容
326

相关内容

NeurIPS2020最新《深度对话人工智能》教程,130页ppt
专知会员服务
42+阅读 · 2020年12月10日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
95+阅读 · 2020年10月18日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
71+阅读 · 2019年11月25日
注意力机制模型最新综述
专知会员服务
271+阅读 · 2019年10月20日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关主题
相关VIP内容
NeurIPS2020最新《深度对话人工智能》教程,130页ppt
专知会员服务
42+阅读 · 2020年12月10日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
95+阅读 · 2020年10月18日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
71+阅读 · 2019年11月25日
注意力机制模型最新综述
专知会员服务
271+阅读 · 2019年10月20日
相关资讯
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
27+阅读 · 2017年12月6日
微信扫码咨询专知VIP会员