注意力是一种在广泛的神经结构中使用的越来越流行的机制。由于这一领域的快速发展,仍然缺乏对注意力的系统概述。在本文中,我们定义了用于自然语言处理的注意力体系结构的统一模型,重点介绍了用于文本数据的向量表示的体系结构。我们讨论了以往工作的不同方面,注意力机制的可能用途,并描述了该领域的主要研究工作和公开挑战。

https://web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf

成为VIP会员查看完整内容
306

相关内容

LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
135+阅读 · 2020年12月20日
NeurIPS2020最新《深度对话人工智能》教程,130页ppt
专知会员服务
40+阅读 · 2020年12月10日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
93+阅读 · 2020年10月18日
专知会员服务
168+阅读 · 2020年8月26日
迁移学习简明教程,11页ppt
专知会员服务
105+阅读 · 2020年8月4日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
168+阅读 · 2020年5月6日
深度强化学习策略梯度教程,53页ppt
专知会员服务
176+阅读 · 2020年2月1日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
67+阅读 · 2019年11月25日
注意力机制模型最新综述
专知会员服务
260+阅读 · 2019年10月20日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
自然语言处理中注意力机制综述
Python开发者
11+阅读 · 2019年1月31日
一文读懂神经网络(附PPT、视频)
数据派THU
17+阅读 · 2018年3月25日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Contrastive Representation Distillation
Arxiv
5+阅读 · 2019年10月23日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Knowledge Flow: Improve Upon Your Teachers
Arxiv
5+阅读 · 2019年4月11日
Arxiv
25+阅读 · 2017年12月6日
VIP会员
相关主题
相关VIP内容
LinkedIn最新《注意力模型》综述论文大全,20页pdf
专知会员服务
135+阅读 · 2020年12月20日
NeurIPS2020最新《深度对话人工智能》教程,130页ppt
专知会员服务
40+阅读 · 2020年12月10日
【PKDD2020教程】机器学习不确定性,附88页ppt与视频
专知会员服务
93+阅读 · 2020年10月18日
专知会员服务
168+阅读 · 2020年8月26日
迁移学习简明教程,11页ppt
专知会员服务
105+阅读 · 2020年8月4日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
168+阅读 · 2020年5月6日
深度强化学习策略梯度教程,53页ppt
专知会员服务
176+阅读 · 2020年2月1日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
67+阅读 · 2019年11月25日
注意力机制模型最新综述
专知会员服务
260+阅读 · 2019年10月20日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Contrastive Representation Distillation
Arxiv
5+阅读 · 2019年10月23日
Tutorial on NLP-Inspired Network Embedding
Arxiv
7+阅读 · 2019年10月16日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Knowledge Flow: Improve Upon Your Teachers
Arxiv
5+阅读 · 2019年4月11日
Arxiv
25+阅读 · 2017年12月6日
微信扫码咨询专知VIP会员