题目: Hyperbolic Attention Network

摘要: 最近的方法已经成功地证明了在双曲空间中学习浅层网络参数的优势。我们将双曲几何引入到用于计算不同神经网络结构的注意力机制的嵌入中,从而扩展了这一工作。通过改变object表示的嵌入几何形状,可以在不增加模型参数的情况下能更有效地利用嵌入空间。更重要的是,由于查询的语义距离以指数的速度增长,双曲几何与欧几里得几何相反—可以编码那些object而没有任何干扰。我们的方法在总体上对WMT' 14(英语到德语)的神经机器翻译、图学习(合成和现实世界图任务)和视觉问答(CLEVR)3个任务得到了提升,同时保持神经表征的简洁。

成为VIP会员查看完整内容
82

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
注意力图神经网络的小样本学习
专知会员服务
190+阅读 · 2020年7月16日
【CVPR2020】图神经网络中的几何原理连接
专知会员服务
55+阅读 · 2020年4月8日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
37+阅读 · 2020年2月21日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
109+阅读 · 2019年11月25日
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
【NeurIPS2019】图变换网络:Graph Transformer Network
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
6+阅读 · 2018年11月22日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
11+阅读 · 2018年5月21日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关资讯
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
【NeurIPS2019】图变换网络:Graph Transformer Network
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
6+阅读 · 2018年11月22日
相关论文
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
11+阅读 · 2018年5月21日
Arxiv
9+阅读 · 2018年2月4日
微信扫码咨询专知VIP会员