题目: Hyperbolic Attention Network

摘要: 最近的方法已经成功地证明了在双曲空间中学习浅层网络参数的优势。我们将双曲几何引入到用于计算不同神经网络结构的注意力机制的嵌入中,从而扩展了这一工作。通过改变object表示的嵌入几何形状,可以在不增加模型参数的情况下能更有效地利用嵌入空间。更重要的是,由于查询的语义距离以指数的速度增长,双曲几何与欧几里得几何相反—可以编码那些object而没有任何干扰。我们的方法在总体上对WMT' 14(英语到德语)的神经机器翻译、图学习(合成和现实世界图任务)和视觉问答(CLEVR)3个任务得到了提升,同时保持神经表征的简洁。

成为VIP会员查看完整内容
0
56

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。

图神经网络(GNN)已经在许多具有挑战性的应用中展示了优越的性能,包括小样本学习任务。尽管GNN具有强大的从少量样本中学习和归纳的能力,但随着模型的深入,GNN通常会出现严重的过拟合和过平滑问题,这限制了模型的可扩展性。在这项工作中,我们提出了一个新的注意力GNN来解决这些挑战,通过合并三重注意机制,即节点自我注意,邻居注意和层记忆注意力。我们通过理论分析和实例说明了所提出的注意模块可以改善小样本学习的GNN的原因。广泛的实验表明,在mini-ImageNet 和Tiered-ImageNet数据集上,通过诱导和直推设置,提出的注意力GNN在小样本学习方面优于基于最先进的GNN方法。

成为VIP会员查看完整内容
0
104

题目: Hyperbolic Heterogeneous Information Network Embedding

摘要: 异构信息网络嵌入(Heterogeneous information network, HIN)以将其投射到低维空间为目标,已经引起了相当多的研究关注。现有的HIN嵌入方法主要是在欧几里得空间中保留内部网络结构和语义相关性。然而,一个基本的问题是欧几里得空间是否是HIN的合适的或内在的等距空间?。近年来的研究认为,复杂网络的底层可能具有双曲几何,因为底层的双曲几何可以自然地反映复杂网络的一些特性,如层次结构和幂律结构。在本文中,我们首次尝试将HIN嵌入到双曲空间中。我们分析了两个实际HIN的结构,发现HIN中也存在幂律分布等性质。为此,我们提出了一种新的双曲异构信息网络嵌入模型。具体地说,为了捕获节点之间的结构和语义关系,我们采用元路径引导随机游走对每个节点的序列进行采样。然后利用双曲空间中的距离作为近似度量。双曲距离能满足三角不等式,并能很好地保持HIN中的传递性。我们的模型使节点及其邻域具有小的双曲线距离。进一步推导出有效的优化策略,迭代更新双曲嵌入。实验结果表明,该模型不仅在网络重构和链路预测任务上具有优越的性能,而且在HIN中通过可视化显示了捕获层次结构的能力。

成为VIP会员查看完整内容
0
36

题目: Hyperbolic Graph Attention Network

摘要: 图神经网络(GNN)在图处理方面表现出了优越的性能,近年来引起了人们的广泛关注。然而,大多数现有的GNN模型主要是为欧几里得空间中的图设计的。最近的研究已经证明,图数据显示非欧几里得潜在的解剖学。不幸的是,到目前为止,很少有研究GNN在非欧几里得的设置。为了弥补这一缺陷,本文首次对双曲空间中具有注意机制的GNN进行了研究。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,不能进行向量操作(如向量的加法、减法和标量乘法)。为了解决这个问题,我们使用回旋向量空间,它提供了一个优雅的代数形式的双曲几何,以转换图的特征;在此基础上,我们提出了基于双曲接近的注意力聚合机制。此外,由于双曲空间中的数学运算比欧几里得空间中的更为复杂,我们进一步设计了一种新的利用对数和指数映射的加速策略来提高模型的效率。通过与其他最先进的基线方法的比较,发现在四个真实数据集上的综合实验结果证明了我们提出的双曲图注意力网络模型的性能。

成为VIP会员查看完整内容
0
72

题目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

成为VIP会员查看完整内容
0
52

知识图谱(KG)嵌入通过学习实体和关系的低维表示来预测缺失的事实。KGs通常表现出层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于层次数据,双曲线嵌入方法已经显示出高保真和精简表示的前景。然而,现有的双曲线嵌入方法并不能解释KGs中丰富的逻辑模式。在本文中,我们介绍了一类双曲线KG嵌入模型,该模型同时捕获层次模式和逻辑模式。我们的方法结合了双曲线反射和旋转,并注意到模型的复杂关系模式。在标准KG基准上的实验结果表明,我们的方法在低维平均倒数秩(MRR)方面比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到不同的几何变换捕获不同类型的关系,而基于注意的变换泛化为多个关系。在高维情况下,我们的方法可以得到最新的MRRs, WN18RR为49.6%,YAGO3-10为57.7%。

成为VIP会员查看完整内容
0
39

图卷积运算符将深度学习的优势引入到各种以前认为无法实现的图和网格处理任务中。随着他们的不断成功,人们希望设计更强大的架构,通常是通过将现有的深度学习技术应用于非欧几里德数据。在这篇论文中,我们认为在新兴的几何深度学习领域,几何应该保持创新的主要驱动力。我们将图神经网络与广泛成功的计算机图形学和数据近似模型:径向基函数(RBFs)联系起来。我们推测,与RBFs一样,图卷积层将受益于将简单函数添加到强大的卷积内核中。我们引入了仿射跳跃连接,这是一种将全连通层与任意图卷积算子相结合而形成的新型构造块。通过实验验证了该方法的有效性,表明改进的性能不仅仅是参数数目增加的结果。在我们评估的每一项任务中,配备了仿射跳跃连接的操作人员都显著地优于他们的基本性能。形状重建,密集形状对应,和图形分类。我们希望我们的简单而有效的方法将作为一个坚实的基线,并有助于缓解未来在图神经网络的研究。

成为VIP会员查看完整内容
0
40

题目: MEMORY-BASED GRAPH NETWORKS

摘 要:

图神经网络是一类对任意拓扑结构的数据进行操作的深度模型。我们为GNNs引入了一个有效的记忆层,它可以联合学习节点表示并对图进行粗化。在此基础上,我们还引入了两个新的网络:基于记忆的GNN (MemGNN)和可以学习层次图表示的图存储网络(GMN)。实验结果表明,所提出的模型在9个图分类和回归基准中有8个达到了最新的结果。我们也证明了这些表示学习可以对应于分子数据中的化学特征。

成为VIP会员查看完整内容
0
90

题目: Hyperbolic Graph Convolutional Neural Networks

摘要: 图卷积神经网络(GCNs)将图中的节点嵌入到欧几里德空间中,在嵌入具有无标度或层次结构的真实图时,欧几里德空间会产生很大的失真。双曲几何提供了一个令人兴奋的选择,因为它使嵌入具有更小的失真。然而,将广义神经网络扩展到双曲几何中,由于目前尚不清楚如何定义双曲空间中的特征变换和聚集等神经网络操作,因此提出了一些独特的挑战。此外,由于输入特征通常是欧几里德的,因此如何将特征转换为具有适当曲率的双曲型嵌入尚不清楚。本文提出了双曲图卷积神经网络(HGCN),它是第一个同时利用GCN和双曲几何的表达能力来学习层次图和无标度图的归纳节点表示的双曲型GCN。推导了双曲空间双曲面模型的GCN运算,并将欧氏输入特征映射到每层可训练曲率不同的双曲空间中的嵌入。

作者简介: Ines Chami,斯坦福大学ICME数据科学项目的硕士,她的研究方向包括计算机视觉,自然语言处理,更具体地说,多模态分析。个人主页:https://profiles.stanford.edu/ines-chami

Rex Ying,斯坦福大学计算机科学博士,他的研究主要集中在开发应用于图结构数据的机器学习算法上。个人主页:https://cs.stanford.edu/people/rexy/

成为VIP会员查看完整内容
0
76

We introduce hyperbolic attention networks to endow neural networks with enough capacity to match the complexity of data with hierarchical and power-law structure. A few recent approaches have successfully demonstrated the benefits of imposing hyperbolic geometry on the parameters of shallow networks. We extend this line of work by imposing hyperbolic geometry on the activations of neural networks. This allows us to exploit hyperbolic geometry to reason about embeddings produced by deep networks. We achieve this by re-expressing the ubiquitous mechanism of soft attention in terms of operations defined for hyperboloid and Klein models. Our method shows improvements in terms of generalization on neural machine translation, learning on graphs and visual question answering tasks while keeping the neural representations compact.

0
7
下载
预览
小贴士
相关资讯
一文读懂Attention机制
机器学习与推荐算法
18+阅读 · 2020年6月9日
【NeurIPS2019】图变换网络:Graph Transformer Network
图嵌入(Graph embedding)综述
人工智能前沿讲习班
364+阅读 · 2019年4月30日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
5+阅读 · 2018年11月22日
相关论文
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
12+阅读 · 2020年3月5日
Inverse Visual Question Answering with Multi-Level Attentions
Yaser Alwatter,Yuhong Guo
4+阅读 · 2019年9月17日
Area Attention
Yang Li,Lukasz Kaiser,Samy Bengio,Si Si
4+阅读 · 2019年5月23日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
3+阅读 · 2019年4月17日
Baosong Yang,Longyue Wang,Derek F. Wong,Lidia S. Chao,Zhaopeng Tu
4+阅读 · 2019年4月8日
Linjie Li,Zhe Gan,Yu Cheng,Jingjing Liu
4+阅读 · 2019年3月29日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
8+阅读 · 2018年10月18日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
7+阅读 · 2018年5月24日
Jin-Hwa Kim,Jaehyun Jun,Byoung-Tak Zhang
10+阅读 · 2018年5月21日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
6+阅读 · 2018年2月4日
Top