题目: Multi-relational Poincaré Graph Embeddings

摘要: 双曲型嵌入方法由于其比欧几里德类似方法更准确、简洁地表示层次数据的能力,近年来在机器学习中得到了广泛的关注。然而,多关系知识图往往表现出多个同时的层次结构,而目前的双曲线模型并没有捕捉到这些层次结构。为了解决这个问题,我们提出了一个在双曲空间的Poincaréball模型中嵌入多关系图数据的模型。我们的多关系Poincaré模型(Multi-Relational Poincarémodel,MuRP)通过Móbius矩阵向量乘法和Móbius加法学习特定于关系的参数来转换实体嵌入。分层WN18RR知识图上的实验表明,我们的Poincar EI嵌入优于其欧几里得对和现有的嵌入方法在链路预测任务上,特别是在低维上。

作者简介: Ivana Balažević,爱丁堡大学信息学院机器学习组的博士,也是据科学博士培训中心的成员。她的研究方向是知识图的关系机器学习、表示学习、数学原理嵌入模型和非欧几里德几何。个人主页:http://homepages.inf.ed.ac.uk/s1656585/

成为VIP会员查看完整内容
0
37

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

主题: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入学习实体和关系的低维表示,以预测缺失的内容。 KG通常表现出必须保留在嵌入空间中的分层和逻辑模式。对于分层数据,双曲线嵌入方法已显示出对高保真和简约表示的希望。但是,现有的双曲线嵌入方法无法解决KG中的丰富逻辑模式。在这项工作中,我们介绍了一类双曲KG嵌入模型,该模型同时捕获层次结构和逻辑模式。我们的方法将双曲线反射和旋转结合在一起,以注意对复杂的关系模式进行建模。在标准KG基准上的实验结果表明,我们的方法在较低维度上的平均倒数排名(MRR)比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到,不同的几何变换捕获不同类型的关系,而基于注意力的变换则泛化为多个关系。在高维度上,我们的方法在WN18RR上产生了49.6%的最新技术水平,在YAGO3-10上产生了57.7%的最新技术水平。

成为VIP会员查看完整内容
0
28

题目: Multi-relational Poincaré Graph Embeddings

摘要: 双曲嵌入最近在机器学习中获得了关注,因为它们能够比欧几里得类似物更准确和简洁地表示层次数据。然而,多关系知识图谱经常显示多个同时的层次结构,这是目前的双曲模型没有捕捉到的。为了解决这个问题,我们提出了一个模型,在双曲空间的庞加莱球模型中嵌入多关系图数据。我们的多关系庞加莱模型(MuRP)通过Mobius矩阵向量乘法和Mobius加法学习特定关系参数来转换实体嵌入。在WN18RR层次知识图上的实验表明,我们的庞加莱嵌入方法在链路预测任务上优于欧氏嵌入方法和现有的嵌入方法,特别是在低维的情况下。

成为VIP会员查看完整内容
0
29

题目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

成为VIP会员查看完整内容
0
49

主题: TIMME-Twitter Ideology-detection via Multi-task Multi-relational Embedding

摘要: 跨平台帐户匹配在社交网络分析中起着重要作用,并且有利于广泛的应用。但是,现有方法要么严重依赖高质量的用户生成内容(包括用户配置文件),要么遭受数据不足的问题为了解决这一问题,我们提出了一种新颖的框架,该框架同时考虑了本地网络结构和超图结构上的多级图卷积。所提出的方法克服了现有工作的数据不足的问题,并且不必依赖于用户人口统计信息。此外,为了使所提出的方法能够处理大规模社交网络,我们提出了一种两阶段空间调节机制,以在基于网络分区的并行训练和不同社交网络上的帐户匹配中对齐嵌入空间。在两个大型的现实生活社交网络上进行了广泛的实验。实验结果表明,所提出的方法在很大程度上优于最新模型。

成为VIP会员查看完整内容
0
12

题目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction

摘要: 知识图谱(KGs)嵌入的是一个强大的工具,能够预测KGs缺失的链接。现有的技术通常将KG表示一个三元组集合,每个三元组(h, r, t)通过关系r将两个实体h和t联系起来,并从这样的三元组中学习实体/关系嵌入,同时保留这样的结构。然而,这种三元组的表示过分简化了存储在KG中的数据的复杂性,尤其是超关系的事实,其中每个事实不仅包含基本三元组(h r t),还有相关的键-值对(k、v)。尽管最近有一些技术试图通过将超关系事实转换为n元表示来学习这些数据(即一组没有三元组组的键值对)。由于它们不知道三元组结构,导致了次优模型,三元组结构是现代KGs的基本数据结构,保留了链接预测的基本信息。为了解决这个问题,我们提出了HINGE,一个超相关KG嵌入模型,它直接从KG学习超相关事实。HINGE不仅捕获了在三元组中编码的KG的主要结构信息,而且还捕获了每个三元组及其相关键-值对之间的相关性。我们在KG预测任务大量的实验显示了优越性。特别是,HINGE不仅始终优于仅从三元组学习的KG嵌入方法,而且始终优于使用n元表示从超关系事实学习的方法。

成为VIP会员查看完整内容
0
37

题目: Composition-Based Multi-Relational Graph Convolutional Networks

摘要: 图卷积网络(GCNs)最近被证明在对图结构数据建模方面是非常成功的。然而,主要的重点是处理简单的无向图。多关系图是一种更为普遍和流行的图,其中每条边都有一个与之相关的标签和方向。现有的大多数处理此类图的方法都存在参数过多的问题,并且仅限于学习节点的表示形式。在本文中,我们提出了一种新的图卷积框架COMP-GCN,它将节点和关系共同嵌入到一个关系图中。COMP-GCN利用知识图谱嵌入技术中的各种实体关系组合操作,并根据关系的数量进行扩展。它还概括了几种现有的多关系GCN方法。我们评估了我们提出的方法在多个任务,如节点分类,链接预测,和图分类,并取得了明显的结果。

成为VIP会员查看完整内容
0
85

题目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

摘要: 近年来随着知识图谱(KGs)的大量涌现,加上实体间缺失关系(链接)的不完全或部分信息,催生了大量关于知识库补全(也称为关系预测)的研究。最近的一些研究表明,基于卷积神经网络(CNN)的模型能够生成更丰富、更有表现力的特征嵌入,因此在关系预测方面也有很好的表现。然而,我们观察到这些KG嵌入独立地处理三元组,因此不能捕获到三元组周围的复杂和隐藏的信息。为此,本文提出了一种新的基于注意的特征嵌入方法,该方法能同时捕获任意给定实体邻域内的实体特征和关系特征。此外,我们还在模型中封装了关系集群和多跳关系。我们的实验研究为我们基于注意力的模型的有效性提供了深入的见解,并且与所有数据集上的最先进的方法相比,有显著的性能提升。

成为VIP会员查看完整内容
0
76

题目: Network Representation Learning: A Survey

摘要:

随着信息技术的广泛应用,信息网络越来越受到人们的欢迎,它可以捕获各种学科之间的复杂关系,如社交网络、引用网络、电信网络和生物网络。对这些网络的分析揭示了社会生活的不同方面,如社会结构、信息传播和交流模式。然而,在现实中,大规模的信息网络往往使网络分析任务计算昂贵或难以处理。网络表示学习是近年来提出的一种新的学习范式,通过保留网络拓扑结构、顶点内容和其它边信息,将网络顶点嵌入到低维向量空间中。这有助于在新的向量空间中方便地处理原始网络,以便进行进一步的分析。在这项调查中,我们全面回顾了目前在数据挖掘和机器学习领域的网络表示学习的文献。我们提出了新的分类法来分类和总结最先进的网络表示学习技术,根据潜在的学习机制、要保留的网络信息、以及算法设计和方法。我们总结了用于验证网络表示学习的评估协议,包括已发布的基准数据集、评估方法和开源算法。我们还进行了实证研究,以比较代表性的算法对常见数据集的性能,并分析其计算复杂性。最后,我们提出有希望的研究方向,以促进未来的研究。

作者简介:

Xingquan Zhu是佛罗里达大西洋大学计算机与电气工程和计算机科学系的教授,在中国上海复旦大学获得了计算机科学博士学位。曾在多家研究机构和大学工作过,包括微软亚洲研究院(实习)、普渡大学、佛蒙特大学和悉尼科技大学。主要研究方向:数据挖掘、机器学习、多媒体系统、生物信息学。

成为VIP会员查看完整内容
0
55
小贴士
相关VIP内容
相关论文
Hongwei Wang,Hongyu Ren,Jure Leskovec
24+阅读 · 2020年2月17日
Relation-Aware Graph Attention Network for Visual Question Answering
Linjie Li,Zhe Gan,Yu Cheng,Jingjing Liu
4+阅读 · 2019年10月9日
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
Dong-Jin Kim,Jinsoo Choi,Tae-Hyun Oh,In So Kweon
4+阅读 · 2019年9月22日
Afshin Sadeghi,Damien Graux,Jens Lehmann
4+阅读 · 2019年5月29日
Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst,Alvaro Sanchez-Gonzalez,Vinicius Zambaldi,Mateusz Malinowski,Andrea Tacchetti,David Raposo,Adam Santoro,Ryan Faulkner,Caglar Gulcehre,Francis Song,Andrew Ballard,Justin Gilmer,George Dahl,Ashish Vaswani,Kelsey Allen,Charles Nash,Victoria Langston,Chris Dyer,Nicolas Heess,Daan Wierstra,Pushmeet Kohli,Matt Botvinick,Oriol Vinyals,Yujia Li,Razvan Pascanu
6+阅读 · 2018年10月17日
Relational recurrent neural networks
Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicrap
7+阅读 · 2018年6月28日
Relational Deep Reinforcement Learning
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
5+阅读 · 2018年6月28日
Tim Dettmers,Pasquale Minervini,Pontus Stenetorp,Sebastian Riedel
27+阅读 · 2018年4月6日
Daniel Oñoro-Rubio,Mathias Niepert,Alberto García-Durán,Roberto González,Roberto J. López-Sastre
9+阅读 · 2018年3月31日
Top