题目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

成为VIP会员查看完整内容
0
49

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

主题: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入学习实体和关系的低维表示,以预测缺失的内容。 KG通常表现出必须保留在嵌入空间中的分层和逻辑模式。对于分层数据,双曲线嵌入方法已显示出对高保真和简约表示的希望。但是,现有的双曲线嵌入方法无法解决KG中的丰富逻辑模式。在这项工作中,我们介绍了一类双曲KG嵌入模型,该模型同时捕获层次结构和逻辑模式。我们的方法将双曲线反射和旋转结合在一起,以注意对复杂的关系模式进行建模。在标准KG基准上的实验结果表明,我们的方法在较低维度上的平均倒数排名(MRR)比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到,不同的几何变换捕获不同类型的关系,而基于注意力的变换则泛化为多个关系。在高维度上,我们的方法在WN18RR上产生了49.6%的最新技术水平,在YAGO3-10上产生了57.7%的最新技术水平。

成为VIP会员查看完整内容
0
28

题目: Multi-view Knowledge Graph Embedding for Entity Alignment

摘要: 我们研究了知识图谱之间基于嵌入的实体对齐问题。之前的研究主要集中在实体的关系结构上。有些还进一步合并了另一种类型的特性,比如属性,以进行细化。然而,大量的实体特征尚未被探索或没有被平等地放在一起处理,这损害了基于嵌入的实体对齐的准确性和鲁棒性。在本文中,我们提出了一个新的框架,统一实体的多个视图来学习嵌入来实现实体对齐。具体来说,我们根据实体名称、关系和属性的视图嵌入实体,并使用几种组合策略。此外,我们设计了一些跨KG推理方法来增强两个KG之间的对齐。我们在真实数据集上的实验表明,所提出的框架显著优于目前最先进的基于嵌入的实体对齐方法。所选择的视图、跨KG推理和组合策略都有助于性能的提高。

成为VIP会员查看完整内容
0
27

题目: Hyperbolic Heterogeneous Information Network Embedding

摘要: 异构信息网络嵌入(Heterogeneous information network, HIN)以将其投射到低维空间为目标,已经引起了相当多的研究关注。现有的HIN嵌入方法主要是在欧几里得空间中保留内部网络结构和语义相关性。然而,一个基本的问题是欧几里得空间是否是HIN的合适的或内在的等距空间?。近年来的研究认为,复杂网络的底层可能具有双曲几何,因为底层的双曲几何可以自然地反映复杂网络的一些特性,如层次结构和幂律结构。在本文中,我们首次尝试将HIN嵌入到双曲空间中。我们分析了两个实际HIN的结构,发现HIN中也存在幂律分布等性质。为此,我们提出了一种新的双曲异构信息网络嵌入模型。具体地说,为了捕获节点之间的结构和语义关系,我们采用元路径引导随机游走对每个节点的序列进行采样。然后利用双曲空间中的距离作为近似度量。双曲距离能满足三角不等式,并能很好地保持HIN中的传递性。我们的模型使节点及其邻域具有小的双曲线距离。进一步推导出有效的优化策略,迭代更新双曲嵌入。实验结果表明,该模型不仅在网络重构和链路预测任务上具有优越的性能,而且在HIN中通过可视化显示了捕获层次结构的能力。

成为VIP会员查看完整内容
0
33

题目: Hyperbolic Graph Attention Network

摘要: 图神经网络(GNN)在图处理方面表现出了优越的性能,近年来引起了人们的广泛关注。然而,大多数现有的GNN模型主要是为欧几里得空间中的图设计的。最近的研究已经证明,图数据显示非欧几里得潜在的解剖学。不幸的是,到目前为止,很少有研究GNN在非欧几里得的设置。为了弥补这一缺陷,本文首次对双曲空间中具有注意机制的GNN进行了研究。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,不能进行向量操作(如向量的加法、减法和标量乘法)。为了解决这个问题,我们使用回旋向量空间,它提供了一个优雅的代数形式的双曲几何,以转换图的特征;在此基础上,我们提出了基于双曲接近的注意力聚合机制。此外,由于双曲空间中的数学运算比欧几里得空间中的更为复杂,我们进一步设计了一种新的利用对数和指数映射的加速策略来提高模型的效率。通过与其他最先进的基线方法的比较,发现在四个真实数据集上的综合实验结果证明了我们提出的双曲图注意力网络模型的性能。

成为VIP会员查看完整内容
0
66

题目: Multi-relational Poincaré Graph Embeddings

摘要: 双曲嵌入最近在机器学习中获得了关注,因为它们能够比欧几里得类似物更准确和简洁地表示层次数据。然而,多关系知识图谱经常显示多个同时的层次结构,这是目前的双曲模型没有捕捉到的。为了解决这个问题,我们提出了一个模型,在双曲空间的庞加莱球模型中嵌入多关系图数据。我们的多关系庞加莱模型(MuRP)通过Mobius矩阵向量乘法和Mobius加法学习特定关系参数来转换实体嵌入。在WN18RR层次知识图上的实验表明,我们的庞加莱嵌入方法在链路预测任务上优于欧氏嵌入方法和现有的嵌入方法,特别是在低维的情况下。

成为VIP会员查看完整内容
0
29

题目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction

摘要: 知识图谱(KGs)嵌入的是一个强大的工具,能够预测KGs缺失的链接。现有的技术通常将KG表示一个三元组集合,每个三元组(h, r, t)通过关系r将两个实体h和t联系起来,并从这样的三元组中学习实体/关系嵌入,同时保留这样的结构。然而,这种三元组的表示过分简化了存储在KG中的数据的复杂性,尤其是超关系的事实,其中每个事实不仅包含基本三元组(h r t),还有相关的键-值对(k、v)。尽管最近有一些技术试图通过将超关系事实转换为n元表示来学习这些数据(即一组没有三元组组的键值对)。由于它们不知道三元组结构,导致了次优模型,三元组结构是现代KGs的基本数据结构,保留了链接预测的基本信息。为了解决这个问题,我们提出了HINGE,一个超相关KG嵌入模型,它直接从KG学习超相关事实。HINGE不仅捕获了在三元组中编码的KG的主要结构信息,而且还捕获了每个三元组及其相关键-值对之间的相关性。我们在KG预测任务大量的实验显示了优越性。特别是,HINGE不仅始终优于仅从三元组学习的KG嵌入方法,而且始终优于使用n元表示从超关系事实学习的方法。

成为VIP会员查看完整内容
0
37

知识图谱(KG)嵌入通过学习实体和关系的低维表示来预测缺失的事实。KGs通常表现出层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于层次数据,双曲线嵌入方法已经显示出高保真和精简表示的前景。然而,现有的双曲线嵌入方法并不能解释KGs中丰富的逻辑模式。在本文中,我们介绍了一类双曲线KG嵌入模型,该模型同时捕获层次模式和逻辑模式。我们的方法结合了双曲线反射和旋转,并注意到模型的复杂关系模式。在标准KG基准上的实验结果表明,我们的方法在低维平均倒数秩(MRR)方面比以前的基于欧几里德和双曲线的方法提高了6.1%。此外,我们观察到不同的几何变换捕获不同类型的关系,而基于注意的变换泛化为多个关系。在高维情况下,我们的方法可以得到最新的MRRs, WN18RR为49.6%,YAGO3-10为57.7%。

成为VIP会员查看完整内容
0
37

Knowledge graph (KG) embeddings learn low-dimensional representations of entities and relations to predict missing facts. KGs often exhibit hierarchical and logical patterns which must be preserved in the embedding space. For hierarchical data, hyperbolic embedding methods have shown promise for high-fidelity and parsimonious representations. However, existing hyperbolic embedding methods do not account for the rich logical patterns in KGs. In this work, we introduce a class of hyperbolic KG embedding models that simultaneously capture hierarchical and logical patterns. Our approach combines hyperbolic reflections and rotations with attention to model complex relational patterns. Experimental results on standard KG benchmarks show that our method improves over previous Euclidean- and hyperbolic-based efforts by up to 6.1% in mean reciprocal rank (MRR) in low dimensions. Furthermore, we observe that different geometric transformations capture different types of relations while attention-based transformations generalize to multiple relations. In high dimensions, our approach yields new state-of-the-art MRRs of 49.6% on WN18RR and 57.7% on YAGO3-10.

0
12
下载
预览

有关实体及其关系的真实世界事实的知识库是各种自然语言处理任务的有用资源。然而,由于知识库通常是不完整的,因此能够执行知识库补全或链接预测是很有用的。本文全面概述了用于知识库完成的实体和关系的嵌入模型,总结了标准基准数据集上最新的实验结果。

成为VIP会员查看完整内容
0
60

题目: Multi-relational Poincaré Graph Embeddings

摘要: 双曲型嵌入方法由于其比欧几里德类似方法更准确、简洁地表示层次数据的能力,近年来在机器学习中得到了广泛的关注。然而,多关系知识图往往表现出多个同时的层次结构,而目前的双曲线模型并没有捕捉到这些层次结构。为了解决这个问题,我们提出了一个在双曲空间的Poincaréball模型中嵌入多关系图数据的模型。我们的多关系Poincaré模型(Multi-Relational Poincarémodel,MuRP)通过Móbius矩阵向量乘法和Móbius加法学习特定于关系的参数来转换实体嵌入。分层WN18RR知识图上的实验表明,我们的Poincar EI嵌入优于其欧几里得对和现有的嵌入方法在链路预测任务上,特别是在低维上。

作者简介: Ivana Balažević,爱丁堡大学信息学院机器学习组的博士,也是据科学博士培训中心的成员。她的研究方向是知识图的关系机器学习、表示学习、数学原理嵌入模型和非欧几里德几何。个人主页:http://homepages.inf.ed.ac.uk/s1656585/

成为VIP会员查看完整内容
0
37
小贴士
相关VIP内容
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
【清华大学】元知识图谱推理
专知
88+阅读 · 2019年9月2日
知识图谱嵌入(KGE):方法和应用的综述
专知
42+阅读 · 2019年8月25日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
337+阅读 · 2019年4月30日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
23+阅读 · 2019年3月26日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
7+阅读 · 2019年2月1日
相关论文
Ines Chami,Adva Wolf,Da-Cheng Juan,Frederic Sala,Sujith Ravi,Christopher Ré
12+阅读 · 2020年5月1日
Zhanqiu Zhang,Jianyu Cai,Yongdong Zhang,Jie Wang
15+阅读 · 2019年12月25日
Chuxu Zhang,Huaxiu Yao,Chao Huang,Meng Jiang,Zhenhui Li,Nitesh V. Chawla
11+阅读 · 2019年11月26日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
4+阅读 · 2019年8月17日
Deepak Nathani,Jatin Chauhan,Charu Sharma,Manohar Kaul
34+阅读 · 2019年6月4日
Logic Rules Powered Knowledge Graph Embedding
Pengwei Wang,Dejing Dou,Fangzhao Wu,Nisansa de Silva,Lianwen Jin
6+阅读 · 2019年3月9日
Embedding Logical Queries on Knowledge Graphs
William L. Hamilton,Payal Bajaj,Marinka Zitnik,Dan Jurafsky,Jure Leskovec
3+阅读 · 2019年2月19日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
8+阅读 · 2018年10月18日
Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network
Kai Wang,Yu Liu,Xiujuan Xu,Dan Lin
3+阅读 · 2018年8月11日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
7+阅读 · 2018年5月24日
Top