有关实体及其关系的真实世界事实的知识库是各种自然语言处理任务的有用资源。然而,由于知识库通常是不完整的,因此能够执行知识库补全或链接预测是很有用的。本文全面概述了用于知识库完成的实体和关系的嵌入模型,总结了标准基准数据集上最新的实验结果。

成为VIP会员查看完整内容
0
58

相关内容

题目: KG-BERT: BERT for Knowledge Graph Completion

摘要: 知识图谱是许多人工智能任务的重要资源,但往往是不完整的。在这项工作中,我们使用预训练的语言模型来对知识图谱进行补全。我们将知识图谱中的三元组视为文本序列,并提出了一种新的框架结构——知识图谱双向编码方向转换器(KG-BERT)来对这些三元组进行建模。该方法以一个三元组的实体描述和关系描述作为输入,利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明,我们的方法在三元组分类、链接预测和关系预测任务上都能达到最新的性能。

成为VIP会员查看完整内容
0
88

摘要

知识图谱(KGs)在工业和学术领域有很多应用,这反过来又推动了朝着大规模地从各种来源提取信息大量的研究工作。尽管付出了这些努力,但众所周知,即使是最先进的KGs也是不完整的。链路预测(Link Prediction, LP)是一种根据KG中已存在的实体去预测缺失事实的任务,是一种有前途的、广泛研究的、旨在解决KG的不完整的任务。在最近的LP技术中,基于KG嵌入的LP技术在一些基准测试中取得了很好的性能。尽管这方面的文献在迅速增加,但对这些方法中各种设计选择的影响却没有引起足够的注意。此外,这一领域的标准做法是通过测试大量的事实来报告准确性,其中一些实体被过度表示;这允许LP方法通过只修改包含这些实体的结构属性来展示良好的性能,而忽略KG的主要部分。本篇综述分析提供了基于嵌入的LP方法的全面比较,将分析的维度扩展到常见的文献范围之外。我们通过实验比较了16种最先进的方法的有效性和效率,考虑了一个基于规则的基准,并报告了文献中最流行的基准的详细分析。

介绍

知识图谱(KGs)是真实世界信息的结构化表示。在一个KG中,节点表示实体,例如人和地点;标签是连接它们的关系类型;边是用关系连接两个实体的特定事实。由于KGs能够以机器可读的方式对结构化、复杂的数据进行建模,因此它被广泛应用于各个领域,从问答到信息检索和基于内容的推荐系统,并且对于任何语义web项目都非常重要。常见的KG有FreeBase、WikiData、DBPedia、Yago和行业KG有谷歌KG、Satori和Facebook Graph Search。这些巨大的KG可以包含数百万个实体和数十亿个事实。

尽管有这样的努力,但众所周知,即使是最先进的KGs也存在不完整性问题。例如,据观察FreeBase是用于研究目的的最大和最广泛使用的KGs之一,但是在FreeBase中超过70%的个体没有出生地点,超过99%的个体没有民族。这使得研究人员提出了各种各样的技术来纠正错误,并将缺失的事实添加到KGs中,通常称为知识图谱补全或知识图谱增强任务。可以通过从外部源(如Web语料库)提取新的事实,或者从KG中已经存在的事实推断缺失的事实,来增长现有的KG。后来的方法,称为链接预测(LP),是我们分析的重点。

LP一直是一个日益活跃的研究领域,最近受益于机器学习和深度学习技术的爆炸式增长。目前绝大多数LP模型使用原始的KG元素来学习低维表示,称为知识图谱嵌入,然后利用它们来推断新的事实。在短短几年的时间里,研究人员受到RESCAL和TransE等一些开创性工作的启发,开发了几十种基于不同的架构的新模型。这一领域的绝大多数论文都有一个共同点,但也存在问题,那就是它们报告的结果汇总在大量的测试事实之上,其中很少有实体被过度表示。因此,LP方法可以在这些基准上表现出良好的性能,只对这些实体进行访问,而忽略其他实体。此外,当前最佳实践的局限性可能使人们难以理解这一文献中的论文是如何结合在一起的,以及如何描述出值得追求的研究方向。除此之外,目前技术的优点、缺点和局限性仍然是未知的,也就是说,几乎没有研究过允许模型更好地执行的情况。粗略地说,我们仍然不知道是什么可以让一个事实变得容易还是难以学习和预测。

为了缓解上述问题,我们对一组有代表性的基于KG嵌入的LP模型进行了广泛的比较分析。我们优先考虑最先进的系统,并考虑属于广泛的体系结构的工作。我们从零开始对这些系统进行训练和调整,并通过提出新的、信息丰富的评估实践,提供超出原始论文的实验结果。具体是:

我们考虑了16个模型,属于不同的机器学习和深度学习架构;我们还采用了一个基于规则挖掘的附加的最先进的LP模型作为基线。我们提供了实验比较考虑的方法的详细描述和相关文献的总结,以及知识图谱嵌入技术的教育分类。 我们考虑了5个最常用的数据集,以及目前用于基准测试的最流行的指标;我们详细分析了它们的特点和特性。 对于每个模型,我们为每个数据集提供了效率和有效性的定量结果。 我们在训练数据中提出一组结构特征,并测量它们如何影响每个模型对每个测试事实的预测性能。

方法概述

在本节中,我们描述并讨论了基于潜在特征的知识管理的主要方法。正如在第2节中所描述的,LP模型可以利用各种各样的方法和架构,这取决于它们如何对优化问题进行建模,以及它们实现来处理优化问题的技术。

为了概述它们高度不同的特征,我们提出了一种新的分类法,如图1所示。我们列出了三个主要的系列模型,并进一步将它们划分为更小的组,以独特的颜色标识。对于每个组,我们都包括最有效的代表性模型,优先考虑那些达到最先进性能的模型,并且在任何可能的情况下,优先考虑那些具有公开可用实现的模型。结果是一组16个模型,基于极其多样化的架构;这些是我们随后在比较分析的实验部分所使用的模型。对于每个模型,我们还报告了发表的年份以及从其他模型得到的信息。我们认为,这种分类有助于理解这些模型和在我们的工作中进行的实验。表1报告了关于所包括的模型的进一步信息,例如它们的损失函数和空间复杂性。我们确定了三大类模型:1)张量分解模型;2)几何模型;3)深度学习模型。

张量分解模型

这个家族的模型将LP解释为一个张量分解的任务。这些模型隐式地将KG考虑为一个三维邻接矩阵(即一个3维张量),由于KG的不完整性,这个邻接矩阵只有部分可观测。张量被分解成低维向量的组合(比如一个多线性乘积):这些向量被用作实体和关系的嵌入表示。张量分解的核心思想是,只要训练集训练不过拟合,则学习到的嵌入应该能够泛化,并将高值与图邻接矩阵中不可观测的真实事实相关联。在实践中,每个事实的得分都是通过对事实中涉及的特定嵌入进行组合计算得出的;通过优化所有训练事实的评分函数,可以像往常一样进行学习嵌入。这些模型倾向于使用很少或根本没有共享参数;这使得它们特别容易训练。

几何模型

几何模型将关系解释为潜在空间的几何变换。对于给定的事实,头实体嵌入进行空间转换τ,使用嵌入的关系作为参数的值。对事实评分的值是结果向量和尾向量之间的距离;这样则可以使用距离函数计算δ(例如L1和L2范数)。

深度学习模型

深度学习模型使用深度神经网络来执行LP任务。神经网络学习参数,如权重和偏差,它们结合输入数据,以识别显著模式。深度神经网络通常将参数组织成独立的层,通常穿插非线性激活函数。

随着时间的推移,人们开发了许多不同类型的层,对输入数据应用不同的操作。例如,全连接层将把输入数据X与权重W结合起来,并添加一个偏差B: W X + B。为了简单起见,在下面的公式中我们将不提及偏差的使用,使其保持隐式。更高级的层执行更复杂的操作,如卷积层(它学习卷积内核以应用于输入数据)或递归层(以递归方式处理顺序输入)。

在LP任务中,通常结合各层的权重和偏差来学习KG嵌入;这些共享的参数使这些模型更有表现力,但可能导致参数更多,更难训练,更容易过拟合。

成为VIP会员查看完整内容
0
103

题目: Probability Calibration for Knowledge Graph Embedding Models

摘要: 知识图谱嵌入的研究忽略了概率定标问题。我们展示了流行的嵌入模型确实是未经校准的。这意味着与预测三元组相关的概率估计是不可靠的。摘要针对知识图谱中常见的情况,提出了一种新的校准模型的方法。我们建议在我们的方法的同时使用普拉特尺度和等渗回归。在三个带有地面真值负样本的数据集上进行的实验表明,与使用负样本的黄金标准相比,我们的贡献使模型得到了很好的校准。我们得到的结果显着优于未校准的模型从所有校准方法。我们证明等渗回归提供了最好的整体性能,而不是没有权衡。我们还表明,经过校准的模型不需要定义特定于关系的决策阈值就可以达到最先进的精度。

成为VIP会员查看完整内容
0
24

题目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction

摘要: 知识图谱(KGs)嵌入的是一个强大的工具,能够预测KGs缺失的链接。现有的技术通常将KG表示一个三元组集合,每个三元组(h, r, t)通过关系r将两个实体h和t联系起来,并从这样的三元组中学习实体/关系嵌入,同时保留这样的结构。然而,这种三元组的表示过分简化了存储在KG中的数据的复杂性,尤其是超关系的事实,其中每个事实不仅包含基本三元组(h r t),还有相关的键-值对(k、v)。尽管最近有一些技术试图通过将超关系事实转换为n元表示来学习这些数据(即一组没有三元组组的键值对)。由于它们不知道三元组结构,导致了次优模型,三元组结构是现代KGs的基本数据结构,保留了链接预测的基本信息。为了解决这个问题,我们提出了HINGE,一个超相关KG嵌入模型,它直接从KG学习超相关事实。HINGE不仅捕获了在三元组中编码的KG的主要结构信息,而且还捕获了每个三元组及其相关键-值对之间的相关性。我们在KG预测任务大量的实验显示了优越性。特别是,HINGE不仅始终优于仅从三元组学习的KG嵌入方法,而且始终优于使用n元表示从超关系事实学习的方法。

成为VIP会员查看完整内容
0
35

题目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

摘要: 近年来随着知识图谱(KGs)的大量涌现,加上实体间缺失关系(链接)的不完全或部分信息,催生了大量关于知识库补全(也称为关系预测)的研究。最近的一些研究表明,基于卷积神经网络(CNN)的模型能够生成更丰富、更有表现力的特征嵌入,因此在关系预测方面也有很好的表现。然而,我们观察到这些KG嵌入独立地处理三元组,因此不能捕获到三元组周围的复杂和隐藏的信息。为此,本文提出了一种新的基于注意的特征嵌入方法,该方法能同时捕获任意给定实体邻域内的实体特征和关系特征。此外,我们还在模型中封装了关系集群和多跳关系。我们的实验研究为我们基于注意力的模型的有效性提供了深入的见解,并且与所有数据集上的最先进的方法相比,有显著的性能提升。

成为VIP会员查看完整内容
0
73

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美国纽约举办。Michael Galkin撰写了AAAI2020知识图谱论文相关研究趋势包括:KG-Augmented语言模型,异构KGs中的实体匹配,KG完成和链路预测,基于kg的会话人工智能和问题回答,包括论文,值得查看!

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

  • 潜在关系语言模型:本文提出了一种潜在关系语言模型(LRLMs),这是一类通过知识图谱关系对文档中词语的联合分布及其所包含的实体进行参数化的语言模型。该模型具有许多吸引人的特性:它不仅提高了语言建模性能,而且能够通过关系标注给定文本的实体跨度的后验概率。实验证明了基于单词的基线语言模型和先前合并知识图谱信息的方法的经验改进。定性分析进一步证明了该模型的学习能力,以预测适当的关系在上下文中。

成为VIP会员查看完整内容
0
120

论文摘要:知识图谱嵌入是一种将符号实体和关系投影到连续向量空间的方法,越来越受到人们的重视。以前的方法允许对每个实体或关系进行单一的静态嵌入,忽略它们的内在上下文性质,即。,实体和关系可能出现在不同的图上下文中,因此,它们具有不同的属性。该工作提出了一种新的基于上下文的知识图谱嵌入(CoKE)范式,该范式考虑了这种上下文性质,并学习了动态的、灵活的、完全上下文化的实体和关系嵌入。研究了两类图的上下文:边和路径,它们都被表示为实体和关系的序列。CoKE采用一个序列作为输入,并使用Transformer编码器获得上下文化的表示。因此,这些表现形式自然地适应输入,捕捉实体的上下文含义和其中的关系。通过对各种公共基准的评估,验证了CoKE在链路预测和路径查询应答方面的优越性。在几乎所有情况下,它的性能始终比当前的技术水平更好,或者至少与之相当,特别是在H@10的路径查询应答方面提高了19.7%。

代码链接:[https://github.com/paddlepaddle/models /tree/develop/PaddleKG/CoKE](https://github.com/paddlepaddle/models /tree/develop/PaddleKG/CoKE)

成为VIP会员查看完整内容
0
49
小贴士
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
【论文笔记】基于BERT的知识图谱补全
专知
96+阅读 · 2019年9月15日
知识图谱嵌入(KGE):方法和应用的综述
AI科技评论
33+阅读 · 2019年8月26日
图数据表示学习综述论文
专知
29+阅读 · 2019年6月10日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
26+阅读 · 2019年5月19日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
333+阅读 · 2019年4月30日
论文浅尝 | 基于开放世界的知识图谱补全
开放知识图谱
8+阅读 · 2018年7月3日
相关论文
Aidan Hogan,Eva Blomqvist,Michael Cochez,Claudia d'Amato,Gerard de Melo,Claudio Gutierrez,José Emilio Labra Gayo,Sabrina Kirrane,Sebastian Neumaier,Axel Polleres,Roberto Navigli,Axel-Cyrille Ngonga Ngomo,Sabbir M. Rashid,Anisa Rula,Lukas Schmelzeisen,Juan Sequeda,Steffen Staab,Antoine Zimmermann
79+阅读 · 2020年3月4日
Chuxu Zhang,Huaxiu Yao,Chao Huang,Meng Jiang,Zhenhui Li,Nitesh V. Chawla
10+阅读 · 2019年11月26日
Liang Yao,Chengsheng Mao,Yuan Luo
7+阅读 · 2019年9月11日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
4+阅读 · 2019年8月17日
A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Personalization
Dai Quoc Nguyen,Thanh Vu,Tu Dinh Nguyen,Dat Quoc Nguyen,Dinh Phung
5+阅读 · 2019年3月6日
DSKG: A Deep Sequential Model for Knowledge Graph Completion
Lingbing Guo,Qingheng Zhang,Weiyi Ge,Wei Hu,Yuzhong Qu
3+阅读 · 2018年12月30日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
8+阅读 · 2018年10月18日
Tommaso Soru,Stefano Ruberto,Diego Moussallem,Edgard Marx,Diego Esteves,Axel-Cyrille Ngonga Ngomo
7+阅读 · 2018年3月21日
Liwei Cai,William Yang Wang
5+阅读 · 2018年2月20日
Top