论文摘要:知识图谱嵌入是一种将符号实体和关系投影到连续向量空间的方法,越来越受到人们的重视。以前的方法允许对每个实体或关系进行单一的静态嵌入,忽略它们的内在上下文性质,即。,实体和关系可能出现在不同的图上下文中,因此,它们具有不同的属性。该工作提出了一种新的基于上下文的知识图谱嵌入(CoKE)范式,该范式考虑了这种上下文性质,并学习了动态的、灵活的、完全上下文化的实体和关系嵌入。研究了两类图的上下文:边和路径,它们都被表示为实体和关系的序列。CoKE采用一个序列作为输入,并使用Transformer编码器获得上下文化的表示。因此,这些表现形式自然地适应输入,捕捉实体的上下文含义和其中的关系。通过对各种公共基准的评估,验证了CoKE在链路预测和路径查询应答方面的优越性。在几乎所有情况下,它的性能始终比当前的技术水平更好,或者至少与之相当,特别是在H@10的路径查询应答方面提高了19.7%。

代码链接:[https://github.com/paddlepaddle/models /tree/develop/PaddleKG/CoKE](https://github.com/paddlepaddle/models /tree/develop/PaddleKG/CoKE)

成为VIP会员查看完整内容
15+
0+

相关内容

中国互联网公司之一,占有中国搜索引擎市场五成以上的份额。旗下有贴吧、知道、百科、文库等产品。 详细资料: 百度 本话题适用于百度公司及其产品的讨论。

知识图谱补全的目的是预测知识图谱中实体之间的缺失关系。虽然已经提出了许多不同的方法,但缺乏一个统一的框架产生SOTA的结果。在这里,我们开发了PathCon,这是一种知识图谱补全方法,它利用四个新颖的见解来超越现有的方法。PathCon通过以下方法预测一对实体之间的关系: (1)通过捕获实体附近的关系类型,并通过基于边缘的消息传递模式建模,来考虑每个实体的关系上下文; (2)考虑获取两个实体之间所有路径的关系路径; (3)通过可学习的注意力机制,自适应地整合关系上下文和关系路径。重要的是,与传统的基于节点的表示不同,PathCon仅使用关系类型表示上下文和路径,这使得它适用于归纳设置。在知识图谱基准上的实验结果以及我们新提出的数据集表明,PathCon在很大程度上优于最先进的知识图谱补全方法。最后,PathCon能够通过识别对给定的预测关系很重要的上下文和路径关系来提供可解释的说明。

成为VIP会员查看完整内容
16+
0+

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美国纽约举办。Michael Galkin撰写了AAAI2020知识图谱论文相关研究趋势包括:KG-Augmented语言模型,异构KGs中的实体匹配,KG完成和链路预测,基于kg的会话人工智能和问题回答,包括论文,值得查看!

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

  • 潜在关系语言模型:本文提出了一种潜在关系语言模型(LRLMs),这是一类通过知识图谱关系对文档中词语的联合分布及其所包含的实体进行参数化的语言模型。该模型具有许多吸引人的特性:它不仅提高了语言建模性能,而且能够通过关系标注给定文本的实体跨度的后验概率。实验证明了基于单词的基线语言模型和先前合并知识图谱信息的方法的经验改进。定性分析进一步证明了该模型的学习能力,以预测适当的关系在上下文中。

成为VIP会员查看完整内容
32+
0+

题目

知识增强的常识性故事生成预训练模型,A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation

关键字

知识增强,故事生成,预训练,机器学习,神经网络,语言模型

简介

故事生成,即从主导语境中生成真实的故事,是一项重要而富有挑战性的任务。尽管成功建模流畅性和本地化,现有的神经语言生成模型(例如,GPT-2)仍然遭受重复,逻辑冲突,缺乏长期连贯性在生成的故事。我们推测,这是由于关联相关常识知识、理解因果关系、规划实体和事件具有适当的时间顺序等方面的困难,本文设计了一个常识故事生成的知识增强预训练模型,并提出了利用常识知识的方法来自外部知识库的知识,以生成合理的故事。为了进一步捕捉可推理故事中句子之间的因果关系和时间依赖关系,我们采用了多任务学习法,在微调过程中结合辨别目标来区分真假故事。自动和手动评估表明,我们的模型可以生成比艺术基线状态更合理的故事,特别是在逻辑和全局一致性方面。

作者

Jian Guan, Fei Huang, Xiaoyan Zhu, Minlie Huang,来自人工智能研究所,智能技术与系统国家重点实验室;北京国家信息科学技术研究中心;清华大学计算机科学与技术系。 Zhihao Zhao,来自北京航空航天大学软件学院。

成为VIP会员查看完整内容
11+
0+

论文题目:
Latent Relation Language Models

论文摘要: 在本文中,我们提出了潜在关系语言模型(LRLM),它是一类语言模型,它通过知识图的关系参数化文档中单词和其中出现的实体的联合分布。 该模型具有许多吸引人的属性:它不仅提高了语言建模性能,而且还能够注释实体跨度对于关联文本的后验概率。 实验表明,在基于单词的基准语言模型和结合了知识图谱信息的先前方法上,经验性改进。 定性分析进一步证明了该模型在上下文中学习最佳预测适当关系的能力。

成为VIP会员查看完整内容
9+
0+
Top