【清华大学】元知识图谱推理

2019 年 9 月 2 日 专知
【清华大学】元知识图谱推理

导读

本文提出了一种基于元学习的多跳推理方法(Meta-KGR),该方法采用元学习从高频关系中学习有效元参数,能够快速适应少样本关系。


编译 | Xiaowen

Adapting Meta Knowledge Graph Information for Multi-Hop Reasoning over Few-Shot Relations

多跳(Multi-hop)知识图谱(KG)推理是查询问答(QA)任务中通过推理路径预测目标实体的一种有效且可解释的方法。以往的大多数方法都假设KGs中的每个关系都有足够的训练三元组,而不考虑那些不能提供足够的三元组来训练鲁棒推理模型的少样本(few-shot)关系。事实上,现有的多跳推理方法在少样本关系上的性能明显下降。本文提出了一种基于元学习的多跳推理方法(Meta-KGR),该方法采用元学习从高频关系中学习有效元参数,能够快速适应少样本关系。我们对从Freebase和NELL采样的两个公共数据集的元-KGR进行了评估,实验结果表明,Meta-KGR在少样本场景中优于现有技术方法。


代码数据集地址:
https://github.com/THU-KEG/MetaKGR

近年来,大规模知识图谱(KGs)已被证明对许多NLP任务(如查询应答(QA)是有益的。QA的三重查询通常被形式化为(es, rq, ?),其中es是源实体,rq是查询关系。例如,如果有一个语言查询“马克吐温的国籍是什么?”,我们可以将其转换为(马克吐温, 国籍, ?)然后从KGs中搜索目标实体美国作为答案。然而,由于许多KG是自动构造的,并且面临严重的不完整性问题,因此通常很难直接获取目标实体进行查询。

为了缓解这一问题,一些知识图谱嵌入方法将实体和关系嵌入语义空间以捕获内部连接,然后使用所学的嵌入进行最终预测。虽然这些基于嵌入的方法在预测查询目标实体方面显示出了很强的能力,但它们只给出了答案,并且缺乏对其决策的可解释性。为了使模型更直观,许多研究者提出了多跳推理方法(multi-hop
reasoning methods),其利用KGs中关系的符号组合性实现解释推理结果。例如,当询问(马克吐温;国籍;?)时,多跳推理模型不仅可以给出目标实体美国,还可以给出多跳可解释的路径(马克吐温;出生;佛罗里达)^(佛罗里达;定位;美国)。

图1:真实世界知识图谱Wikidata中关系频率的直方图..

大多数以前的工作都假定有足够的三元组来训练每个关系的有效和稳健的推理模型。然而,如图1所示,大部分KG关系实际上是长尾关系,仅包含少量的三元组关系,可称为少样本关系(few-shot relations)。

有一些知识图表嵌入模型可以zero-shot或one-shot关系,但仍有两个主要缺点: (1) 它们是基于嵌入(embedding)的模型,缺乏可解释性; (2) 它们关注的是zero-shot或one-shot关系,这与现实世界的场景有点相距甚远。 事实上,即使对人来说,几乎没有示例以供学习的话也很难掌握新的知识。 因此,few-shot多跳推理是一个尚未完全解决的重要而实际的问题。 本文提出了一种基于元的多跳推理算法(meta-KGR)来解决上述问题。 具体来说,在meta-KGR中,我们将在KGs中具有相同关系r的三元组查询视为一项任务。 对于每个任务,我们采用强化学习(RL)来训练一个Agent来搜索目标实体和推理路径。 类似于以前的元学习方法MAML,我们使用高频关系的任务来捕获元信息,其中包含了不同任务之间的共同特征。 然后,通过提供一个良好的起点来训练它们特定的推理主体,元信息可以快速地适应少样本关系的任务。 在实验中,我们对Freebase和NELL两个数据集进行了元KGR的评估,实验结果表明,在few-shot场景中,Meta-KGR的性能优于目前最先进的多跳推理方法。

图2:元学习 Meta-learning

知识图谱多跳推理的元学习算法

表1. 数据集


表2. 实验结果

-END-

专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好! 欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
91

相关内容

回答大规模知识图谱上的复杂逻辑查询是一项基本而又具有挑战性的任务。在本文中,我将概述如何使用向量空间嵌入在知识图谱中执行逻辑推理。首先,我将讨论预测一对实体之间关系的知识图谱补全方法:通过捕获与实体相邻的关系类型来考虑每个实体的关系上下文,并通过一种新的基于边的消息传递方案进行建模;考虑关系路径捕获两个实体之间的所有路径;通过一种可学习的注意力机制,自适应地整合关系上下文和关系路径。其次,我们还将讨论QUERY2BOX,这是一个基于嵌入的框架,用于推理使用and、or和存在操作符进行的大量且不完整的KGs中的任意查询。

成为VIP会员查看完整内容
0
51

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美国纽约举办。Michael Galkin撰写了AAAI2020知识图谱论文相关研究趋势包括:KG-Augmented语言模型,异构KGs中的实体匹配,KG完成和链路预测,基于kg的会话人工智能和问题回答,包括论文,值得查看!

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

  • 潜在关系语言模型:本文提出了一种潜在关系语言模型(LRLMs),这是一类通过知识图谱关系对文档中词语的联合分布及其所包含的实体进行参数化的语言模型。该模型具有许多吸引人的特性:它不仅提高了语言建模性能,而且能够通过关系标注给定文本的实体跨度的后验概率。实验证明了基于单词的基线语言模型和先前合并知识图谱信息的方法的经验改进。定性分析进一步证明了该模型的学习能力,以预测适当的关系在上下文中。

成为VIP会员查看完整内容
0
125
小贴士
相关资讯
知识图谱嵌入(KGE):方法和应用的综述
专知
42+阅读 · 2019年8月25日
学习开发知识图谱中的长期关系依赖
人工智能前沿讲习班
6+阅读 · 2019年6月10日
论文浅尝 | 知识图谱相关实体搜索
开放知识图谱
14+阅读 · 2018年12月18日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
相关论文
Hongwei Wang,Hongyu Ren,Jure Leskovec
25+阅读 · 2020年2月17日
Chuxu Zhang,Huaxiu Yao,Chao Huang,Meng Jiang,Zhenhui Li,Nitesh V. Chawla
11+阅读 · 2019年11月26日
Representation Learning with Ordered Relation Paths for Knowledge Graph Completion
Yao Zhu,Hongzhi Liu,Zhonghai Wu,Yang Song,Tao Zhang
6+阅读 · 2019年9月26日
Zhiqing Sun,Zhi-Hong Deng,Jian-Yun Nie,Jian Tang
8+阅读 · 2019年2月26日
Xi Victoria Lin,Richard Socher,Caiming Xiong
5+阅读 · 2018年9月11日
Wenhu Chen,Wenhan Xiong,Xifeng Yan,William Wang
7+阅读 · 2018年3月17日
Mantong Zhou,Minlie Huang,Xiaoyan Zhu
3+阅读 · 2018年3月8日
Wenhan Xiong,Thien Hoang,William Yang Wang
18+阅读 · 2018年1月8日
Top