论文浅尝 | 用可微的逻辑规则学习完成知识库推理

2018 年 7 月 5 日 开放知识图谱

CitationFan Yang,Zhilin Yang, William W. Cohen. Differentiable Learning of Logical Rules for Knowledge Base Reasoning. ICLR 2017.

动机

本文提出了一个可微的基于知识库的逻辑规则学习模型。现在有很多人工智能和机器学习的工作在研究如何学习一阶逻辑规则,规则示例如下图:

形式化本文关心的逻辑规则如下:

每一个规则由多个约束条件组合而成,并且被赋予一个置信度 α,其中query(Y,X) 表示一个三元组,query 表示一个关系。


不同于基于 embedding 的知识库推理,规则应该体无关的,规则可以用于任何新添加到知识库中的体,但在知识库 embedding 方法里,新添加到知识库中的体由于没有对应的表示,无法就行相关的推理。

不同于以往的基于搜索和随机游走的规则学习方法,本文的目标是提出一个可微的一阶谓词逻辑规则学习模型,可用基于梯度的方法进行优化求解。

本文提出的NeuralP模型主要收到 TensorLog 的启。TensorLog 可视为一个可微的推理机。知识库中的每个体用一个 one-hot 向量表示,每个关系 r 义为一个矩算子 M_r,M_r 为一个稀疏的毗连矩阵,维度为 n_e×n_e, 其中 n_e 表示体的个数。每一条逻辑规则的右部分被表示以下形式:


所以总结本文关心的问题如下:

V_x  和 V_y 分别为一个由规则推理得到的三元。在上式的问题中,算法需要学的部分分两个:一个是规则构,即一个规则是由哪些条件合而成的;另一个是规则的置信度。由于每一条规则的置信度都是依于具体的规则形式,而规则结构的成也是一个离散化的程,因此上式整体是不可微的。因此作者前面的式子做了以下更改:

主要交乘和累加的序,对预一个关系的相关的规则为每个关系在每个步都学了一个重,即上式的 a_l^k。其中 T 超参,表示规则度。由于上式固定了每个规则度都 T,这显然是不合适的。了能够学习变长规则,Neural LP设计记忆向量 u_t,表示每个步骤输出的答案--每个体作答案的概率分布,还设计了两个注意力向量:一个为记忆注意力向量 b_t ——表示在步 t 时对于之前每个步的注意力;一个算子注意力向量 a_t ——表示在步 t 时对于每个关系算子的注意力。每个步出由下面三个式子生成:

其中 a_t 和 b_t 基于一个 RNN 生成,具体如下:

其中隐层变 h_t 由一个LSTM生成。

本文还设计了一个根据训练结果解析规则的算法如下:


实验:

本文的实验相当丰富,主要包括

(1)  两个标准数据集上的统计关系学习相关的实验

(2)  在1616的网格上的路径寻找的实验

(3)  知识库补全实验

明Neural LP的归纳推理的能力,本文别设计了一个实验,在训练数据集中去掉所有涉及测试集中包含的体的三元,然后训练预测,得到果如下:

实验有效地明了Neural LP的归纳推理的能力。

(4)  识库问答的实验

总结

本文提出了一个可微的规则模型,并强调了知识库中的规则应该体无关的,非常得借。有趣的者可以阅读一下原文。

 

论文笔记整理:张文,浙江大学博士在,研究方向知识图谱的分布式表示与推理。

 



OpenKG.CN


中文开放知识图谱(简称OpenKG.CN)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

转载须知:转载需注明来源“OpenKG.CN”、作者及原文链接。如需修改标题,请注明原标题。

 

点击阅读原文,进入 OpenKG 博客。

登录查看更多
13

相关内容

【天津大学】知识图谱划分算法研究综述
专知会员服务
103+阅读 · 2020年4月27日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
127+阅读 · 2020年4月25日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
中文知识图谱构建技术以及应用的综述
专知会员服务
305+阅读 · 2019年10月19日
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
论文浅尝 | 基于知识库的自然语言理解 04#
开放知识图谱
14+阅读 · 2019年3月14日
论文浅尝 | 基于知识图的问答变分推理
开放知识图谱
6+阅读 · 2018年5月6日
论文浅尝 | 使用变分推理做KBQA
开放知识图谱
12+阅读 · 2018年4月15日
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
23+阅读 · 2018年2月27日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
4+阅读 · 2018年5月14日
Arxiv
5+阅读 · 2018年4月22日
Arxiv
28+阅读 · 2018年4月6日
Arxiv
6+阅读 · 2018年1月29日
VIP会员
相关VIP内容
【天津大学】知识图谱划分算法研究综述
专知会员服务
103+阅读 · 2020年4月27日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
127+阅读 · 2020年4月25日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
中文知识图谱构建技术以及应用的综述
专知会员服务
305+阅读 · 2019年10月19日
相关资讯
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
论文浅尝 | 基于知识库的神经网络问题生成方法
开放知识图谱
19+阅读 · 2019年6月21日
论文浅尝 | 基于知识库的自然语言理解 04#
开放知识图谱
14+阅读 · 2019年3月14日
论文浅尝 | 基于知识图的问答变分推理
开放知识图谱
6+阅读 · 2018年5月6日
论文浅尝 | 使用变分推理做KBQA
开放知识图谱
12+阅读 · 2018年4月15日
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
23+阅读 · 2018年2月27日
相关论文
Arxiv
8+阅读 · 2019年3月21日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
4+阅读 · 2018年5月14日
Arxiv
5+阅读 · 2018年4月22日
Arxiv
28+阅读 · 2018年4月6日
Arxiv
6+阅读 · 2018年1月29日
Top
微信扫码咨询专知VIP会员