ICLR 2020 | 知识图谱推理框架:基于向量空间的推理和数值逻辑推理

ICLR 2020 | 知识图谱推理框架:基于向量空间的推理和数值逻辑推理

知识图谱作为人类知识的载体,蕴含着丰富的语义知识,因此支撑着许多上游的应用,例如问答,推荐等。基于知识图谱的推理作为知识图谱问答的基础,也是有着不同的解决框架,本文解读了两篇不同框架的论文:一篇是基于知识图谱的向量嵌入技术,完全基于向量操作进行推理演算;另一篇是基于 Neural Logic Programming 框架,并进一步解决了数值推理的问题。


1,Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings

(ICLR 2020, Poster)

Hongyu Ren, Weihua Hu, Jure Leskovec


随着知识图谱向量嵌入的技术发展,衍生出了另一种基于向量的知识图谱推理方法,与之前的 Neural-LP(Neural Logic Programming)类似的推理框架不同,这一推理框架将问题和实体都表示成低维向量,随后通过向量计算实体与问题的相似度,从而选取相似度较高的实体作为问题的答案实体。然而,之前的方法都是把问题表示为单个向量,但较为复杂的问题可能具有多个答案实体,所以将这种复杂问题表示成语义单一的单个向量明显是不合理的。本文提出了一种 Box Embedding 的思想,将问题表示成向量空间中的具有一定空间范围的 box,这样的 query box 中就可以自然的包括所有答案实体,充分表示了复杂问题的语义信息。


具体来说,box embedding 是由中心向量和偏移向量所组成,覆盖向量空间中的一定范围,所以,问题中的源实体也可以看成一种偏移量为零的特殊 box,通过一系列的逻辑向量操作,就可以得到最终的包含答案实体的 box。首先文中定义了合取式的逻辑向量操作,认为合取式都可以用俩种逻辑操作:Projection,Intersection 来表示。Projection 表示 KG 中的关系映射,也是由中心向量和偏移向量所组成;Interaction 表示多个 box embedding 的交集,如下图所示:





最终通过比较实体向量与最后得出的 box 的距离(Distance),就可以得到答案实体。


随后,又进一步加入了逻辑的析取表达。文中证明,若将析取也定义成与合取类似的逻辑向量操作的情况,那么生成的不同问题数量跟知识图谱的实体数目是成正比的,这将使模型很难泛化到大规模知识图谱中。所以文中提出将问题转换成一种由多个合取所组成的析取范式框架(Disjunctive Normal Form),将析取定义成对所有合取结果的最后一步合并操作,如下图:





这样就可以以一种温和的方式引入析取表达,扩大了模型的表达能力。


模型系统地在三个标准的知识图谱(FB15K,FB15K-237,NELL995)进行了评测,并与另一个相关的 baseline GQE (Hamilton et al., 2018)进行了对比:





p(Projection), i(Intersection),u(Union) 代表不同的问题组成。实验结果表明 Q2B 在所有情况下都显式的优于 Q2E,体现出 Box embedding 的有效性。


2,Differentiable learning of numerical rules in knowledge graphs

ICLR 2020 (Poster)

Po-Wei Wang, Daria Stepanova, Csaba Domokos, J. Zico Kolter.


先前的基于 Neural-LP(Neural Logic Programming)框架的模型一般只能在由<实体,关系,实体>组成的知识图谱结构谓词上进行推理,而不能解决涉及到实体属性数值方面的问题,例如“比 A 年长的人是谁?”本文是在 Neural-LP 框架上进行了拓展,加入了数值推理的逻辑,解决了数值比较,属性聚合以及求反等三个方面的推理。


具体来说,文中把实体属性的数值比较也定义了成了一种谓词操作:





其中,p, q 表示待比较的属性,这样就可以自然的将属性谓词使用类似于 Neural-LP 的谓词矩阵运算来实现。但是与关系谓词不同,属性谓词矩阵通常是稠密的,因为属性在实体上较为通用,而稠密矩阵的相乘复杂度特别高,所以文中定义了一种排序正则化的思路,将矩阵相乘转化为排序后的累加,极大地降低了复杂度。有了之前的定义,求反操作就比较容易得出,即对于之前得到的属性谓词矩阵的每一维取非(0->1, 1->0),但会遵循 Local Closed-world Assumption(LCWA),即至少有一个非 0 值的行才会取非。


基于定义的数值比较和求反操作,通过在之上施加聚合函数 F 去达到多个属性操作聚合作用的效果,例如下面一条逻辑表达式:





其中 F 代表的聚合操作就是由俩种基础的属性比较操作的某种联合作用,聚合函数可用任意的神经网络来替换,文中使用了简单的 MLP。


模型系统地在两个标准的知识图谱(FB15K-237-num, DBP15K-num)上进行了评测,并且为了体现出数值推理的作用,文中又构造了俩个富含属性信息的数据集 Numerical-1/2,实验结果如下:





实验结果可以看出,本文基于 Neural-LP 拓展出的方法 Neural-Num-LP 在自造的数据集上,达到了一种很好的效果,而另外俩个相关的 baseline 因为没有加入数值推理的逻辑,所以效果不行;同时,在俩个标准知识图谱上,Neural-Num-LP 也能达到一个较好的效果,体现出框架的一方面很好的保存了关系推理的功能,又较好的建模了数值推理的逻辑。

免责声明:本文来自学术头条,我们非常尊重原作者Unicorn的著作权,如涉及版权问题,请及时联系本公众号小编,谢谢!

参考文献:

[1] Will Hamilton, Payal Bajaj, Marinka Zitnik, Dan Jurafsky, and Jure Leskovec. Embedding logical queries on knowledge graphs. In Advances in Neural Information Processing Systems (NeurIPS), pp. 2027–2038, 2018.

发布于 2020-05-14 14:02