论文浅尝 | 用于知识图中链接预测的嵌入方法 SimplE

2019 年 4 月 3 日 开放知识图谱

论文笔记整理:黄佳程,南京大学硕士生,研究方向为知识图谱、实体消解。



链接:https://papers.nips.cc/paper/7682-simple-embedding-for-link-prediction-in-knowledge-graphs.pdf

动机

张量分解方法被证明是一种有效的用于知识图谱补全的统计关系学习方法。最早提出的张量分解方法为CP分解(canonical Polyadicdocomposition),这种方法为每个实体学习出一个头实体嵌入和一个尾实体嵌入,而头尾嵌入是独立的。这导致了该方法在补全上性能较差。SimplE基于CP方法提出了一种张量分解方法,解决其训练中头尾无关的问题。


亮点

SimplE 的亮点主要包括:

1SimplE可以被看成一种双线性模型,与其他模型相比,它具有完全表达能力,同时冗余参数少。

2SimplE可以通过参数共享的方式将背景知识编码进嵌入中。


概念及模型

1. 

其中 v,w,x3d维向量,v[j], w[j], x[j]分别表示向量v,w,x的第j个分量

2. 图谱中的关系类型(ζ表示正例,ζ’表示反例):

a)       自反性:

b)      对称性:

c)       反对称性:

d)      传递性:

3.       SimplE模型

a) 实体和关系的表示:每个实体e具有两个嵌入h_et_e,分别表示其在头实体和尾实体中的表示,每个关系有两个表示

b) 三元组(e_i,r,e_j)的打分函数:

该打分函数可以看成(e_i,r,e_j)(e_j,r^-1,e_j)CP打分的平均值

c) 在实验中,SimplE-ignr的打分函数仅为第一项CP打分,作为一种对比方法


4. SimplE 模型的学习过程:训练中使用随机梯度下降,返利生成方法和 TransE 相同。优化目标为带L2正则化的负对数似然函数:

5. SimplE 利用背景知识的方法:

a) 对于自反的关系rr^-1,可以通过绑定v_rv_r^-1两个参数

b) 对于反对称关系,可以将v_r^-1绑定成-v_r

c) 对于关系r_1,r_2使得(e_i,r_1,e_j)(e_j,r_2,e_i)总是同时成立,可以绑定两个关系的v_rv_r^-1两个参数

理论分析

1.     SimplE 模型的完全表达能力:当嵌入维数充分大时,SimplE 能够完全表示 ground truth


2. FSTransE 嵌入模型中:1.自反关系总是对称的;2.自反关系总是传递的;3.e1Δ的所有实体具有关系re_2Δ中的一个实体具有关系r,则e2Δ中的所有实体具有关系r。其他变体TransEFTransESTransETransH等也有同样的缺陷。

3.     DistMultComplExCPSimplE都可以看作双线性模型(需要把SimplE的头尾表示拼接作为一个实体的单一嵌入),这时他们关系表示的参数如下图:

4.     ComplEx的参数规模为SimplE2倍,并且存在冗余


实验

1.     实验结果

作者与WN18FB15K在两个基准数据集上进行了比较,结果显示了SimplE都取得了较好的效果。

总结

本文提出了一种简单可解释且具有完全表达能力的双线性模型用于知识图谱补全。文章证明了SimplE模型在实验中性能良好,并且具有编码先验知识的能力。



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
22

相关内容

【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
ICLR 2019 | 基于复杂空间关系旋转的知识表示方法
PaperWeekly
15+阅读 · 2019年7月29日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
34+阅读 · 2019年3月17日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
23+阅读 · 2018年2月27日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
7+阅读 · 2018年8月28日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
4+阅读 · 2017年10月30日
VIP会员
相关VIP内容
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
相关资讯
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
ICLR 2019 | 基于复杂空间关系旋转的知识表示方法
PaperWeekly
15+阅读 · 2019年7月29日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
34+阅读 · 2019年3月17日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
23+阅读 · 2018年2月27日
Top
微信扫码咨询专知VIP会员