论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取

2019 年 7 月 5 日 开放知识图谱

论文笔记整理:王狄烽,南京大学硕士,研究方向为关系抽取、知识库补全。


链接:https://arxiv.org/pdf/1903.01306.pdf

发表会议:NAACL2019


动机

现有的利用远程监督进行实体关系抽取的方法大多关注于如何对训练数据进行降噪,从而提升模型效果,而忽略了长尾关系的抽取,使得长尾关系抽取效果极差。但是长尾关系的存在是不可忽略的,在NYT数据集中,大约70%的关系属于长尾关系(即该关系训练实例数量较少,少于1000)。如何提高模型对长尾关系抽取效果是该篇论文主要出发点。


贡献

该篇论文的主要贡献如下:

1、提出了一种长尾关系远程监督抽取的模型;

2、联合使用KG embeddings 和 GCNs 来学习关系丰富的语义信息;

3、利用coarse-to-fine knowledge-aware mechanism 来利用关系语义信息;

4、在NYT数据集上的结果表明当前模型在长尾关系的抽取上取得了state-of-the-art的效果。


方法

在方法整体思路上,遵从前人工作,利用语义相近的head关系,辅助训练长尾关系,从而缩小关系抽取时潜在的搜索空间、减少关系之间的不确定性。该思路的两个要点在于:1、如何学习得到关系语义信息;2、如何利用学习得到的关系语义信息。

对于如何学习得到关系语义信息,该论文首先利用现有的KG embeddings方法(如TransE等)学习得到关系的隐式语义信息,但是因为TransE等模型无法有效建模关系的一对多、多对多情况,从而仅仅通过KG embedding方法无法有效获取关系的语义信息。因此,论文中使用图卷积网络(GCNs)从关系的层次结构中获取关系的显式语义信息。最后将关系的隐式语义信息和显式语义信息进行结合从而得到最终的关系语义信息表示。

对于如何利用学习得到的关系语义信息,该论文首先利用CNN将句子编码为低维向量,然后使用 coarse-to-fine knowledge-aware mechanism 从多个同实体对句子(多实例学习)加权得到最终的句子向量表示。

模型的框架图如下所示:


从模型框架图中可以看出,其方法主要包含三个部分:

1、实例编码模块:利用CNNs对句子进行编码;

2、关系知识学习模块:利用KG embedding和GCNs得到关系的语义表示;

3、Knowledge-aware注意力模块:利用关系语义信息对同实体对的多个句子进行加权得到最终句子的语义表示。


1、实例编码模块

 给定一个句子及其包含的两个entity mentions,利用CNN或PCNN模型,将原始的句子 s 映射到一个低维连续空间中,得到向量x,该论文使用的特征包括1、预训练Skip-Gram word embedding;2、position embeddings

 

2、关系知识学习模块

在关系知识学习中,综合利用 KG embedding 和 GCNs 得到关系的语义表示。对于KG embedding 使用 TransE 对知识进行预训练从而得到关系的隐式表示

对于如何使用GCNs得到关系的显示表示?论文中首先构建了关系的层次结构图,关系的层次结构图可以使用hierarchy clustering (Johnson, 1967) or K-means算法结构构建,也可以使用现有知识图谱中关系的层次结构。关系的层次结构图如下所示。

对于构建的关系层次结构图,底部的节点用TransE预训练的关系向量进行初始化,父节点初始化为子节点平均值。

使用两层GCN,对构建的关系层次图进行迭代训练,GCN 输出层公式如下:

最终关系的语义表示为:

3、Knowledge-aware注意力模块

依从多实例学习,对于给定的实体对,以及相关的多个句子,对于一个关系r,我们可以得到其关系的层次链,其中的子关系。

我们计算 Attention 操作在关系层次链的每一层,从而得到每一层文本相关的关系表示,具体公式如下:


考虑到不同层次的关系对最终实例表示的贡献的不同,对每一层关系表示使用Attention操作,其中使用作为score-function,表示输入关系r和该层预测关系r之间的匹配层度,计算公式如下:



最后使用来计算,计算公式如下:

实验

1、数据集

NYT dataset

Relations number

53

Training set

522611 sentences


281270 entity pair


18252 relation facts

Test set

172448 sentences


96678 entity pairs


1950 relation facts

2、实验结果

3、长尾关系实验结果

说明:为了体现模型在长尾关系的有效性,作者选择了实例数少于100/200的长尾关系,以长尾关系构建测试子集进行实验,实验结果如下。


总结

本文针对长尾关系抽取提出了一种利用KG embedding和GCNs学习关系知识以及使用注意力机制利用学习得到的关系语义信息的模型。

 



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
30

相关内容

关系抽取指的是检测和识别文本中实体之间的语义关系,并将表示同一语义关系的提及(mention)链接起来的任务。关系提取任务需要在一组工件(通常来自文本或XML文档)中对语义关系提及进行检测和分类。该任务与信息抽取(IE)的任务非常相似,但是IE还需要删除重复关系(消除歧义),并且通常指的是提取许多不同的关系。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
论文浅尝 | 利用 KG Embedding 进行问题回答
开放知识图谱
21+阅读 · 2019年7月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
29+阅读 · 2019年3月13日
Arxiv
3+阅读 · 2019年3月1日
Arxiv
7+阅读 · 2018年8月21日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关VIP内容
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
相关资讯
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
论文浅尝 | 利用 KG Embedding 进行问题回答
开放知识图谱
21+阅读 · 2019年7月7日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
相关论文
Arxiv
14+阅读 · 2019年11月26日
Arxiv
29+阅读 · 2019年3月13日
Arxiv
3+阅读 · 2019年3月1日
Arxiv
7+阅读 · 2018年8月21日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
6+阅读 · 2018年2月8日
Top
微信扫码咨询专知VIP会员