论文浅尝 | 通过依赖预测和信息流控制提高关系提取的跨领域性能

2019 年 11 月 2 日 开放知识图谱

论文笔记整理：王狄烽，南京大学硕士，研究方向为知识图谱、知识库补全。

链接：https://arxiv.org/abs/1907.03230

动机

现有关系抽取模型中利用依赖树信息的方式主要是通过沿着依赖关系树的结构引导其计算来利用依赖树结构信息，其存在至少以下两点问题：

1、模型中的信息流仅限于树的结构，因此依赖树在模型中的直接应用可能无法捕获超出此依赖树结构覆盖范围之外的重要的上下文信息。如图一中所示，对于实体“he”和“Cane Mike”,两者最短路径中忽略了“not”这个重要的上下文信息，从而可能导致关系分类错误。

图1

2、在跨领域场景中，训练数据和测试数据的句子来自于不同的领域，训练数据的依赖树结构和测试数据中的依赖树结构可能存在较大的差异。如果使用训练数据的结构对模型进行训练，则可能无法将其推广到测试数据的依赖结构中，从而导致跨领域场景下模型性能不佳。

贡献

1、本文提出了一种新的基于依赖关系预测任务的利用依赖树结构信息的方法，该方法能够避免以往利用依赖树方式的缺陷。

2、本文提出了一种新的控制机制来控制句子中每个单词的特征表示，以为关系抽取任务定制化每个word的表示。

3、在多个公开数据集上取得了state-of-the-art的效果。

方法

1、依赖关系预测任务

引入依赖关系预测任务，通过预测句子中任两个词之间是否存在依赖关系，使得词的向量表示捕捉到依赖树结构信息。通过该种方式利用依赖树信息，间接的使用依赖关系结构来鼓励其表示能够兼顾语义和结构表示，且更加泛化。

2、控制机制

通过控制机制定制化每个词的表示，具体来说，通过两个实体的向量生成控制向量，基于控制向量将每个词向量中移除不相关的信息，从而使得每个词的表示和RE任务相关。

模型

模型主体由三部分组成：（1）表示学习：基于依赖树结构信息和上下文语义信息为每个词学习得到特征表示。（2）表示控制：基于两个entity mention决定每个词的表示中哪一个维度的特征用于最终的关系预测的表示。（3）关系预测：基于最终词的表示，预测两个entity mention之间的关系。

1、表示学习

1.1 词初始化表示

对于句子中的每个词 x_i，其初始化表示，由7个向量拼接而成。

其中，e_i是预训练的词向量表示。po_i 和 ps_i 的该词距离两个实体 mention 距离的向量表示。t_i 和 c_i 是词 x_i 在 BIO 标签体系上实体信息和分词信息的向量表示。p_i是表示该词 x_i 是否在两个entity mention最短依赖路径上的二元表示，1表示在，0表示不在。g_i 是该词拥有的依赖关系种类的one-hot表示。