论文浅尝 | GraphIE:基于图的信息抽取框架

2019 年 6 月 2 日 开放知识图谱

笔记整理:吕欣泽,南京大学计算机科学与技术系,硕士研究生。


论文连接:https://arxiv.org/pdf/1810.13083.pdf

发表会议:NAACL 2019

摘要

大多数现代信息提取(IE)系统都是作为顺序标记器实现的,并且只模拟本地依赖项。然而,非顺序的上下文是改进预测效果的有价值的信息来源。本文介绍GraphIE,一个在图上运行的信息抽取框架。该算法通过图形卷积网络在连接的节点之间传播信息,利用来改进单词级别的预测从,而生成更丰富的表示。本文评估了三个不同的任务:文本,社交媒体和视觉信息提取,结果一致地显示GraphIE 优于最先进的信息抽取模型。

模型介绍

1.     概览

最现代的信息提取(IE)系统通常被实现为顺序标记器。这样的模型有效地捕捉了在上下文中的本地关系,它们利用非本地和非顺序依赖的能力有限。然而,在许多应用程序中,这种依赖性可以大大减少标记的模糊性,从而提高整体提取性能。例如,从文档中提取实体时,各种类型的非本地情境信息,如共同引用和相同的提及可能提供有价值的线索。参见下图,其中非本地关系对于区分第二次提及的实体类型至关重要:华盛顿(即人,组织或地点)。

本文提出了GraphIE,这是一个通过自动学习输入空间中本地和非本地依赖关系之间的交互来改进预测的框架。它将图网络和编码器-解码器集成在一起,构建了序列标记的体系结构。模型如下。



2.     编码

一个句子表示为,每一个词被表示为一个向量,编码公式为如下,其中代表隐态,0 代表初始隐态为 0 向量,代表编码器的参数。

图卷积网络过程为如下,其中 是要学习的权重,是节点 v_i 的度,组合得到第l层的表示


3.     解码

解码时,隐态的获得如下,其中是图卷积网络的输出。

标记时使用CRF:


标记时使用CRF:

实验结果分析

1.     文本信息抽取

使用CoNLL-2003 和CHEMDNER 数据集,实验结果如下


2.     社交媒体信息抽取

Twitter语料库里构造了两个数据集EDUCATION和JOB。实验结果如下。


3.     视觉信息抽取

数据集来自病人病历,由于隐私原因无法公开。实验结果如下:

 



OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。

登录查看更多
17

相关内容

知识抽取,即从不同来源、不同结构的数据中进行知识提取,形成知识(结构化数据)存入到知识图谱。
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
知识图谱更新技术研究及其应用,复旦大学硕士论文
专知会员服务
100+阅读 · 2019年11月4日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
67+阅读 · 2019年8月27日
论文浅尝 | 时序与因果关系联合推理
开放知识图谱
33+阅读 · 2019年6月23日
论文浅尝 | 5 篇顶会论文带你了解知识图谱最新研究进展
论文浅尝 | 基于知识库的自然语言理解 04#
开放知识图谱
14+阅读 · 2019年3月14日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
7+阅读 · 2018年9月27日
Arxiv
13+阅读 · 2018年4月18日
VIP会员
相关VIP内容
相关资讯
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
67+阅读 · 2019年8月27日
论文浅尝 | 时序与因果关系联合推理
开放知识图谱
33+阅读 · 2019年6月23日
论文浅尝 | 5 篇顶会论文带你了解知识图谱最新研究进展
论文浅尝 | 基于知识库的自然语言理解 04#
开放知识图谱
14+阅读 · 2019年3月14日
论文浅尝 | 基于知识库的类型实体和关系的联合抽取
开放知识图谱
35+阅读 · 2018年12月9日
论文浅尝 | 基于局内去噪和迁移学习的关系抽取
开放知识图谱
16+阅读 · 2018年12月2日
论文浅尝 | 基于多原型mention向量的文本-实体联合学习
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
Top
微信扫码咨询专知VIP会员