论文摘要: Multi-paragraph推理对于open-domain问答(OpenQA)是必不可少的,尽管在当前的OpenQA系统中受到的关注较少。在这项工作中,我们提出一个知识增强图神经网络(KGNN),使用实体对多个段落进行推理。为了显式地捕捉到实体的关系,KGNN利用关系事实知识图谱构建实体图谱。实验结果表明,与HotpotQA数据集上的基线方法相比,KGNN在分散注意力和完整的wiki设置方面都有更好的表现。我们进一步的分析表明,KGNN在检索更多的段落方面是有效和具有鲁棒性的。

7+
0+

相关内容

论文题目:
Latent Relation Language Models

论文摘要: 在本文中,我们提出了潜在关系语言模型(LRLM),它是一类语言模型,它通过知识图的关系参数化文档中单词和其中出现的实体的联合分布。 该模型具有许多吸引人的属性:它不仅提高了语言建模性能,而且还能够注释实体跨度对于关联文本的后验概率。 实验表明,在基于单词的基准语言模型和结合了知识图谱信息的先前方法上,经验性改进。 定性分析进一步证明了该模型在上下文中学习最佳预测适当关系的能力。

1+
0+

摘要:文本蕴涵是自然语言处理的基本任务。大多数解决这个问题的方法只使用训练数据中的文本内容。一些方法已经表明,来自外部知识来源(如知识图谱)的信息除了文本内容之外,还可以通过提供对任务至关重要的背景知识来增加价值。然而,所提出的模型并没有充分利用通常大而有噪声的公斤中所包含的信息,而且也不清楚如何有效地编码这些信息以使其对加密有用。我们提出了一种方法,通过(1)使用个性化的PageR- ank生成低噪声的上下文子图和(2)使用图卷积网络捕获KG结构对这些子图进行编码,用KGs的信息来补充基于文本的嵌入模型。我们的技术扩展了文本模型挖掘知识结构和语义信息的能力。我们在多个文本蕴涵数据集上评估了我们的方法,并表明使用外部知识有助于提高预测准确性。这一点在极具挑战性的BreakingNLI数据集中表现得尤为明显,我们看到在多个基于文本的entailment模型上有5-20%的绝对改进。

5+
0+

论文摘要

图无处不在,从引文和社交网络到知识图谱(KGs)。它们是最富表现力的数据结构之一,已被用于建模各种问题。知识图谱是图中事实的结构化表示,其中节点表示实体,边表示实体之间的关系。最近的研究已经开发出几种大型知识图谱;例如DBpedia、YAGO、NELL和Freebase。然而,它们都是稀疏的,每个实体只有很少的事实。例如,每个实体只包含1.34个事实。在论文的第一部分,我们提出了缓解这一问题的三个解决方案:(1)KG规范化,即(2)关联提取,它涉及到从非结构化文本中提取实体之间的语义关系的自动化过程;(3)链接预测,它包括基于KG中的已知事实推断缺失的事实。KG的规范化,我们建议CESI(规范化使用嵌入和边信息),一个新颖的方法执行规范化学习嵌入开放KG。KG嵌入的方法扩展了最新进展将相关NP和关系词信息原则的方式。对于关系提取,我们提出了一种远程监督神经关系提取方法,该方法利用KGs中的附加边信息来改进关系提取。最后,对于链路预测,我们提出了扩展ConvE的InteractE,这是一种基于卷积神经网络的链路预测方法,通过三个关键思想:特征置换、新颖的特征重塑和循环卷积来增加特征交互的次数。通过对多个数据集的大量实验,验证了所提方法的有效性。

传统的神经网络如卷积网络和递归神经网络在处理欧几里得数据时受到限制。然而,在自然语言处理(NLP)中图形是很突出的。最近,图卷积网络(Graph Convolutional Networks, GCNs)被提出来解决这一缺点,并成功地应用于多个问题。在论文的第二部分,我们利用GCNs来解决文档时间戳问题,它是文档检索和摘要等任务的重要组成部分。

为此,我们提出利用GCNs联合开发文档语法和时态图结构的NeuralDater,以获得该问题的最新性能。提出了一种灵活的基于图卷积的词嵌入学习方法——SynGCN,该方法利用词的依赖上下文而不是线性上下文来学习更有意义的词嵌入。在论文的第三部分,我们讨论了现有GCN模型的两个局限性,即(1)标准的邻域聚合方案对影响目标节点表示的节点数量没有限制。这导致了中心节点的噪声表示,中心节点在几个跃点中几乎覆盖了整个图。为了解决这个缺点,我们提出了ConfGCN(基于信任的GCN),它通过估计信任来确定聚合过程中一个节点对另一个节点的重要性,从而限制其影响邻居。(2)现有的GCN模型大多局限于处理无向图。然而,更一般和更普遍的一类图是关系图,其中每条边都有与之关联的标签和方向。现有的处理此类图的方法存在参数过多的问题,并且仅限于学习节点的表示。我们提出了一种新的图卷积框架CompGCN,它将实体和关系共同嵌入到一个关系图中。CompGCN是参数有效的,并且可以根据关系的数量进行扩展。它利用了来自KG嵌入技术的各种实体-关系组合操作,并在节点分类、链接预测和图分类任务上取得了明显的优势结果。

17+
0+

自然语言理解(NLU)系统需要把人类产生的文本进行编码,然后在深层次的语义层面上进行推理。NLU系统通常都会包括到两个部分:第一个是编码器(encoder),它将语言中的单词组合在一起作为输入,编码产生一个新的表示,然后将这些表示作为第二部分--预测器(predictor)中的特征,然后在这些编码过的输入信息上进行推理并生成所需的输出。本文的研究目标是构建一个端到端的NLU系统,能够结合相关的背景知识对输入信息进行编码,然后在上下文的语境中对其进行推理。

论文目录

Part I 背景知识编码

  • 相关工作:学习编码
  • 用本体论的背景知识来编码句子
  • 将选择偏好作为编码事件的背景知识

Part II 用上下文知识进行推理

  • 相关工作:学习推理
  • 用于语义分析的解码约束
  • 使用迭代覆盖引导搜索来训练语义分析器
9+
0+
Top