论文摘要: Multi-paragraph推理对于open-domain问答(OpenQA)是必不可少的,尽管在当前的OpenQA系统中受到的关注较少。在这项工作中,我们提出一个知识增强图神经网络(KGNN),使用实体对多个段落进行推理。为了显式地捕捉到实体的关系,KGNN利用关系事实知识图谱构建实体图谱。实验结果表明,与HotpotQA数据集上的基线方法相比,KGNN在分散注意力和完整的wiki设置方面都有更好的表现。我们进一步的分析表明,KGNN在检索更多的段落方面是有效和具有鲁棒性的。

成为VIP会员查看完整内容
29+
0+

相关内容

中文知识图谱(Chinese Knowledge Graph),最早起源于Google Knowledge Graph。知识图谱本质上是一种语义 网络。其结点代表实体(entity)或者概念(concept),边代表实体/概念之间的各种语义关系。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

知识库已逐渐成为许多人工智能应用的宝贵资产。虽然当前的许多KBs相当大,但它们被广泛认为是不完整的,特别是缺乏长尾实体的事实,例如不太出名的人。现有的方法主要通过完成缺失的链接或填充缺失的值来充实KBs。然而,它们只解决了浓缩问题的一部分,缺乏对长尾实体的具体考虑。在这篇论文中,我们提出了一个成熟的方法来丰富知识,从开放的网络中预测缺失的属性和推断长尾实体的真实事实。利用来自受欢迎实体的先验知识来改进每一个充实步骤。实验结果表明了该方法的可行性和优越性。

成为VIP会员查看完整内容
6+
0+

语言模型的预训练已经被证明能够获取大量的世界知识,这对于NLP任务(如回答问题)是至关重要的。然而,这些知识隐式地存储在神经网络的参数中,需要更大的网络来覆盖更多的事实。

为了以更模块化和可解释性的方式捕获知识,我们在语言模型前训练中增加了一个潜在的知识检索器,它允许模型从一个大型语料库(如Wikipedia)中检索和处理文档,这些语料库在前训练、微调和推理期间使用。我们第一次展示了如何以一种无监督的方式预先训练这种知识检索器,

使用掩码语言建模作为学习信号,并通过一个考虑数百万文档的检索步骤进行反向传播。

通过对具有挑战性的开放领域问题回答(Open-QA)任务进行微调,我们证明了增强语言模型预训练(REALM)的有效性。我们比较了三种流行的开放qa基准上的最先进的显式和隐式知识存储模型,发现我们的性能显著优于所有以前的方法(4-16%的绝对准确性),同时还提供了定性的好处,如可解释性和模块化。

地址:

https://kentonl.com/pub/gltpc.2020.pdf

成为VIP会员查看完整内容
13+
0+

主题: MEMO: A Deep Network for Flexible Combination of Episodic Memories

摘要: 近年来开发具有外部存储器的神经网络结构的研究经常使用基准bAbI问答数据集,该数据集提供了许多需要推理的具有挑战性的任务。在这里,我们采用了一个经典的联想推理任务从内存为基础的推理神经科学文献,以便更仔细地探索现有内存增强架构的推理能力。这项任务被认为是抓住了推理的本质——欣赏分布在多个事实或记忆中的元素之间的遥远关系。令人惊讶的是,我们发现当前的架构很难对长距离关联进行推理。在一个更复杂的任务中,包括寻找路径中节点之间的最短路径,也得到了类似的结果。因此,我们开发了MEMO,一种具有远距离推理能力的架构。这是通过添加两个新组件实现的。首先,它将存储在外部存储器中的存储器/事实与构成外部存储器中这些事实的项分离。第二,它使用了一种自适应检索机制,在产生答案之前允许可变数量的“内存跳跃”。

成为VIP会员查看完整内容
9+
0+

论文题目: Tackling Graphical NLP problems with Graph Recurrent Networks

论文摘要: 如何正确建模图是NLP领域中一个长期存在和重要的问题,其中几种常见的图类型是知识图谱、语义图和依赖图。与其他数据结构(如序列和树)相比,图在表示实体间的复杂相关性方面通常更强大。例如,知识图谱存储真实的单词实体(如“Barack_Obama”和“U.S.”)及其关系(如“live_in”和“lead_by”)。正确编码知识图有利于用户应用,如问答和知识发现。建模图也很有挑战性,可能是因为图通常包含大量的循环关系。近年来,深度学习,特别是基于RNN的模型,在许多NLP问题上取得了成功。此外,RNNs及其变异在一些图论问题上得到了广泛的研究,并取得了初步的成功。尽管已经取得了一些成功,但是基于RNN的模型在图上仍然存在一些主要的缺陷。首先,它们只能消耗顺序数据,因此需要对输入图进行线性化,从而导致重要的结构信息丢失。其次,序列化结果通常很长,因此RNNs对它们进行编码需要很长时间。本文提出了一种新的图神经网络,称为图递归网络(GRN)。我们研究了GRN模型在机器阅读理解、关系抽取和机器翻译四个不同任务上的应用。有些图是没有边标签的无向图,而另一些图是有边标签的有向图。为了考虑这些重要的差异,我们逐渐增强了GRN模型,例如进一步考虑边缘标签和添加RNN解码器。精心设计的实验证明了GRN对所有这些任务的有效性。

作者简介: Linfeng Song,目前是罗切斯特大学计算机科学系丹尼尔·吉尔德教授的博士生。他目前的研究领域是自然语言理解(NLU)、问答(QA)、信息抽取(IE)和机器翻译(MT)。他获得了东北大学(中国)的学士学位。本科毕业后,他在中国科学院计算技术研究所攻读硕士学位。 个人主页:https://www.cs.rochester.edu/~lsong10/

成为VIP会员查看完整内容
16+
0+
Top