【导读】如何利用知识进行推进完成一些列下游任务?斯坦福大学Jure Leskovec最近在NAACL2021给了《Reasoning with Language and Knowledge Graphs》的讲座,重点讲述关于如何联合语言模型和知识图谱进行推理,完成问答等复杂任务。

使用来自预训练语言模型(LMs)和知识图谱(KG)的知识来回答问题提出了两个挑战: 给定一个QA上下文(问题和答案选择),方法需要 (i) 从大型KG中识别相关知识,以及(ii)对QA上下文和KG进行联合推理。在这里,我们提出了一个新的模型,QA-GNN,它通过两个关键的创新来解决上述挑战: (i)相关性评分,我们使用语言模型来估计KG节点相对于给定的QA上下文的重要性,以及 (ii)联合推理,我们将QA上下文和KG连接起来形成一个联合图,并通过基于图的消息传递相互更新它们的表示。我们在CommonsenseQA和OpenBookQA数据集上评估了QA-GNN,并展示了它比现有的LM和LM+KG模型的改进,以及它执行可解释和结构化推理的能力,例如,正确处理问题中的否定。

https://www.zhuanzhi.ai/paper/ffbf2e36057b06828f277cf665ee01de

Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs Hongyu Ren, Jure Leskovec

https://www.zhuanzhi.ai/paper/cc45df932200d650155b91147b366bba

人工智能的基本问题之一是对知识图(KG)捕获的事实执行复杂的多跳逻辑推理。这个问题具有挑战性,因为KG可能庞大且不完整。最近的方法将KG实体嵌入到低维空间中,然后使用这些嵌入来找到答案实体。但是,由于当前方法仅限于一阶逻辑(FOL)运算符的子集,因此处理任意的FOL查询仍然是一个挑战。特别是,不支持取反运算符。当前方法的另一个局限性在于它们不能自然地对不确定性建模。在这里,我们介绍BETAE,这是一个概率嵌入框架,用于回答KG上的任意FOL查询。BETAE是第一个可以处理完整的一组一阶逻辑运算的方法,包括:合取(∧),析取(∨)和取反(¬)。BETAE的一个关键见解是在有限支持下使用概率分布,特别是Beta分布,并将查询/实体作为分布嵌入,这使我们也能够忠实地对不确定性进行建模。逻辑操作是由神经运算符在概率嵌入中执行的。BETAE在回答三个大型、不完整的KG上的任意FOL查询时达到了最先进的性能。

成为VIP会员查看完整内容
0
37

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

逻辑查询是知识图谱问答系统中一个重要的问题子集。然而,有效地回答大型知识图谱上的逻辑查询仍然是一个极具挑战性的问题。传统的基于子图匹配的方法存在底层知识图谱的噪声和不完整性等问题,线响应时间长。近年来出现了一种新的方法,其核心思想是将知识图谱实体和查询嵌入到一个向量空间中,使答案实体的嵌入与查询实体的嵌入更加接近。与基于子图匹配的方法相比,该方法能更好地处理知识图谱中的噪声或缺失信息,在线响应速度更快。虽然它可能很有前途,但仍然存在一些基本的限制,包括建模关系的线性转换假设,以及无法回答具有多个可变节点的复杂查询。在本文中,我们提出了一种基于嵌入的方法(NewLook)来解决这些限制。我们提出的方法有三个主要优点。首先(适用性),它支持四种类型的逻辑操作,并且可以使用多个变量节点回答查询。第二(有效性),提出的NewLook超越了线性变换的假设,因此始终优于现有的方法。第三(效率),与基于子图匹配的方法相比,NewLook在回答查询方面至少快3倍;与现有的基于嵌入的方法相比,NewLook在线响应时间和离线训练时间相当甚至更快。

http://tonghanghang.org/pdfs/kdd21_newlook.pdf

成为VIP会员查看完整内容
0
17

近年来,知识图谱(KG)的构建和应用得到了快速的发展。大量的KGs,如Freebase、DBpedia、YAGO和NELL,已经被创建并成功地应用于许多实际应用中,从语义解析和命名实体消歧到信息提取和问答。KG是由实体(节点)和关系(不同类型的边)组成的多关系图。每条边都表示为形式(头实体、关系、尾实体)的三个部分,也称为事实,表示两个实体通过特定的关系连接在一起,例如(AlfredHitchcock, DirectorOf, Psycho)。虽然在表示结构化数据方面很有效,但是这类三元组的底层符号特性通常使KGs很难操作。

为了解决这个问题,提出了一种新的研究方向——知识图谱嵌入。关键思想是嵌入KG的组件,包括将实体和关系转化为连续的向量空间,从而简化操作,同时保留KG的原有的结构。那些实体和关系嵌入能进一步应用于各种任务中,如KG补全、关系提取、实体分类和实体解析。

成为VIP会员查看完整内容
0
34

知识图谱推理是一个基础问题,在电子商务推荐、生物医学知识图谱药品再利用等领域有着重要的应用。在本教程中,我将全面介绍知识图谱推理的最新进展,包括:(1)知识图谱嵌入的方法(如TransE、TransR和RotatE);(2)传统的归纳逻辑规划方法和最新的神经逻辑规划方法;(3)结合神经和符号逻辑方法进行知识图谱推理的最新进展。

地址: https://hub.baai.ac.cn/view/3865

成为VIP会员查看完整内容
0
57

人工智能的一个基本问题是对知识图谱(KG)捕获的事实执行复杂的多跳逻辑推理。这个问题是具有挑战性的,因为KGs可能是不完备的。最近的方法是将KG实体嵌入到低维空间中,然后利用这些嵌入来寻找答案实体。然而,如何处理任意一阶逻辑(FOL)查询一直是一个突出的挑战,因为目前的方法仅限于FOL操作符的一个子集。特别地,不支持否定运算符。现有方法的另一个限制是它们不能自然地建模不确定性。在这里,我们提出了一种用于回答KGs中任意FOL查询的概率嵌入框架BETAE。BETAE是第一种可以处理完整的一阶逻辑运算的方法:合取(∧)、析取(不确定)和否定(ed)。BETAE的一个关键观点是使用有界支持的概率分布,特别是Beta分布,以及嵌入查询/实体作为分布,这使得我们也能建模不确定性。逻辑操作由概率嵌入的神经算子在嵌入空间中执行。我们演示了BETAE在三个大的、不完整的KG上回答任意的FOL查询时的性能。虽然BETAE更加通用,但相对于目前最先进的KG推理方法(仅能处理不含否定的连接查询),它的相对性能提高了25.4%。

https://arxiv.org/pdf/2010.11465

成为VIP会员查看完整内容
0
31

回答大规模知识图谱上的复杂逻辑查询是一项基本而又具有挑战性的任务。在本文中,我将概述如何使用向量空间嵌入在知识图谱中执行逻辑推理。首先,我将讨论预测一对实体之间关系的知识图谱补全方法:通过捕获与实体相邻的关系类型来考虑每个实体的关系上下文,并通过一种新的基于边的消息传递方案进行建模;考虑关系路径捕获两个实体之间的所有路径;通过一种可学习的注意力机制,自适应地整合关系上下文和关系路径。其次,我们还将讨论QUERY2BOX,这是一个基于嵌入的框架,用于推理使用and、or和存在操作符进行的大量且不完整的KGs中的任意查询。

成为VIP会员查看完整内容
0
57

题目: Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings 在大规模的不完全知识图谱(KGs)上回答复杂的逻辑查询是一项基本而又具有挑战性的任务。最近,解决这个问题的一个很有前景的方法是将KG实体和查询嵌入到向量空间中,这样回答查询的实体就会被嵌入到查询附近。然而,以前的工作将查询建模为向量空间中的单点,这是有问题的,因为一个复杂的查询表示一个可能很大的答案实体集合,但是不清楚如何将这样的集合表示为单点。此外,以前的工作只能处理使用连词和存在量词的查询。使用逻辑分隔处理查询仍然是一个有待解决的问题。在这里,我们提出Query2box,这是一个基于嵌入的框架,用于在大量且不完整的KG中使用、和操作符对任意查询进行推理。,其中框内的一组点对应于查询的一组回答实体。我们证明了连词可以自然地表示为盒子的交叉点,同时也证明了一个否定的结果,即处理拆分需要嵌入的维度与KG实体的数量成比例。但是,通过将查询转换为析取范式,Query2box能够以一种可伸缩的方式处理带有、的任意逻辑查询。我们演示了query2box在两个大型KGs上的有效性,并表明Query2box实现了比现有技术高25%的改进。

成为VIP会员查看完整内容
0
26

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美国纽约举办。Michael Galkin撰写了AAAI2020知识图谱论文相关研究趋势包括:KG-Augmented语言模型,异构KGs中的实体匹配,KG完成和链路预测,基于kg的会话人工智能和问题回答,包括论文,值得查看!

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

  • 潜在关系语言模型:本文提出了一种潜在关系语言模型(LRLMs),这是一类通过知识图谱关系对文档中词语的联合分布及其所包含的实体进行参数化的语言模型。该模型具有许多吸引人的特性:它不仅提高了语言建模性能,而且能够通过关系标注给定文本的实体跨度的后验概率。实验证明了基于单词的基线语言模型和先前合并知识图谱信息的方法的经验改进。定性分析进一步证明了该模型的学习能力,以预测适当的关系在上下文中。

成为VIP会员查看完整内容
0
128

语言模型的预训练已经被证明能够获取大量的世界知识,这对于NLP任务(如回答问题)是至关重要的。然而,这些知识隐式地存储在神经网络的参数中,需要更大的网络来覆盖更多的事实。

为了以更模块化和可解释性的方式捕获知识,我们在语言模型前训练中增加了一个潜在的知识检索器,它允许模型从一个大型语料库(如Wikipedia)中检索和处理文档,这些语料库在前训练、微调和推理期间使用。我们第一次展示了如何以一种无监督的方式预先训练这种知识检索器,

使用掩码语言建模作为学习信号,并通过一个考虑数百万文档的检索步骤进行反向传播。

通过对具有挑战性的开放领域问题回答(Open-QA)任务进行微调,我们证明了增强语言模型预训练(REALM)的有效性。我们比较了三种流行的开放qa基准上的最先进的显式和隐式知识存储模型,发现我们的性能显著优于所有以前的方法(4-16%的绝对准确性),同时还提供了定性的好处,如可解释性和模块化。

地址:

https://kentonl.com/pub/gltpc.2020.pdf

成为VIP会员查看完整内容
0
28

论文摘要: Multi-paragraph推理对于open-domain问答(OpenQA)是必不可少的,尽管在当前的OpenQA系统中受到的关注较少。在这项工作中,我们提出一个知识增强图神经网络(KGNN),使用实体对多个段落进行推理。为了显式地捕捉到实体的关系,KGNN利用关系事实知识图谱构建实体图谱。实验结果表明,与HotpotQA数据集上的基线方法相比,KGNN在分散注意力和完整的wiki设置方面都有更好的表现。我们进一步的分析表明,KGNN在检索更多的段落方面是有效和具有鲁棒性的。

成为VIP会员查看完整内容
0
82
小贴士
相关论文
Kristijonas Cyras,Ramamurthy Badrinath,Swarup Kumar Mohalik,Anusha Mujumdar,Alexandros Nikou,Alessandro Previti,Vaishnavi Sundararajan,Aneta Vulgarakis Feljan
12+阅读 · 2020年9月1日
Emily Alsentzer,Samuel G. Finlayson,Michelle M. Li,Marinka Zitnik
18+阅读 · 2020年6月19日
Bridging the Gap Between Spectral and Spatial Domains in Graph Neural Networks
Muhammet Balcilar,Guillaume Renton,Pierre Heroux,Benoit Gauzere,Sebastien Adam,Paul Honeine
13+阅读 · 2020年3月26日
Liang Yao,Chengsheng Mao,Yuan Luo
14+阅读 · 2019年9月7日
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
Bill Yuchen Lin,Xinyue Chen,Jamin Chen,Xiang Ren
7+阅读 · 2019年9月4日
Xin Lv,Yuxian Gu,Xu Han,Lei Hou,Juanzi Li,Zhiyuan Liu
3+阅读 · 2019年8月30日
Relational recurrent neural networks
Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicrap
8+阅读 · 2018年6月28日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
18+阅读 · 2018年6月27日
Kai Yi,Zhiqiang Jian,Shitao Chen,Yuedong Yang,Nanning Zheng
3+阅读 · 2018年5月2日
Wenhan Xiong,Thien Hoang,William Yang Wang
18+阅读 · 2018年1月8日
Top