这部分是关于学习节点嵌入的方法。这些方法的目标是将节点编码为低维向量,这些低维向量总结了它们的图位置和它们的局部图邻域的结构。换句话说,我们希望项目节点为一个潜在的空间,在这个潜在的空间几何关系对应关系(例如,边缘)在原来的图或网络(Ho↵et al ., 2002)(图3.1)。在本章中,我们将提供简单和加权图的节点嵌入方法的概述。

成为VIP会员查看完整内容
0
31

相关内容

在本章中,我们将访问图神经网络(GNNs)的一些理论基础。GNNs最有趣的方面之一是,它们是根据不同的理论动机独立开发的。一方面,基于图信号处理理论开发了GNN,将欧氏卷积推广到非欧氏图域[Bruna et al., 2014]。然而,与此同时,神经信息传递方法(构成了大多数现代GNN的基础)被类比提出,用于图模型中的概率推理的信息传递算法[Dai等人,2016]。最后,基于GNN与weisfeler - lehman图同构检验的联系,许多研究对其进行了激发[Hamilton et al., 2017b]。

将三个不同的领域汇聚成一个单一的算法框架是值得注意的。也就是说,这三种理论动机中的每一种都有其自身的直觉和历史,而人们所采用的视角可以对模型的发展产生实质性的影响。事实上,我们推迟对这些理论动机的描述直到引入GNN模型本身之后,这并非偶然。在这一章,我们的目标是介绍这些背后的关键思想不同理论的动机,这样一个感兴趣的读者可以自由探索和组合这些直觉和动机,因为他们认为合适的。

成为VIP会员查看完整内容
0
65

题目: Beyond Triplets: Hyper-Relational Knowledge Graph Embedding for Link Prediction

摘要: 知识图谱(KGs)嵌入的是一个强大的工具,能够预测KGs缺失的链接。现有的技术通常将KG表示一个三元组集合,每个三元组(h, r, t)通过关系r将两个实体h和t联系起来,并从这样的三元组中学习实体/关系嵌入,同时保留这样的结构。然而,这种三元组的表示过分简化了存储在KG中的数据的复杂性,尤其是超关系的事实,其中每个事实不仅包含基本三元组(h r t),还有相关的键-值对(k、v)。尽管最近有一些技术试图通过将超关系事实转换为n元表示来学习这些数据(即一组没有三元组组的键值对)。由于它们不知道三元组结构,导致了次优模型,三元组结构是现代KGs的基本数据结构,保留了链接预测的基本信息。为了解决这个问题,我们提出了HINGE,一个超相关KG嵌入模型,它直接从KG学习超相关事实。HINGE不仅捕获了在三元组中编码的KG的主要结构信息,而且还捕获了每个三元组及其相关键-值对之间的相关性。我们在KG预测任务大量的实验显示了优越性。特别是,HINGE不仅始终优于仅从三元组学习的KG嵌入方法,而且始终优于使用n元表示从超关系事实学习的方法。

成为VIP会员查看完整内容
0
50

题目: Knowledge Graph Embeddings and Explainable AI

摘要: 知识图谱嵌入是一种广泛采用的知识表示方法,它将实体和关系嵌入到向量空间中。在这一章中,我们通过解释知识图谱嵌入是什么,如何生成它们以及如何对它们进行评估,向读者介绍知识图谱嵌入的概念。我们总结了这一领域的最新研究成果,对向量空间中表示知识的方法进行了介绍。在知识表示方面,我们考虑了可解释性问题,并讨论了通过知识图谱嵌入来解释预测的模型和方法。

成为VIP会员查看完整内容
0
91

简介: 今年AAAI 2020接收了1591篇论文,其中有140篇是与图相关的。接下来将会介绍几篇与图和知识图谱相关的几篇论文。以下为内容大纲:

  • KG-Augmented Language Models In Diherent Flavours

Hayashi等人在知识图上建立了自然语言生成(NLG)任务的潜在关系语言模型(LRLM)。就是说,模型在每个时间步上要么从词汇表中提取一个单词,要么求助于已知关系。 最终的任务是在给定主题实体的情况下生成连贯且正确的文本。 LRLM利用基础图上的KG嵌入来获取实体和关系表示,以及用于嵌入表面形式的Fasttext。 最后,要参数化流程,需要一个序列模型。作者尝试使用LSTM和Transformer-XL来评估与使用Wikidata批注的Freebase和WikiText链接的WikiFacts上的LRLM。

Liu等人提出了K-BERT,它希望每个句子(如果可能)都用来自某些KG的命名实体和相关(谓词,宾语)对进行注释。 然后,将丰富的句子树线性化为一个新的位置相似嵌入,并用可见性矩阵进行遮罩,该矩阵控制输入的哪些部分在训练过程中可以看到并得到关注。

Bouraoui等人进一步评估了BERT的关系知识,即在给定一对实体(例如,巴黎,法国)的情况下,它是否可以预测正确的关系。 作者指出,BERT在事实和常识性任务中通常是好的,而不是糟糕的非词性任务,并且在形态任务中相当出色。

  • Entity Matching in Heterogeneous KGs

不同的KG具有自己的模型来建模其实体,以前,基于本体的对齐工具仅依靠此类映射来标识相似实体。 今天,我们有GNN只需少量培训即可自动学习此类映射!

Sun等人提出了AliNet,这是一种基于端到端GNN的体系结构,能够对多跳邻域进行聚合以实现实体对齐。 由于架构异质性,由于相似的实体KG的邻域不是同构的,因此任务变得更加复杂。 为了弥补这一点,作者建议关注节点的n跳环境以及具有特定损失函数的TransE样式关系模式。

Xu等人研究了多语言KG(在这种情况下为DBpedia)中的对齐问题,其中基于GNN的方法可能陷入“多对一”的情况,并为给定的目标实体生成多个候选源实体。 作者研究了如何使他们的预测中的GNN编码输出更加确定。

  • Knowledge Graph Completion and Link Prediction

AAAI’20标记并概述了两个增长趋势:神经符号计算与临时性的KG越来越受到关注。

  • KG-based Conversational AI andQuestion Answering

AAAI’20主持了“对话状态跟踪研讨会”(DSTC8)。 该活动聚集了对话AI方面的专家,包括来自Google Assistant,Amazon Alexa和DeepPavlov的人员。在研讨会上,多个专家都提出了对话AI的相关研究方法。

成为VIP会员查看完整内容
Knowledge Graphs @ AAAI 2020 - Michael Galkin - Medium.pdf
0
101

论文摘要

图无处不在,从引文和社交网络到知识图谱(KGs)。它们是最富表现力的数据结构之一,已被用于建模各种问题。知识图谱是图中事实的结构化表示,其中节点表示实体,边表示实体之间的关系。最近的研究已经开发出几种大型知识图谱;例如DBpedia、YAGO、NELL和Freebase。然而,它们都是稀疏的,每个实体只有很少的事实。例如,每个实体只包含1.34个事实。在论文的第一部分,我们提出了缓解这一问题的三个解决方案:(1)KG规范化,即(2)关联提取,它涉及到从非结构化文本中提取实体之间的语义关系的自动化过程;(3)链接预测,它包括基于KG中的已知事实推断缺失的事实。KG的规范化,我们建议CESI(规范化使用嵌入和边信息),一个新颖的方法执行规范化学习嵌入开放KG。KG嵌入的方法扩展了最新进展将相关NP和关系词信息原则的方式。对于关系提取,我们提出了一种远程监督神经关系提取方法,该方法利用KGs中的附加边信息来改进关系提取。最后,对于链路预测,我们提出了扩展ConvE的InteractE,这是一种基于卷积神经网络的链路预测方法,通过三个关键思想:特征置换、新颖的特征重塑和循环卷积来增加特征交互的次数。通过对多个数据集的大量实验,验证了所提方法的有效性。

传统的神经网络如卷积网络和递归神经网络在处理欧几里得数据时受到限制。然而,在自然语言处理(NLP)中图形是很突出的。最近,图卷积网络(Graph Convolutional Networks, GCNs)被提出来解决这一缺点,并成功地应用于多个问题。在论文的第二部分,我们利用GCNs来解决文档时间戳问题,它是文档检索和摘要等任务的重要组成部分。

为此,我们提出利用GCNs联合开发文档语法和时态图结构的NeuralDater,以获得该问题的最新性能。提出了一种灵活的基于图卷积的词嵌入学习方法——SynGCN,该方法利用词的依赖上下文而不是线性上下文来学习更有意义的词嵌入。在论文的第三部分,我们讨论了现有GCN模型的两个局限性,即(1)标准的邻域聚合方案对影响目标节点表示的节点数量没有限制。这导致了中心节点的噪声表示,中心节点在几个跃点中几乎覆盖了整个图。为了解决这个缺点,我们提出了ConfGCN(基于信任的GCN),它通过估计信任来确定聚合过程中一个节点对另一个节点的重要性,从而限制其影响邻居。(2)现有的GCN模型大多局限于处理无向图。然而,更一般和更普遍的一类图是关系图,其中每条边都有与之关联的标签和方向。现有的处理此类图的方法存在参数过多的问题,并且仅限于学习节点的表示。我们提出了一种新的图卷积框架CompGCN,它将实体和关系共同嵌入到一个关系图中。CompGCN是参数有效的,并且可以根据关系的数量进行扩展。它利用了来自KG嵌入技术的各种实体-关系组合操作,并在节点分类、链接预测和图分类任务上取得了明显的优势结果。

成为VIP会员查看完整内容
0
69
小贴士
相关VIP内容
相关资讯
图表示学习Graph Embedding综述
AINLP
23+阅读 · 2020年5月17日
网络表示学习概述
机器学习与推荐算法
17+阅读 · 2020年3月27日
一文读懂图卷积GCN
计算机视觉life
16+阅读 · 2019年12月21日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
69+阅读 · 2019年11月27日
知识图谱嵌入(KGE):方法和应用的综述
专知
45+阅读 · 2019年8月25日
Graph Neural Networks 综述
计算机视觉life
22+阅读 · 2019年8月13日
GraphSAGE:我寻思GCN也没我牛逼
极市平台
10+阅读 · 2019年8月12日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
390+阅读 · 2019年4月30日
相关论文
Aidan Hogan,Eva Blomqvist,Michael Cochez,Claudia d'Amato,Gerard de Melo,Claudio Gutierrez,José Emilio Labra Gayo,Sabrina Kirrane,Sebastian Neumaier,Axel Polleres,Roberto Navigli,Axel-Cyrille Ngonga Ngomo,Sabbir M. Rashid,Anisa Rula,Lukas Schmelzeisen,Juan Sequeda,Steffen Staab,Antoine Zimmermann
79+阅读 · 2020年3月4日
Mahsa Ghorbani,Mahdieh Soleymani Baghshah,Hamid R. Rabiee
4+阅读 · 2019年8月24日
Label Aware Graph Convolutional Network -- Not All Edges Deserve Your Attention
Hao Chen,Lu Wang,Senzhang Wang,Dijun Luo,Wenbing Huang,Zhoujun Li
5+阅读 · 2019年7月10日
Deep Node Ranking: an Algorithm for Structural Network Embedding and End-to-End Classification
Blaž Škrlj,Jan Kralj,Janez Konc,Marko Robnik-Šikonja,Nada Lavrač
3+阅读 · 2019年3月13日
Generative Graph Convolutional Network for Growing Graphs
Da Xu,Chuanwei Ruan,Kamiya Motwani,Evren Korpeoglu,Sushant Kumar,Kannan Achan
3+阅读 · 2019年3月6日
Knowledge Representation Learning: A Quantitative Review
Yankai Lin,Xu Han,Ruobing Xie,Zhiyuan Liu,Maosong Sun
26+阅读 · 2018年12月28日
Liang Yao,Chengsheng Mao,Yuan Luo
27+阅读 · 2018年11月13日
Tommaso Soru,Stefano Ruberto,Diego Moussallem,Edgard Marx,Diego Esteves,Axel-Cyrille Ngonga Ngomo
7+阅读 · 2018年3月21日
Liwei Cai,William Yang Wang
5+阅读 · 2018年2月20日
Jian Du,Shanghang Zhang,Guanhang Wu,Jose M. F. Moura,Soummya Kar
3+阅读 · 2018年2月11日
Top