基于图神经网络的知识图谱研究进展

2020 年 8 月 31 日 AI科技评论
基于图神经网络的知识图谱研究进展
知识图谱本身是一种图结构数据,采用图构建知识和数据之间的关联,应用图神经网络技术,有望结合知识和数据,实现更好的可解释和可信人工智能技术。本文将介绍基于图神经网络的知识图谱学习与计算以及基于图神经网络融合知识图谱信息的应用的研究进展。
1

知识图谱与图神经网络

近几年来,人工智能技术得到了飞速发展,其进展突出体现在以知识图谱(Knowledge Graph)为代表的知识工程和以图神经网络(Graph Neural NetWorks, GNN)为代表的深度学习等相关领域。融合知识图谱与图神经网络已然成为研究人员进一步完善知识图谱学习与提升图神经网络模型推理能力的重要技术思路。
知识图谱是以图的形式表现客观世界中的实体及其之间关系的知识库,实体可以是真实世界中的物体或抽象的概念,关系则表示了实体间的联系。因此,知识图谱能够以结构化的形式表示人类知识,通过知识表示和推理技术,可以给人工智能系统提供可处理的先验知识,让其具有与人类一样的解决复杂任务的能力[1~3]。如何更好地构建、表示、补全、应用知识图谱,已经成为认知和人工智能领域重要的研究方向之一。
图神经网络的概念最早于2005年由戈里(Gori)等人[4]提出,是一种专门用于处理图结构数据的神经网络模型。使用图可以更准确和灵活地对现实应用中的数据建模,如在电子商务领域中的用户–产品交互图、化学领域的分子图、医药领域的药物副作用图等。因此,研究者们设计了多种图神经网络模型,包括图卷积网络(Graph Convolutional Network,GCN)[5~7]、图注意力网络(Graph Attention Network,GAT)[8]等。此外,由于异质图具有更灵活的建模和融合信息的能力[9],研究者们还尝试设计和应用基于异质图的图神经网络模型[10~12]。如何设计更合理的图神经网络模型,使信息沿着图结构更合理地传播,从而提升模型对图结构数据的拟合能力,是人工智能领域的一个热点问题。
近年来,描述常识和事实的知识图谱成为了学术界和工业界广泛使用的知识表示方式,图神经网络在信息传播、关系归纳偏置上也展现了优秀的性能[13]。考虑到知识图谱本身恰好就是一种图结构数据,因此采用图构建知识和数据之间的关联,同时应用图神经网络技术,有望结合知识和数据实现更好的可解释和可信人工智能技术。一方面,利用图神经网络在学习节点、边表示上的优势,可以更好地学习知识图谱的实体、关系的嵌入表示,改善关系抽取等任务,帮助构建知识图谱,以及提高链接预测等任务,帮助补全知识图谱;另一方面,利用图神经网络在信息传播和推理上的优势,可以更有效地在应用任务中引入知识图谱中的信息,从而改善如文本挖掘、推荐系统、计算机视觉等领域中的应用效果,提供可解释的模型。
本文将对知识图谱与图神经网络模型相融合的方法及应用进行综述。

2

基于图神经网络的知识图谱学习与计算

由于知识图谱可以表征实体之间结构化的关系,如今已经成为认知和人工智能领域重要的研究方向。图神经网络利用深度神经网络对图数据中的拓扑结构信息和属性特征信息进行整合,进而提供更精细的节点或子结构的特征表示,并能很方便地以解耦或端到端的方式与下游任务结合,巧妙地满足了知识图谱对学习实体、关系的属性特征和结构特征的要求。本节主要从知识图谱中的5个典型任务介绍基于图神经网络的知识图谱学习方法。
知识图谱表示学习
知识图谱表示学习,即为知识图谱中的实体和关系学习出一个低维度的向量表示,同时包含一些语义信息,从而得以在下游任务中更加方便地提取和利用知识图谱中的信息,例如链接预测[10]、常识问答[1]等。通过应用图神经网络,在学习知识图谱的表示时,每个实体都将利用到与其相关的其他实体中的信息,打破了彼此之间的孤立性,从而学得更完整更丰富的实体、关系表示。
经典的翻译系列模型在知识表示和推理的问题上显示出强大的学习能力,例如图1(a)中,TransE(Translating Embedding)[14]提出头实体的向量表示加上关系的向量表示,应当等于尾实体的向量表示,通过这种约束,TransE学得了实体之间丰富的语义关系。Cai等人[15]将翻译系列模型的思想引入到了GCN[7]中,提出了TransGCN(如图1(b)所示),综合了TransE模型和图神经网络的优点。考虑到知识图谱中的关系具有不同种类的特点,关系图卷积网络(R-GCN)[10] 使用关系特定的变换矩阵扩展了GCN,如图1(c) 所示,并且为了缓解由于关系种类过于丰富而导致的参数量巨大的问题,提出了基分解和块对角分解两种正则化策略。当出现知识库之外的实体时,一种思路是利用相关的实体和关系学习新实体的表示,例如滨口(Hamaguchi)等人[16]提出使用图神经网络利用邻实体和对应的关系获得新实体的表示,并针对知识图谱的特点,为图神经网络提出了新的传播模型;Wang等人[17]进一步改进了传播模型,即逻辑注意力网络(Logic Attention Network,LAN),以考虑实体邻域的无序性和不平等性质,从而更好地学习实体和对应的邻实体之间的关系。与以上研究不同的是,Hu等人提出了一种利用实体描述作为辅助文本的知识图谱表示学习方法Teger,如图1(d) 所示,它一方面利用GCN对辅助文本中的局部语义关系和长距离语义关系进行编码,另一方面基于TransE学得知识图谱的结构信息,从而通过结合两种途径得到了更精确的实体表示。GENI(GNN for Estimating Node Importance)[18]为了估计知识图谱中实体的重要性,提出了邻实体的重要性分数(而不是邻实体的特征)对中心实体的重要性评估起主要作用的观点,因此设计了预测感知的注意力机制和灵活的中心性调整策略,使重要性分数进行传播,而非实体表示。
信息抽取
信息抽取是指从非结构化、半结构化文档或句子中提取结构化信息的技术,与知识图谱的构建有着密切的联系,主要包括命名实体识别、实体消歧、关系抽取、指代消解等任务。近年来,已有许多研究将图神经网络应用于知识图谱的关系抽取任务,而在其他任务上对图神经网络的探索还较少。通过图神经网络可以对句子内或句间词与词的关联关系进行有效建模,从而更准确地捕捉实体间的关系。
关系抽取,即从文本中识别抽取实体对之间的语义关系。例如,从句子“[贾玲],80后相声新秀,师承中国著名相声表演艺术家[冯巩]”中识别出实体“[贾玲]”和“[冯巩]”之间具有“师生”关系。在关系抽取中,许多工作基于句子的依赖树使用GCN对词之间的依赖关系进行编码,或基于知识图谱表示进行句子编码,从而预测关系类别。如图2(a) 所示,C-GCN(Contextualized GCN)[19]是一种基于上下文的GCN模型,该模型将句子的依赖树进行剪枝,只保留与实体对的依赖关系路径部分;基于注意力的图卷积网络(Attention Guided Graph Convolutional Network,AGGCN)[20]也在句子的依赖树上使用GCN模型,但采用了多头注意力机制以一种软加权的方式对边(依赖关系)进行选择,如图2(b)所示;与之前两个基于依赖树的模型不同,Zhang等人[21]将GCN用于编码关系的层次结构,提出了一种由粗到细粒度的知识感知注意机制以提高关系抽取的效果,如图2(c)所示。以上三种方法均用于单句上的关系抽取,而萨胡(Sahu)等人[22]则将包含多个句子的整个文档进行构图,如图2(d)所示,图中的节点代表单词,边代表多种单句内和跨句间的关系,然后应用GCN更新图节点的表示,从而进行跨句关系抽取的任务。
实体消歧,即对于从文本中抽取得到的实体对象,将其链接到知识库中对应的正确实体对象。如图3所示,Hu等人[23]提出了一种图神经实体消歧模型(Graph Neural Entity Disambiguation, GNED),首先为文档构造实体–词异质图,对文档中的实体之间的语义关系进行编码;然后将GCN应用于该异质图,获得语义信息增强的实体表示;最后采用条件随机场来结合实体链接的局部和全局信息。
实体对齐
实体对齐是将从知识图谱中学习到的描述同一目标的实体或概念进行合并,再将合并后的实体集与开放链接数据中抽取的实体进行合并,旨在融合多个知识图谱形成一个更完整的知识图谱。由于图神经网络具有识别同构子图的能力[24],而可对齐的实体对周围通常有相似的邻居,即具有一定的同构特征,因此目前有许多研究者尝试将图神经网络用于实体对齐。
Cao等人[25]提出了一种新的多通道图神经网络模型(Multi-Channel Graph Neural Network,MuGNN),来为两个不同的知识图谱中的待对齐实体学习鲁棒表示。该模型还对规则进行了推断和传递,以进一步增强两个知识图谱的一致性。Zhang等人[26]提出了一种统一的框架LinKG来合并不同来源的知识图谱,同时为了将歧义性强的实体(如人名)正确对齐,还提出了一种异质图注意力网络(Heterogeneous Graph Attention Network),在相关的子图上学习每对候选者是否匹配。Sun等人[27]指出大量的对应实体对不具有同构的邻居结构,导致图神经网络为此类实体产生的实体表示并不匹配,由此提出AliNet(Alignment Network),基于注意力机制引入了远距离的邻居以扩展邻居结构的重叠部分,增强了对应实体对的同构性。在实体对齐中有一类特殊的子任务,即跨语言实体对齐。Wang等人[28]通过多个GCN实现跨语言实体对齐。该方法分别使用一个GCN将每种语言的实体和关系分别嵌入到一个统一的空间中,从而为属性和结构都学习一个表示,最后基于这两种表示进行实体对齐。与之不同的是,Xu等人[29]基于给定实体的邻域子图,将实体对齐问题转化为了图匹配问题,提出了一种基于图注意力的方法,对两个实体子图中的所有实体进行匹配,并对局部匹配信息建模,最终得到一个图级别的匹配向量。
链接预测
链接预测是用于预测知识图谱中实体对之间所缺少关系的任务,具有广泛的应用范围,旨在解决知识图谱不完整的问题。链接预测与知识图谱表示学习有着不可分割的联系,一方面表示学习通常需要用链接预测评价优劣[10,15],另一方面链接预测的模型通常也会学得实体和关系的表示。许多工作利用图神经网络为实体引入邻实体和对应关系的信息,学得更全面的实体表示,从而更准确地预测实体之间的链接关系。
GMatching[30]开发了一种基于度量小样本学习方法,它利用R-GCN[10]为单跳邻居进行编码从而捕捉局部的图结构信息。由于R-GCN的一个不足之处是平等地对待邻域中的不同实体,SACN(Structure-Aware Convolutional Network)[31]引入了加权GCN来定义具有相同关系类型的两个相邻实体之间的相关性,利用节点结构、节点属性和关系类型来获取知识图谱中的结构信息,最后送入解码器Conv-TransE来预测关系是否成立。解码器采用ConvE[32]来度量语义的匹配程度,同时还可以获得TransE[14]的翻译特性。目前常见的学习个性化权重的方式是引入注意力机制,因此纳撒尼尔(Nathani)等人[33]引入GAT[8]使得链接预测时可以在利用邻实体信息的同时,依据多头注意力机制为不同邻实体分配不同的权重。Zhang等人[34]进一步提出了一种基于层次注意力的关系图神经网络(RGHAT),第一层是关系级别的注意力,其灵感来自不同关系对某一实体的指示权重不同的直觉;第二层是实体级别关注,使得模型能够突出同一关系下不同相邻实体的重要性。G2SKGE[35]采用了实体和对应的邻域构建子图,并设计了一种信息融合机制图到序列(Graph to Sequence generator,Graph2Seq),从而利用图神经网络的框架来学习知识图谱中的实体表示。
知识推理
与链接预测相似,知识推理是从给定的知识图谱中推导出实体与实体之间的新关系,但知识推理所获得的关系通常需要在知识图谱中进行多跳的推理过程。知识推理是一些下游任务的重要支撑之一,例如知识库问答[1~3]。由于图神经网络在推理能力上的优势[13],近年来被一些研究者尝试用于知识推理任务。
Xu等人[36]提出了一种用于大规模知识图谱推理任务的图神经网络(Dynamically Pruned Message Passing Network,DPMPN),如图4(a)所示,它包含两个遵循消息传递神经网络[37]架构的模块,其中一个用于全局的信息传播,另一个用于局部的信息传播。Zhang等人[38]提出了一个名为ExpressGNN的图神经网络用于概率逻辑推理,它将马尔可夫逻辑网络(Markov logic network)[39]引入到了图神经网络框架,从而将逻辑规则和概率图模型与图神经网络结合在一起。Lin等人[1]提出了一个基于图的关系推理模型KagNet(Knowledge-aware graph Network),如图4(b)所示,该模型使用GCN更新知识图谱中的实体表示后,利用长短期记忆网络(Long Short-Term Memory,LSTM)为候选路径打分,从而选出最佳的推理路径。如图4(c)所示,认知图谱问答(CogQA)[3]则使用BERT(Bidirectional Encoder Representations from Transformers)输出的若干片段构建一个认知图谱,并利用图神经网络的信息传播机制,实现在认知图谱上的多跳推理计算。

3

基于图神经网络的知识图谱应用

描述常识和事实的知识图谱是学术界和工业界广泛使用的知识表示方式,采用图构建知识和数据之间的关联,是一种直接且有效的将知识和数据结合的方式。受益于图神经网络技术在信息传播和推理上的优势,知识图谱中的先验知识被有效地引入到应用任务中。
文本挖掘
知识图谱由自然语言构建而来,因此与文本挖掘的联系颇深。知识图谱在大部分的文本挖掘任务中都有大量的应用,其中应用最广泛的是知识库问答任务。在文本分类、文本生成等任务中,知识图谱也都扮演了非常重要的角色。
知识库问答是对知识图谱最直接的应用任务,即基于知识图谱中的结构化知识,分析用户自然语言问题的语义,进而在知识图谱中通过检索、匹配或推理等方式进行回答。由于图神经网络在推理能力尤其是多跳推理上的优势[13],已有大量工作将图神经网络用于知识库问答任务。KagNet[1]寻找实体之间的潜在路径并对其打分来确定最佳路径,从而选出最佳答案。首先基于知识图谱将问题抽取为结构化的图,并基于外部知识图谱扩展为该问题的相关子图,然后使用GCN更新节点表示,最后使用LSTM为路径打分,即选出最佳的推论。CogQA[3]根据人类的认知方式1设计了两个模块,分别对应于人类的两种认知模式,模块一基于BERT在文本中抽取与问题相关的实体名称,并扩展节点和汇总语义向量;模块二则利用图神经网络在模块一中构建的认知图谱上进行多跳推理计算。De Cao等人[2] 首先根据涉及的实体进行构图,然后根据文档内和跨多个文档传播的信息使用GCN进行聚合和多步推理。类似地,Ye等人[40]提出知识增强图神经网络(Knowledge-enhanced Graph Neural Network,KGNN),利用知识图谱中的关系事实为段落中的实体构建实体图谱,从而使用图神经网络对多个段落进行推理。Lv等人[41]使用结构化的ConceptNet和非结构化的Wikipedia作为两个外部知识源,并根据问题和答案选项,从两个知识源中抽取出证据并依此构建为图,然后使用GCN更新节点表示并使用注意力机制融合得到图级别的表示,最后用于答案的推断。
在文本分类[12]、文本生成[42,43]、分类法构建[44]等任务中,引入知识图谱中的先验知识,可以使模型更准确地理解自然语言的含义。Hu等人[12]提出了一种异质图神经网络HGAT(Heterogeneous Graph Attention Network)用于短文本分类,如图5所示,首先基于知识库构造包含短文本、实体、主题三类节点的短文本异质图,从而利用知识库中的知识增强短文本中的信息,设计了一种带有双层注意力机制的异质图神经网络,用于获得知识增强的短文本表示,从而提高分类效果。Hu等人还将HGAT用于虚假新闻检测,提出由于虚假新闻的虚假性特征,会导致所含实体的表示会与知识库中的实体表示有较大差异,因此通过HGAT学习融合了新闻内容的实体表示,并通过一个匹配网络模块度量与知识库中的实体表示之间的差异性,从而提高检测效果。Koncel-Kedziorski等人[42]提出了一种新的图转换器(graph transformers)用于编码知识图谱中包含的节点、关系信息,从而结合给定的待生成文本标题,利用解码器实现对应文本的生成。Chen等人[43]提出了一种双向Graph2Seq模型,利用知识图谱中的结构信息,使用双向门控图神经网络(Bidirectional Gated Graph Neural Network,BiGGNN)学习图谱节点表示,以一种带有节点级别的复制机制的LSTM作为解码器来生成文本。Graph2Taxo[44]是一种基于图神经网络的跨域知识迁移框架,用于分类法构建的任务,它使用一个由上下位词候选对构造的有噪声图,以及一些已知域的一组分类,利用图神经网络指导未知领域的分类结构学习。
推荐系统
为了解决推荐系统中的稀疏性问题和冷启动问题,一种可行的思路是将知识图谱作为外部信息整合到推荐系统中,使推荐系统具有常识推理能力。研究者们基于图神经网络强大的聚合信息以及推理能力,设计了基于图神经网络和知识图谱的推荐系统,有效地提升了推荐命中率。此外,图神经网络的信息传播与推理能力也为推荐结构提供了一定的可解释性。
RippleNet[45]将知识图谱特征学习和推荐算法的目标函数结合,使用端到端的方法进行联合学习,从而将知识图谱作为额外信息融入至推荐系统。如图6(a)所示,知识图谱卷积网络神经网络(Knowledge Graph Convolutional Network,KGCN)[46]通过扩展知识图谱中每个实体的感受野,捕捉用户的高阶个性化兴趣,同时对商品之间的潜在联系建模,从而提高推荐的准确性。如图6(b)所示,知识图谱注意力网络(Knowledge Graph Attention Network,KGAT)[47]进一步引入知识感知的注意力机制,从融合知识图谱的用户–商品交互图中传播高阶链接路径的信息。Wang等人[48]提出了基于标签平滑正则的知识感知图神经网络(KGNN-LS),首先将知识图谱转换为用户相关的带权图,然后使用该图神经网络计算个性化的商品嵌入,从而提升推荐效果。
计算机视觉
人类区别于现代计算机视觉算法的一个特征是获得知识并使用该知识推理视觉世界的能力,从而可以通过很少的例子认知视觉世界[49]。研究者们考虑到图神经网络在学习节点和边的表示方面的优势,应用了图神经网络来学习利用图像中的目标与知识图谱之间的关联关系。
马连奴(Marino)等人[49]首先根据大规模图像数据集中的一些先验知识构建了一个知识图谱,如图7(a)所示,包括目标–属性和目标–目标之间的关系,并基于该结构化的先验知识,提出了图搜索神经网络(Graph Search Neural Network),将先验知识引入图像分类从而提高分类效果。类似地,如图7(b)所示,Wang等人[50]提出了图注意力机制来从图像中识别社交关系,首先根据大规模图像数据集构建了一个描述社交关系和目标共现的知识图谱,然后采用门控图神经网络(Gated Graph Neural Network,GGNN)利用该知识图谱中的语义结构信息学习更准确的节点和关系表示,从而提高了图像中社交关系识别的性能。Wang等人[51]则使用从知识图谱中学得的标签语义嵌入和标签间的关系,将一种多层GCN训练为一个零样本图像分类器。

4

总结与展望

结合知识图谱和图神经网络的相关研究已经成为人工智能领域的一个热点方向。知识图谱可以为各类学习任务提供良好的先验知识,图神经网络则可以更好地支持图数据的学习任务。但是,目前基于图神经网络的知识图谱学习、计算与应用的研究都还相对较少,未来仍有巨大的发展空间,例如基于图神经网络的知识图谱自动构建、基于异质图神经网络的知识融合、基于元路径或图神经网络的知识图谱复杂推理、基于图神经网络的可解释性学习等。
自动构建
当前的知识图谱高度依赖于人工构建,构建特定领域的知识图谱又是企业应用里不可或缺的现实需求。在学习建模实体的时间信息和实体动力学方面,已有一些基于传统深度学习的工作,但通常无法将知识图谱作为一个整体对其动态性进行建模。因而,利用最近的一些动态图神经网络的方法例如图时空网络,同时建模并预测微观层面上的实体以及宏观层面上的图谱的变化规律,是一个值得关注的方向。
融合知识
采用图构建知识和数据之间的关联从而引入知识图谱,是目前研究的一种主流思路之一。通常,真实数据中的交互关系有丰富的属性特征(如用户–商品交互图中用户和商品都带有丰富的属性特征),而知识图谱则是关系特征丰富的,即相对更侧重于结构性。此外,知识图谱中的本体概念层包含大量的谓词逻辑规则知识,如何设计更合适的图神经网络模型弥补这三者之间的语义鸿沟,从而更好地融合知识图谱中的先验知识,将是一个研究难点。一种直接的思路是利用异质图神经网络的方法,考虑节点的异质性和多模态性,从而用适合各类型的不同方式对不同的信息进行融合。
复杂推理
由于基于嵌入的方法在复杂的逻辑推理上有局限性,因而可以进一步探讨关系路径和符号逻辑两个方向。异质图上的元路径定义了高阶的语义关系,而知识图谱可看作一种特殊的异质图,将基于异质图神经网络的消息传递与基于强化学习的路径查找和约减相结合,是一种可行的处理复杂推理的思路。研究者们最近的工作将概率图模型(如马尔科夫网)与图神经网络相结合,旨在消息传递时发现并推理逻辑规则,而利用此类模型挖掘知识图谱上的推理规则,也是一个值得注意的研究方向。
可解释性
深度学习的黑盒问题被人诟病已久,图神经网络的信息传播机制相较传统深度学习模型更具有可解释性。知识图谱提供了现实世界的事实知识,利用图神经网络模型尤其是概率图神经网络应用在知识图谱中实现逻辑推理,从而显式地生成基于知识图谱的推理路径,或许可以期待打开深度学习的黑盒。 
脚注
1 双过程理论(dual process theory)认为,人的认知分为两个系统,其一是基于直觉的、无知觉的思考系统,其运作依赖于经验和关联;其二是人类特有的逻辑推理能力,此系统利用工作记忆中的知识进行慢速但是可靠的逻辑推理。

 阅读原文,直达“ ECCV”小组,了解更多会议信息!

登录查看更多
2

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

推荐系统旨在为用户推荐个性化的在线商品或信息, 其广泛应用于众多Web场景之中, 来处理海量信息数据所导致的信息过载问题, 以此提升用户体验. 鉴于推荐系统强大的实用性, 自20世纪90年代中期以来, 研究者针对其方法与应用两方面, 进行了大量广泛的研究. 近年来, 很多工作发现知识图谱中所蕴含的丰富信息可以有效地解决推荐系统中存在的一系列关键问题, 例如数据稀疏、冷启动、推荐多样性等. 因此, 本文 针对基于知识图谱的推荐系统这一领域进行了全面的综述. 具体地, 首先简单介绍推荐系统与知识图谱中的一些基本概念. 随后, 详细介绍现有方法如何挖掘知识图谱不同种类的信息并应用于推荐系统. 此外, 总结了相关的一系列推荐应用场景. 最后, 提出了对基于知识图谱的推荐系统前景的看法, 并展望了该领域未来的研究方向.

成为VIP会员查看完整内容
0
101

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
126

知识图谱补全是一类重要的问题。近年来基于图神经网络的知识图谱表示得到了很多关注。这边综述论文总结了图神经网络知识图谱补全的工作,值得查看!

摘要:知识图谱在诸如回答问题和信息检索等各种下游任务中越来越流行。然而,知识图谱往往不完备,从而导致性能不佳。因此,人们对知识库补全的任务很感兴趣。最近,图神经网络被用来捕获固有地存储在这些知识图谱中的结构信息,并被证明可以跨各种数据集实现SOTA性能。在这次综述中,我们了解所提出的方法的各种优势和弱点,并试图在这一领域发现新的令人兴奋的研究问题,需要进一步的调研。

知识库是以关系三元组形式的事实信息的集合。每个关系三元组可以表示为(e1,r,e2),其中e1和e2是知识库中的实体,r是e1和e2之间的关系。最受欢迎的知识库表示方式是多关系图,每个三元组(r e1, e2)是表示为有向边从e1, e2与标签r。知识图谱被用于各种下游任务。

然而,由于知识库是从文本中自动挖掘来填充的,它们通常是不完整的,因为不可能手动编写所有事实,而且在提取过程中经常会出现不准确的情况。这种不准确性会导致各种下游任务的性能下降。因此,大量工作开发一种有效的工具来完成知识库(KBs)方面,它可以在不需要额外知识的情况下自动添加新的事实。这个任务被称为知识库补全(或链接预测),其目标是解决诸如(e1,r,?)这样的查询。

第一种实现高效知识库补全的方法是像TransE (Bordes et al.(2013))和TransH (Wang et al.(2014))这样的加法模型,其中关系被解释为隐藏实体表示的简单翻译。然后观察到,诸如Distmult (Yang et al.(2015))和Complex (Trouillon et al.(2016))等乘法模型优于这些简单的相加模型。与平移不同,旋转(Sun等人(2019a))将关系定义为简单的旋转,这样头部实体就可以在复杂的嵌入空间中旋转来匹配尾部实体,这已经被证明满足了很多有用的语义属性,比如关系的组合性。最近,引入了表达性更强的基于神经网络的方法(如ConvE (Dettmers等人(2018))和ConvKB(Nguyen等人(2018)),其中评分函数与模型一起学习。然而,所有这些模型都独立地处理每个三元组。因此,这些方法不能捕获语义丰富的邻域,从而产生低质量的嵌入。

图已被广泛用于可视化真实世界的数据。在将ML技术应用于图像和文本方面已经取得了巨大进展,其中一些已成功应用于图形(如Kipf和Welling(2017)、Hamilton等人(2017)、Velickovic等人(2018)。基于该方法的启发,许多基于图神经网络的方法被提出用于KBC任务中获取知识图的邻域。在这次调查中,我们的目的是研究这些工作。

成为VIP会员查看完整内容
0
71

知识图谱以图的方式承载着结构化的人类知识。作为将知识整合进入人工智能系统的媒介, 知识图谱的研究日益流行。知识图谱在众多人工智能相关的应用上崭露头角, 例如问答系统、 信息检索、 自然语言处理、 推荐系统等。然而, 传统的深度学习不能很好地处理知识图谱这类非欧式数据。随着图神经网络的快速发展, 几何深度学习成为建模非欧式数据的重要理论。 本文以几何深度学习的视角, 以图神经网络为重点, 总结了近期基于图神经网络的知识图谱关键技术研究进展。具体地, 本文总结了知识图谱中知识获取、 知识表示、 知识推理这三个较为核心的研究领域, 并展望了未来的研究方向和前景, 探讨知识图谱在航空航天军事上的潜在应用。

http://www.aeroweaponry.avic.com/CN/abstract/abstract10635.shtml

成为VIP会员查看完整内容
0
48

摘要: 大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。

成为VIP会员查看完整内容
0
58
小贴士
相关资讯
知识图谱最新研究综述
深度学习自然语言处理
20+阅读 · 2020年6月14日
论文解读|知识图谱最新研究综述
AINLP
8+阅读 · 2020年5月4日
清华大学图神经网络综述:模型与应用
机器之心
42+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
153+阅读 · 2018年12月26日
【知识图谱】知识图谱怎么与深度学习结合?
产业智能官
90+阅读 · 2018年12月18日
【知识图谱】医学知识图谱构建技术与研究进展
产业智能官
35+阅读 · 2017年11月16日
医学知识图谱构建技术与研究进展
人工智能学家
10+阅读 · 2017年11月11日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
28+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
CSDN大数据
5+阅读 · 2017年9月7日
相关VIP内容
专知会员服务
101+阅读 · 2020年8月10日
专知会员服务
27+阅读 · 2020年8月9日
最新《图神经网络模型与应用》综述论文
专知会员服务
126+阅读 · 2020年8月2日
专知会员服务
71+阅读 · 2020年7月29日
专知会员服务
48+阅读 · 2020年7月10日
专知会员服务
33+阅读 · 2020年5月2日
专知会员服务
58+阅读 · 2020年4月25日
相关论文
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
Mandana Saebi,Steven Krieg,Chuxu Zhang,Meng Jiang,Nitesh Chawla
7+阅读 · 2020年3月12日
Shaoxiong Ji,Shirui Pan,Erik Cambria,Pekka Marttinen,Philip S. Yu
71+阅读 · 2020年2月2日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
10+阅读 · 2019年11月23日
Liang Yao,Chengsheng Mao,Yuan Luo
5+阅读 · 2019年9月11日
Signed Graph Attention Networks
Junjie Huang,Huawei Shen,Liang Hou,Xueqi Cheng
5+阅读 · 2019年9月5日
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
Bill Yuchen Lin,Xinyue Chen,Jamin Chen,Xiang Ren
7+阅读 · 2019年9月4日
Wen Zhang,Bibek Paudel,Wei Zhang,Abraham Bernstein,Huajun Chen
6+阅读 · 2019年3月12日
Haoyu Wang,Vivek Kulkarni,William Yang Wang
5+阅读 · 2018年10月31日
Joint Embedding of Meta-Path and Meta-Graph for Heterogeneous Information Networks
Lichao Sun,Lifang He,Zhipeng Huang,Bokai Cao,Congying Xia,Xiaokai Wei,Philip S. Yu
3+阅读 · 2018年9月11日
Simon Gottschalk,Elena Demidova
9+阅读 · 2018年4月12日
Top