题目: MEMORY-BASED GRAPH NETWORKS

摘 要:

图神经网络是一类对任意拓扑结构的数据进行操作的深度模型。我们为GNNs引入了一个有效的记忆层,它可以联合学习节点表示并对图进行粗化。在此基础上,我们还引入了两个新的网络:基于记忆的GNN (MemGNN)和可以学习层次图表示的图存储网络(GMN)。实验结果表明,所提出的模型在9个图分类和回归基准中有8个达到了最新的结果。我们也证明了这些表示学习可以对应于分子数据中的化学特征。

成为VIP会员查看完整内容
0
90

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

本文研究如何更好聚合网络拓扑信息和特征信息。中心思想是,构造了结构图,特征图(feature graph),以及两者的组合来提取特定的和通用的嵌入,并使用注意机制来学习嵌入的自适应重要性权重。实验发现,AM-GCN可以从节点特征和拓扑结构中提取自适应地提取相关的信息,对应不同的参数取值。 https://arxiv.org/abs/2007.02265

摘要:图卷积网络(GCNs)在处理图数据和网络数据的各种分析任务方面得到了广泛的应用。然而,最近的一些研究提出了一个问题,即GCNs是否能够在一个信息丰富的复杂图形中优化地整合节点特征和拓扑结构。在本文中,我们首先提出一个实验研究。令人惊讶的是,我们的实验结果清楚地表明,当前的GCNs融合节点特征和拓扑结构的能力远远不是最优的,甚至是令人满意的。由于GCNs无法自适应地学习拓扑结构与节点特征之间的一些深层次关联信息,这一弱点可能会严重阻碍GCNs在某些分类任务中的能力。我们能否弥补这一缺陷,设计出一种新型的GCNs,既能保留现有GCNs的优势,又能大幅度提高拓扑结构和节点特征融合的能力?为了解决这个问题,我们提出了一种自适应多通道半监督分类图卷积网络。其核心思想是同时从节点特征、拓扑结构及其组合中提取具体的和常见的嵌入,并利用注意机制学习嵌入的自适应重要度权值。我们在基准数据集上进行的大量实验表明,AM-GCN从节点特征和拓扑结构中提取了最多的相关信息,显著提高了分类精度。

成为VIP会员查看完整内容
0
85

题目: Continuous Graph Neural Networks

摘要:

本文建立了图神经网络与传统动力系统之间的联系。我们提出了持续图神经网络(CGNN),它将现有的图神经网络与离散动力学进行了一般化,因为它们可以被视为一种特定的离散化方案。关键思想是如何表征节点表示的连续动力学,即关于时间的节点表示的导数。受现有的基于扩散的图方法(如社交网络上的PageRank和流行模型)的启发,我们将导数定义为当前节点表示、邻节点表示和节点初始值的组合。我们提出并分析了两种可能的动态图,包括节点表示的每个维度(又名特征通道)各自改变或相互作用的理论证明。所提出的连续图神经网络在过度平滑方面具有很强的鲁棒性,因此允许我们构建更深层次的网络,进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在和基线对比的有效性。

介绍

图神经网络(GNNs)由于其在节点分类等多种应用中的简单性和有效性而受到越来越多的关注;、链接预测、化学性质预测、自然语言理解。GNN的基本思想是设计多个图传播层,通过聚合邻近节点的节点表示和节点本身的表示,迭代地更新每个节点表示。在实践中,对于大多数任务,几层(两层或三层)通常就足够了,更多的层可能导致较差的性能。

改进GNNs的一个关键途径是能够建立更深层次的网络,以了解数据和输出标签之间更复杂的关系。GCN传播层平滑了节点表示,即图中相邻的节点变得更加相似。当我们堆叠越来越多的层时,这会导致过度平滑,这意味着节点表示收敛到相同的值,从而导致性能下降。因此,重要的是缓解节点过平滑效应,即节点表示收敛到相同的值。

此外,对于提高我们对GNN的理论理解,使我们能够从图结构中描述我们可以学到的信号,这是至关重要的。最近关于理解GCN的工作(Oono和Suzuki, 2020)认为GCN是由离散层定义的离散动力系统。此外,Chen等人(2018)证明了使用离散层并不是构建神经网络的唯一视角。他们指出,带有剩余连接的离散层可以看作是连续ODE的离散化。他们表明,这种方法具有更高的记忆效率,并且能够更平滑地建模隐藏层的动态。

我们利用基于扩散方法的连续视角提出了一种新的传播方案,我们使用来自常微分方程(即连续动力系统)的工具进行分析。事实上,我们能够解释我们的模型学习了什么表示,以及为什么它不会遭受在GNNs中常见的过度平滑问题。允许我们建立更深层次的网络,也就是说我们的模型在时间价值上运行良好。恢复过平滑的关键因素是在连续设置中使用了最初在PageRank中提出的原始分布。直观上,重新开始分布有助于不忘记邻接矩阵的低幂次信息,从而使模型收敛到有意义的平稳分布。

本文的主要贡献是:

  • 基于PageRank和扩散方法,提出了两个连续递增模型容量的ODEs;
  • 我们从理论上分析了我们的层学习的表示,并表明当t → ∞我们的方法接近一个稳定的不动点,它捕获图结构和原始的节点特征。因为我们在t→∞时是稳定的,我们的网络可以有无限多个“层”,并且能够学习远程依赖关系;
  • 我们证明了我们的模型的记忆是高效的,并且对t的选择是具有鲁棒性的。除此之外,我们进一步证明了在节点分类任务上,我们的模型能够比许多现有的最先进的方法表现更好。
成为VIP会员查看完整内容
0
89

题目: Hyperbolic Graph Attention Network

摘要: 图神经网络(GNN)在图处理方面表现出了优越的性能,近年来引起了人们的广泛关注。然而,大多数现有的GNN模型主要是为欧几里得空间中的图设计的。最近的研究已经证明,图数据显示非欧几里得潜在的解剖学。不幸的是,到目前为止,很少有研究GNN在非欧几里得的设置。为了弥补这一缺陷,本文首次对双曲空间中具有注意机制的GNN进行了研究。双曲GNN的研究有一些独特的挑战:由于双曲空间不是向量空间,不能进行向量操作(如向量的加法、减法和标量乘法)。为了解决这个问题,我们使用回旋向量空间,它提供了一个优雅的代数形式的双曲几何,以转换图的特征;在此基础上,我们提出了基于双曲接近的注意力聚合机制。此外,由于双曲空间中的数学运算比欧几里得空间中的更为复杂,我们进一步设计了一种新的利用对数和指数映射的加速策略来提高模型的效率。通过与其他最先进的基线方法的比较,发现在四个真实数据集上的综合实验结果证明了我们提出的双曲图注意力网络模型的性能。

成为VIP会员查看完整内容
0
72

题目: Graph Random Neural Networks

摘要:

图神经网络(GNNs)将深度学习方法推广到图结构数据中,在图形挖掘任务中表现良好。然而,现有的GNN常常遇到具有标记节点的复杂图结构,并受到非鲁棒性、过度平滑和过拟合的限制。为了解决这些问题,本文提出了一个简单而有效的GNN框架——图随机神经网络(Grand)。与现有GNNs中的确定性传播不同,Grand采用随机传播策略来增强模型的鲁棒性。这种策略也很自然地使Grand能够将传播从特征转换中分离出来,减少了过度平滑和过度拟合的风险。此外,随机传播是图数据扩充的一种有效方法。在此基础上,利用无标记节点在多个扩展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正则化方法。在图形基准数据集上的大量实验表明,Grand在半监督的图形学习任务上显著优于最先进的GNN基线。最后,证明了它可以显著减轻过度平滑和过度拟合的问题,并且它的性能与鲁棒性相结合。

成为VIP会员查看完整内容
0
103

题目: Composition-Based Multi-Relational Graph Convolutional Networks

摘要: 图卷积网络(GCNs)最近被证明在对图结构数据建模方面是非常成功的。然而,主要的重点是处理简单的无向图。多关系图是一种更为普遍和流行的图,其中每条边都有一个与之相关的标签和方向。现有的大多数处理此类图的方法都存在参数过多的问题,并且仅限于学习节点的表示形式。在本文中,我们提出了一种新的图卷积框架COMP-GCN,它将节点和关系共同嵌入到一个关系图中。COMP-GCN利用知识图谱嵌入技术中的各种实体关系组合操作,并根据关系的数量进行扩展。它还概括了几种现有的多关系GCN方法。我们评估了我们提出的方法在多个任务,如节点分类,链接预测,和图分类,并取得了明显的结果。

成为VIP会员查看完整内容
0
91

题目: Dynamic Spatio-temporal Graph-based CNNs for Traffic Flow Prediction

摘要: 由于其时空结构的复杂性和动态性,预测未来交通流是一个具有挑战性的问题。大多数现有的基于图的CNN都试图捕捉静态关系,而忽略了序列数据下的动态关系。本文通过学习表达特征来表示时空结构,并从监控视频数据中预测未来的交通流,提出了一种基于动态时空图的神经网络(DST-GCNNs)。特别是,DST-GCNN是一个双流网络。在流量预测流中,我们提出了一种新的基于图形的时空卷积层来从流量的图形表示中提取特征。然后将几个这样的层叠加在一起来预测未来的流动。同时,随着交通条件的变化,图中交通流之间的关系往往是时变的。为了捕获图的动态,我们使用图预测流来预测动态图结构,并将预测的结构输入到流预测流中。在实际数据集上的实验表明,该模型与现有的方法相比具有较强的竞争能力。

成为VIP会员查看完整内容
0
88

题目

几何图形卷积网络,GEOM-GCN: GEOMETRIC GRAPH CONVOLUTIONAL NETWORKS

关键字

消息传递神经网络,图卷积神经网络,图表示学习,深度学习

简介

消息传递神经网络(MPNN)已成功应用于各种现实应用中的图表示学习。但是,MPNN聚合器的两个基本弱点限制了它们表示图结构数据的能力:丢失了邻居中节点的结构信息,并且缺乏捕获解离图中的长期依赖关系的能力。很少有研究注意到不同观点的弱点。通过对经典神经网络和网络几何的观察,我们提出了一种新颖的图神经网络几何聚合方案,以克服这两个缺点。背后的基本思想是图形上的聚合可以受益于图形下方的连续空间。提出的聚合方案是置换不变的,由节点嵌入,结构邻域和双层聚合三个模块组成。我们还介绍了该方案在图卷积网络(称为Geom-GCN)中的实现,以对图执行转导学习。实验结果表明,Geom-GCN在各种开放的图形数据集上均达到了最先进的性能。

作者

Hongbin Pei,Bingzhe Wei,Kevin Chen-Chuan Chang,Yu Lei,Bo Yang

成为VIP会员查看完整内容
0
58
小贴士
相关资讯
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
16+阅读 · 2020年4月24日
【NeurIPS2019】图变换网络:Graph Transformer Network
Graph Neural Networks 综述
计算机视觉life
21+阅读 · 2019年8月13日
精选论文 | 图深度学习【附打包下载】
人工智能前沿讲习班
9+阅读 · 2019年6月12日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
28+阅读 · 2019年5月19日
图注意力网络
科技创新与创业
28+阅读 · 2017年11月22日
基于注意力机制的图卷积网络
科技创新与创业
55+阅读 · 2017年11月8日
相关论文
Ankit Pal,Muru Selvakumar,Malaikannan Sankarasubbu
37+阅读 · 2020年3月22日
Memory Augmented Graph Neural Networks for Sequential Recommendation
Chen Ma,Liheng Ma,Yingxue Zhang,Jianing Sun,Xue Liu,Mark Coates
11+阅读 · 2019年12月26日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
12+阅读 · 2019年11月6日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
4+阅读 · 2019年8月17日
Junyuan Shang,Cao Xiao,Tengfei Ma,Hongyan Li,Jimeng Sun
4+阅读 · 2019年3月7日
Hao Peng,Jianxin Li,Qiran Gong,Senzhang Wang,Yuanxing Ning,Philip S. Yu
5+阅读 · 2019年2月25日
Simplifying Graph Convolutional Networks
Felix Wu,Tianyi Zhang,Amauri Holanda de Souza Jr.,Christopher Fifty,Tao Yu,Kilian Q. Weinberger
10+阅读 · 2019年2月19日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Liang Yao,Chengsheng Mao,Yuan Luo
11+阅读 · 2018年10月17日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
6+阅读 · 2018年2月4日
Top