题目: Continuous Graph Neural Networks

摘要:

本文建立了图神经网络与传统动力系统之间的联系。我们提出了持续图神经网络(CGNN),它将现有的图神经网络与离散动力学进行了一般化,因为它们可以被视为一种特定的离散化方案。关键思想是如何表征节点表示的连续动力学,即关于时间的节点表示的导数。受现有的基于扩散的图方法(如社交网络上的PageRank和流行模型)的启发,我们将导数定义为当前节点表示、邻节点表示和节点初始值的组合。我们提出并分析了两种可能的动态图,包括节点表示的每个维度(又名特征通道)各自改变或相互作用的理论证明。所提出的连续图神经网络在过度平滑方面具有很强的鲁棒性,因此允许我们构建更深层次的网络,进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在和基线对比的有效性。

介绍

图神经网络(GNNs)由于其在节点分类等多种应用中的简单性和有效性而受到越来越多的关注;、链接预测、化学性质预测、自然语言理解。GNN的基本思想是设计多个图传播层,通过聚合邻近节点的节点表示和节点本身的表示,迭代地更新每个节点表示。在实践中,对于大多数任务,几层(两层或三层)通常就足够了,更多的层可能导致较差的性能。

改进GNNs的一个关键途径是能够建立更深层次的网络,以了解数据和输出标签之间更复杂的关系。GCN传播层平滑了节点表示,即图中相邻的节点变得更加相似。当我们堆叠越来越多的层时,这会导致过度平滑,这意味着节点表示收敛到相同的值,从而导致性能下降。因此,重要的是缓解节点过平滑效应,即节点表示收敛到相同的值。

此外,对于提高我们对GNN的理论理解,使我们能够从图结构中描述我们可以学到的信号,这是至关重要的。最近关于理解GCN的工作(Oono和Suzuki, 2020)认为GCN是由离散层定义的离散动力系统。此外,Chen等人(2018)证明了使用离散层并不是构建神经网络的唯一视角。他们指出,带有剩余连接的离散层可以看作是连续ODE的离散化。他们表明,这种方法具有更高的记忆效率,并且能够更平滑地建模隐藏层的动态。

我们利用基于扩散方法的连续视角提出了一种新的传播方案,我们使用来自常微分方程(即连续动力系统)的工具进行分析。事实上,我们能够解释我们的模型学习了什么表示,以及为什么它不会遭受在GNNs中常见的过度平滑问题。允许我们建立更深层次的网络,也就是说我们的模型在时间价值上运行良好。恢复过平滑的关键因素是在连续设置中使用了最初在PageRank中提出的原始分布。直观上,重新开始分布有助于不忘记邻接矩阵的低幂次信息,从而使模型收敛到有意义的平稳分布。

本文的主要贡献是:

  • 基于PageRank和扩散方法,提出了两个连续递增模型容量的ODEs;
  • 我们从理论上分析了我们的层学习的表示,并表明当t → ∞我们的方法接近一个稳定的不动点,它捕获图结构和原始的节点特征。因为我们在t→∞时是稳定的,我们的网络可以有无限多个“层”,并且能够学习远程依赖关系;
  • 我们证明了我们的模型的记忆是高效的,并且对t的选择是具有鲁棒性的。除此之外,我们进一步证明了在节点分类任务上,我们的模型能够比许多现有的最先进的方法表现更好。
成为VIP会员查看完整内容
0
80

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

图神经网络在图表示学习领域取得了显著的成功。图卷积执行邻域聚合,并表示最重要的图运算之一。然而,这些邻域聚合方法的一层只考虑近邻,当进一步启用更大的接受域时,性能会下降。最近的一些研究将这种性能下降归因于过度平滑问题,即重复传播使得不同类的节点表示无法区分。在这项工作中,我们系统地研究这一观察结果,并对更深的图神经网络发展新的见解。本文首先对这一问题进行了系统的分析,认为当前图卷积运算中表示变换与传播的纠缠是影响算法性能的关键因素。将这两种操作解耦后,更深层次的图神经网络可用于从更大的接受域学习图节点表示。在建立深度模型时,我们进一步对上述观察结果进行了理论分析,这可以作为过度平滑问题的严格而温和的描述。在理论和实证分析的基础上,我们提出了深度自适应图神经网络(DAGNN),以自适应地吸收来自大接受域的信息。一组关于引文、合著和共购数据集的实验证实了我们的分析和见解,并展示了我们提出的方法的优越性。

https://arxiv.org/abs/2007.09296

成为VIP会员查看完整内容
0
48

题目: Graph Structure of Neural Networks

摘要:

神经网络通常表示为神经元之间的连接图。但是,尽管已被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系知之甚少。本文系统地研究了神经网络的图结构如何影响其预测性能。为此,开发了一种新的基于图的神经网络表示,称为关系图,其中神经网络的计算层对应于图结构每轮进行的消息交换。使用这种表示,我们表明:

(1)关系图的“最佳点”导致神经网络的预测性能大大提高;

(2)神经网络的性能大约是其关系图的聚类系数和平均路径长度的平滑函数;

(3)文中发现在许多不同的任务和数据集上是一致的;

(4)可以有效地识别最佳点;

(5)表现最佳的神经网络具有令人惊讶的类似于真实生物神经网络的图结构。

该方法为神经体系结构的设计和对神经网络的一般理解开辟了新的方向。

成为VIP会员查看完整内容
0
46

题目:

Confidence-Aware Learning for Deep Neural Networks

简介:

尽管深度神经网络可以执行多种任务,但过分一致的预测问题限制了它们在许多安全关键型应用中的实际应用。已经提出了许多新的工作来减轻这个问题,但是大多数工作需要在训练和/或推理阶段增加计算成本,或者需要定制的体系结构来分别输出置信估计。在本文中,我们提出了一种使用新的损失函数训练深度神经网络的方法,称为正确排名损失,该方法将类别概率显式规范化,以便根据依据的有序等级更好地进行置信估计。所提出的方法易于实现,并且无需进行任何修改即可应用于现有体系结构。而且,它的训练计算成本几乎与传统的深度分类器相同,并且通过一次推断就可以输出可靠的预测。在分类基准数据集上的大量实验结果表明,所提出的方法有助于网络产生排列良好的置信度估计。我们还证明,它对于与置信估计,分布外检测和主动学习密切相关的任务十分有效。

成为VIP会员查看完整内容
0
35

题目: Stochastic Graph Neural Networks

简介:

图神经网络(GNN)对图数据中的非线性表示进行建模,并在分布式智能体协调,控制和规划等方面进行了应用。当前的GNN架构假设理想情况,并且忽略由于环境,人为因素或外部攻击而发生的波动。在这些情况下,如果未考虑拓扑随机性,则GNN无法解决其分布式任务。为了克服这个问题,我们提出了随机图神经网络(SGNN)模型:一种GNN,其中分布式图卷积模块解决了随机网络的变化。由于随机性引入了新的学习范式,因此我们对SGNN输出方差进行统计分析,以识别学习滤波器为实现向扰动场景的鲁棒转移而应满足的条件,最终揭示随机链路损耗的显式影响。我们进一步为SGNN开发了基于随机梯度下降(SGD)的学习过程,并推导了学习速率收敛的条件,在该条件下该学习过程收敛于平稳点。数值结果证实了我们的理论研究,并将SGNN鲁棒与传统GNN的优势进行了比较,后者在学习过程中忽略了图形扰动。

成为VIP会员查看完整内容
0
35

主题: Graph Neural Networks with Composite Kernels

摘要: 近年来,对图结构化数据的学习引起了越来越多人的兴趣。诸如图卷积网络(GCN)之类的框架已经证明了它们在各种任务中捕获结构信息并获得良好性能的能力。在这些框架中,节点聚合方案通常用于捕获结构信息:节点的特征向量是通过聚集其相邻节点的特征来递归计算的。但是,大多数聚合方案都将图中的所有连接均等化,而忽略了节点特征的相似性。本文从内核权重的角度重新解释了节点聚合,并提出了一个框架来考虑特征相似性。我们表明归一化的邻接矩阵等效于Kerin空间中基于邻居的内核矩阵。然后,我们提出功能聚集作为基于原始邻居的内核和可学习的内核的组成,以在特征空间中编码特征相似性。我们进一步展示了如何将所提出的方法扩展到图注意力网络(GAT)。实验结果表明,在一些实际应用中,我们提出的框架具有更好的性能。

成为VIP会员查看完整内容
0
33

芬兰阿尔托大学CSE4890深度学习课程第7讲:图神经网络,由Alexander Ilin主讲,全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。

成为VIP会员查看完整内容
0
126

主题: Principal Neighbourhood Aggregation for Graph Nets

摘要: 图神经网络(GNN)已被证明是针对图结构数据的不同预测任务的有效模型。 关于它们表现力的最新工作集中在同构任务和可数特征空间上。 我们扩展了该理论框架,使其包含连续的功能(在现实世界的输入域中以及在GNN的隐藏层中定期发生),并说明了在这种情况下对多个聚合函数的需求。 将多个聚合器与度标度器结合在一起(可以对总和聚合器进行概括)。 最后,我们通过基准测试比较了不同模型捕获和利用图形结构的能力,该基准包含了经典图形理论中的多个任务,这证明了我们模型的能力。

成为VIP会员查看完整内容
0
24

论文摘要

图无处不在,从引文和社交网络到知识图谱(KGs)。它们是最富表现力的数据结构之一,已被用于建模各种问题。知识图谱是图中事实的结构化表示,其中节点表示实体,边表示实体之间的关系。最近的研究已经开发出几种大型知识图谱;例如DBpedia、YAGO、NELL和Freebase。然而,它们都是稀疏的,每个实体只有很少的事实。例如,每个实体只包含1.34个事实。在论文的第一部分,我们提出了缓解这一问题的三个解决方案:(1)KG规范化,即(2)关联提取,它涉及到从非结构化文本中提取实体之间的语义关系的自动化过程;(3)链接预测,它包括基于KG中的已知事实推断缺失的事实。KG的规范化,我们建议CESI(规范化使用嵌入和边信息),一个新颖的方法执行规范化学习嵌入开放KG。KG嵌入的方法扩展了最新进展将相关NP和关系词信息原则的方式。对于关系提取,我们提出了一种远程监督神经关系提取方法,该方法利用KGs中的附加边信息来改进关系提取。最后,对于链路预测,我们提出了扩展ConvE的InteractE,这是一种基于卷积神经网络的链路预测方法,通过三个关键思想:特征置换、新颖的特征重塑和循环卷积来增加特征交互的次数。通过对多个数据集的大量实验,验证了所提方法的有效性。

传统的神经网络如卷积网络和递归神经网络在处理欧几里得数据时受到限制。然而,在自然语言处理(NLP)中图形是很突出的。最近,图卷积网络(Graph Convolutional Networks, GCNs)被提出来解决这一缺点,并成功地应用于多个问题。在论文的第二部分,我们利用GCNs来解决文档时间戳问题,它是文档检索和摘要等任务的重要组成部分。

为此,我们提出利用GCNs联合开发文档语法和时态图结构的NeuralDater,以获得该问题的最新性能。提出了一种灵活的基于图卷积的词嵌入学习方法——SynGCN,该方法利用词的依赖上下文而不是线性上下文来学习更有意义的词嵌入。在论文的第三部分,我们讨论了现有GCN模型的两个局限性,即(1)标准的邻域聚合方案对影响目标节点表示的节点数量没有限制。这导致了中心节点的噪声表示,中心节点在几个跃点中几乎覆盖了整个图。为了解决这个缺点,我们提出了ConfGCN(基于信任的GCN),它通过估计信任来确定聚合过程中一个节点对另一个节点的重要性,从而限制其影响邻居。(2)现有的GCN模型大多局限于处理无向图。然而,更一般和更普遍的一类图是关系图,其中每条边都有与之关联的标签和方向。现有的处理此类图的方法存在参数过多的问题,并且仅限于学习节点的表示。我们提出了一种新的图卷积框架CompGCN,它将实体和关系共同嵌入到一个关系图中。CompGCN是参数有效的,并且可以根据关系的数量进行扩展。它利用了来自KG嵌入技术的各种实体-关系组合操作,并在节点分类、链接预测和图分类任务上取得了明显的优势结果。

成为VIP会员查看完整内容
0
60
小贴士
相关资讯
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
35+阅读 · 2020年2月27日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
50+阅读 · 2019年11月27日
【NeurIPS2019】图变换网络:Graph Transformer Network
当深度强化学习遇见图神经网络
专知
126+阅读 · 2019年10月21日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
15+阅读 · 2019年8月15日
Graph Neural Networks 综述
计算机视觉life
19+阅读 · 2019年8月13日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
336+阅读 · 2019年4月30日
相关论文
Filippo Maria Bianchi,Daniele Grattarola,Cesare Alippi
19+阅读 · 2020年6月3日
L^2-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks
Yuning You,Tianlong Chen,Zhangyang Wang,Yang Shen
15+阅读 · 2020年3月30日
Boris Knyazev,Graham W. Taylor,Mohamed R. Amer
3+阅读 · 2019年10月28日
Zekun Li,Zeyu Cui,Shu Wu,Xiaoyu Zhang,Liang Wang
6+阅读 · 2019年10月12日
Yue Yu,Jie Chen,Tian Gao,Mo Yu
5+阅读 · 2019年4月22日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
15+阅读 · 2019年3月28日
Fenyu Hu,Yanqiao Zhu,Shu Wu,Liang Wang,Tieniu Tan
13+阅读 · 2019年3月5日
Liang Yao,Chengsheng Mao,Yuan Luo
22+阅读 · 2018年11月13日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Keyulu Xu,Weihua Hu,Jure Leskovec,Stefanie Jegelka
17+阅读 · 2018年10月1日
Top