题目: Graph Structure of Neural Networks

摘要:

神经网络通常表示为神经元之间的连接图。但是,尽管已被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系知之甚少。本文系统地研究了神经网络的图结构如何影响其预测性能。为此,开发了一种新的基于图的神经网络表示,称为关系图,其中神经网络的计算层对应于图结构每轮进行的消息交换。使用这种表示,我们表明:

(1)关系图的“最佳点”导致神经网络的预测性能大大提高;

(2)神经网络的性能大约是其关系图的聚类系数和平均路径长度的平滑函数;

(3)文中发现在许多不同的任务和数据集上是一致的;

(4)可以有效地识别最佳点;

(5)表现最佳的神经网络具有令人惊讶的类似于真实生物神经网络的图结构。

该方法为神经体系结构的设计和对神经网络的一般理解开辟了新的方向。

成为VIP会员查看完整内容
0
30

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。

题目: A Survey on Graph Neural Networks for Knowledge Graph Completion

摘要:

知识图谱在诸如回答问题和信息检索之类的各种下游任务中越来越受欢迎。但是,知识图谱通常不完整,从而导致性能不佳。结果,人们对知识库补全任务产生了浓厚的兴趣。 最近,图神经网络已用于捕获固有存储在这些知识图谱中的结构信息,并已显示出可在各种数据集中实现SOTA性能。 在这项调查中,了解了所提出方法的各种优点和缺点,并尝试在该领域中发现需要进一步研究的新的令人兴奋的研究问题。

成为VIP会员查看完整内容
0
19

Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索,提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。这种相关图的表示方式、实验发现等确实挺有意思,也与现有网络结构设计有一定相通之处,故推荐各位同学。

神经网络通用被表示成图的形式(即神经元之间通过边进行链接),尽管这种表示方式得到了广泛应用,但关于神经网络结构与性能之间的关系却鲜少有所了解。

作者系统的研究了神经网络的图结构是如何影响其性能的,为达成该目的,作者开发了一种新颖的称之为relational graph(相关图)的图表示方式,神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式,作者发现了这样几点有意思发现:

  • 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升;
  • 神经网络的性能与聚类系数、平均路径长度成平滑函数关系;
  • 该发现具有跨数据集、跨任务一致性;
  • 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。
  • 该文为神经网络架构设计与理解提供了一种新方向。
成为VIP会员查看完整内容
0
13

题目: Continuous Graph Neural Networks

摘要:

本文建立了图神经网络与传统动力系统之间的联系。我们提出了持续图神经网络(CGNN),它将现有的图神经网络与离散动力学进行了一般化,因为它们可以被视为一种特定的离散化方案。关键思想是如何表征节点表示的连续动力学,即关于时间的节点表示的导数。受现有的基于扩散的图方法(如社交网络上的PageRank和流行模型)的启发,我们将导数定义为当前节点表示、邻节点表示和节点初始值的组合。我们提出并分析了两种可能的动态图,包括节点表示的每个维度(又名特征通道)各自改变或相互作用的理论证明。所提出的连续图神经网络在过度平滑方面具有很强的鲁棒性,因此允许我们构建更深层次的网络,进而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在和基线对比的有效性。

介绍

图神经网络(GNNs)由于其在节点分类等多种应用中的简单性和有效性而受到越来越多的关注;、链接预测、化学性质预测、自然语言理解。GNN的基本思想是设计多个图传播层,通过聚合邻近节点的节点表示和节点本身的表示,迭代地更新每个节点表示。在实践中,对于大多数任务,几层(两层或三层)通常就足够了,更多的层可能导致较差的性能。

改进GNNs的一个关键途径是能够建立更深层次的网络,以了解数据和输出标签之间更复杂的关系。GCN传播层平滑了节点表示,即图中相邻的节点变得更加相似。当我们堆叠越来越多的层时,这会导致过度平滑,这意味着节点表示收敛到相同的值,从而导致性能下降。因此,重要的是缓解节点过平滑效应,即节点表示收敛到相同的值。

此外,对于提高我们对GNN的理论理解,使我们能够从图结构中描述我们可以学到的信号,这是至关重要的。最近关于理解GCN的工作(Oono和Suzuki, 2020)认为GCN是由离散层定义的离散动力系统。此外,Chen等人(2018)证明了使用离散层并不是构建神经网络的唯一视角。他们指出,带有剩余连接的离散层可以看作是连续ODE的离散化。他们表明,这种方法具有更高的记忆效率,并且能够更平滑地建模隐藏层的动态。

我们利用基于扩散方法的连续视角提出了一种新的传播方案,我们使用来自常微分方程(即连续动力系统)的工具进行分析。事实上,我们能够解释我们的模型学习了什么表示,以及为什么它不会遭受在GNNs中常见的过度平滑问题。允许我们建立更深层次的网络,也就是说我们的模型在时间价值上运行良好。恢复过平滑的关键因素是在连续设置中使用了最初在PageRank中提出的原始分布。直观上,重新开始分布有助于不忘记邻接矩阵的低幂次信息,从而使模型收敛到有意义的平稳分布。

本文的主要贡献是:

  • 基于PageRank和扩散方法,提出了两个连续递增模型容量的ODEs;
  • 我们从理论上分析了我们的层学习的表示,并表明当t → ∞我们的方法接近一个稳定的不动点,它捕获图结构和原始的节点特征。因为我们在t→∞时是稳定的,我们的网络可以有无限多个“层”,并且能够学习远程依赖关系;
  • 我们证明了我们的模型的记忆是高效的,并且对t的选择是具有鲁棒性的。除此之外,我们进一步证明了在节点分类任务上,我们的模型能够比许多现有的最先进的方法表现更好。
成为VIP会员查看完整内容
0
37

主题: Graph Neural Networks with Composite Kernels

摘要: 近年来,对图结构化数据的学习引起了越来越多人的兴趣。诸如图卷积网络(GCN)之类的框架已经证明了它们在各种任务中捕获结构信息并获得良好性能的能力。在这些框架中,节点聚合方案通常用于捕获结构信息:节点的特征向量是通过聚集其相邻节点的特征来递归计算的。但是,大多数聚合方案都将图中的所有连接均等化,而忽略了节点特征的相似性。本文从内核权重的角度重新解释了节点聚合,并提出了一个框架来考虑特征相似性。我们表明归一化的邻接矩阵等效于Kerin空间中基于邻居的内核矩阵。然后,我们提出功能聚集作为基于原始邻居的内核和可学习的内核的组成,以在特征空间中编码特征相似性。我们进一步展示了如何将所提出的方法扩展到图注意力网络(GAT)。实验结果表明,在一些实际应用中,我们提出的框架具有更好的性能。

成为VIP会员查看完整内容
0
16

题目: How Powerful are Graph Neural Networks?

摘要: 图神经网络(GNNs)是一种有效的图表示学习框架。GNNs遵循邻域聚合方案,通过递归地聚合和转换邻域节点的表示向量来计算节点的表示向量。许多GNN变体已经被提出,并且在节点和图分类任务上都取得了最新的结果。然而,尽管GNNs给图形表示学习带来了革命性的变化,但是对于它们的表示性质和局限性的理解还是有限的。在这里,我们提出了一个理论框架来分析GNNs捕捉不同图形结构的表现力。我们的结果描述了流行的GNN变体,如图卷积网络和图年龄的辨别能力,并且表明它们不能学习辨别某些简单的图结构。然后,我们开发了一个简单的体系结构,它可以证明是GNNs类中最具表现力的,并且与Weisfeiler-Lehman图同构测试一样强大。我们在一些图形分类基准上实证验证了我们的理论发现,并证明我们的模型达到了最先进的性能。

作者简介: Keyulu Xu,麻省理工学院EECS系的研究生,也是CSAIL和机器学习小组的成员。他的兴趣是智力和推理理论。

WeiHua Hu,哈尔滨工业大学(深圳)助理教授。

成为VIP会员查看完整内容
0
30

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
38
小贴士
相关VIP内容
专知会员服务
15+阅读 · 4月15日
相关论文
Attentive Graph Neural Networks for Few-Shot Learning
Hao Cheng,Joey Tianyi Zhou,Wee Peng Tay,Bihan Wen
11+阅读 · 7月14日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
28+阅读 · 2019年6月15日
Position-aware Graph Neural Networks
Jiaxuan You,Rex Ying,Jure Leskovec
5+阅读 · 2019年6月11日
Yue Yu,Jie Chen,Tian Gao,Mo Yu
4+阅读 · 2019年4月22日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
11+阅读 · 2019年3月28日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
9+阅读 · 2018年10月24日
Keyulu Xu,Weihua Hu,Jure Leskovec,Stefanie Jegelka
13+阅读 · 2018年10月1日
Relational recurrent neural networks
Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicrap
6+阅读 · 2018年6月28日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
4+阅读 · 2018年2月4日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
4+阅读 · 2018年1月10日
Top