题目: Convolutional Kernel Networks for Graph-Structured Data

摘要:

本文介绍了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。该方法通过将图表示为一系列内核特征图来概括卷积核网络以绘制结构化数据图,其中每个节点都承载有关局部图子结构的信息。一方面,内核的观点提供了一种无监督,表达性强且易于调整的数据表示形式,这在有限样本可用时非常有用。另一方面,我们的模型也可以在大规模数据上进行端到端训练,从而产生新类型的图卷积神经网络。并且证明了该方法在几种图形分类基准上均具有竞争优势,同时提供了简单的模型解释。

成为VIP会员查看完整内容
0
26

相关内容

图神经网络在图表示学习领域取得了显著的成功。图卷积执行邻域聚合,并表示最重要的图运算之一。然而,这些邻域聚合方法的一层只考虑近邻,当进一步启用更大的接受域时,性能会下降。最近的一些研究将这种性能下降归因于过度平滑问题,即重复传播使得不同类的节点表示无法区分。在这项工作中,我们系统地研究这一观察结果,并对更深的图神经网络发展新的见解。本文首先对这一问题进行了系统的分析,认为当前图卷积运算中表示变换与传播的纠缠是影响算法性能的关键因素。将这两种操作解耦后,更深层次的图神经网络可用于从更大的接受域学习图节点表示。在建立深度模型时,我们进一步对上述观察结果进行了理论分析,这可以作为过度平滑问题的严格而温和的描述。在理论和实证分析的基础上,我们提出了深度自适应图神经网络(DAGNN),以自适应地吸收来自大接受域的信息。一组关于引文、合著和共购数据集的实验证实了我们的分析和见解,并展示了我们提出的方法的优越性。

https://arxiv.org/abs/2007.09296

成为VIP会员查看完整内容
0
47

题目: Graph Structure of Neural Networks

摘要:

神经网络通常表示为神经元之间的连接图。但是,尽管已被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系知之甚少。本文系统地研究了神经网络的图结构如何影响其预测性能。为此,开发了一种新的基于图的神经网络表示,称为关系图,其中神经网络的计算层对应于图结构每轮进行的消息交换。使用这种表示,我们表明:

(1)关系图的“最佳点”导致神经网络的预测性能大大提高;

(2)神经网络的性能大约是其关系图的聚类系数和平均路径长度的平滑函数;

(3)文中发现在许多不同的任务和数据集上是一致的;

(4)可以有效地识别最佳点;

(5)表现最佳的神经网络具有令人惊讶的类似于真实生物神经网络的图结构。

该方法为神经体系结构的设计和对神经网络的一般理解开辟了新的方向。

成为VIP会员查看完整内容
0
46

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
88

题目: Graph Random Neural Networks

摘要:

图神经网络(GNNs)将深度学习方法推广到图结构数据中,在图形挖掘任务中表现良好。然而,现有的GNN常常遇到具有标记节点的复杂图结构,并受到非鲁棒性、过度平滑和过拟合的限制。为了解决这些问题,本文提出了一个简单而有效的GNN框架——图随机神经网络(Grand)。与现有GNNs中的确定性传播不同,Grand采用随机传播策略来增强模型的鲁棒性。这种策略也很自然地使Grand能够将传播从特征转换中分离出来,减少了过度平滑和过度拟合的风险。此外,随机传播是图数据扩充的一种有效方法。在此基础上,利用无标记节点在多个扩展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正则化方法。在图形基准数据集上的大量实验表明,Grand在半监督的图形学习任务上显著优于最先进的GNN基线。最后,证明了它可以显著减轻过度平滑和过度拟合的问题,并且它的性能与鲁棒性相结合。

成为VIP会员查看完整内容
0
91

主题: Graph Neural Networks with Composite Kernels

摘要: 近年来,对图结构化数据的学习引起了越来越多人的兴趣。诸如图卷积网络(GCN)之类的框架已经证明了它们在各种任务中捕获结构信息并获得良好性能的能力。在这些框架中,节点聚合方案通常用于捕获结构信息:节点的特征向量是通过聚集其相邻节点的特征来递归计算的。但是,大多数聚合方案都将图中的所有连接均等化,而忽略了节点特征的相似性。本文从内核权重的角度重新解释了节点聚合,并提出了一个框架来考虑特征相似性。我们表明归一化的邻接矩阵等效于Kerin空间中基于邻居的内核矩阵。然后,我们提出功能聚集作为基于原始邻居的内核和可学习的内核的组成,以在特征空间中编码特征相似性。我们进一步展示了如何将所提出的方法扩展到图注意力网络(GAT)。实验结果表明,在一些实际应用中,我们提出的框架具有更好的性能。

成为VIP会员查看完整内容
0
32

主题: Principal Neighbourhood Aggregation for Graph Nets

摘要: 图神经网络(GNN)已被证明是针对图结构数据的不同预测任务的有效模型。 关于它们表现力的最新工作集中在同构任务和可数特征空间上。 我们扩展了该理论框架,使其包含连续的功能(在现实世界的输入域中以及在GNN的隐藏层中定期发生),并说明了在这种情况下对多个聚合函数的需求。 将多个聚合器与度标度器结合在一起(可以对总和聚合器进行概括)。 最后,我们通过基准测试比较了不同模型捕获和利用图形结构的能力,该基准包含了经典图形理论中的多个任务,这证明了我们模型的能力。

成为VIP会员查看完整内容
0
22

机器学习的许多应用都需要一个模型来对测试样本做出准确的预测,这些测试样本在分布上与训练示例不同,而在训练期间,特定于任务的标签很少。应对这一挑战的有效方法是,在数据丰富的相关任务上对模型进行预训练,然后在下游任务上对其进行微调。尽管预训练在许多语言和视觉领域都是有效的,但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。本文提出了一种新的图神经网络训练策略和自监督方法。我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN,以便GNN能够同时学习有用的局部和全局表示。我们系统地研究了多类图分类数据集的预处理问题。我们发现,在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限,甚至可能导致许多下游任务的负迁移。相比之下,我们的策略避免了负迁移,显著提高了下游任务的泛化能力,使得ROC-AUC相对于未经训练的模型提高了9.4%,实现了分子特性预测和蛋白质功能预测的最好性能。

成为VIP会员查看完整内容
0
63

题目: Tensor Graph Convolutional Networks for Text Classification

摘要: 文本分类是自然语言处理中一个重要而经典的问题。已有许多研究将卷积神经网络(如规则网格上的卷积,序列)应用于分类。然而,只有有限数量的研究已经探索了更灵活的图卷积神经网络(卷积在非网格上,例如,任意图)的任务。在这项工作中,我们建议使用图卷积网络进行文本分类。基于词的共现关系和文档词之间的关系,我们为一个语料库建立一个文本图,然后学习一个文本图卷积网络(text GCN)。我们的文本GCN使用word和document的一个热表示进行初始化,然后在已知文档类标签的监督下,共同学习word和document的嵌入。我们在多个基准数据集上的实验结果表明,没有任何外部单词嵌入或知识的普通文本GCN优于最新的文本分类方法。另一方面,文本GCN还学习预测词和文档嵌入。此外,实验结果表明,随着训练数据百分比的降低,文本GCN相对于现有比较方法的改进变得更加突出,这表明文本GCN对文本分类中较少的训练数据具有鲁棒性。

成为VIP会员查看完整内容
0
62

题目: GNNExplainer: Generating Explanations for Graph Neural Networks

简介: 图神经网络(GNN)通过沿输入图的边缘递归传递神经消息,将节点特征信息与图结构结合在一起。但是同时包含图结构和特征信息会导致模型复杂,并且解释GNN所做的预测仍未解决。在这里,我们提出GNNExplainer,这是第一种通用的,与模型无关的方法,可为任何基于GNN的模型的预测提供可解释性。给定一个实例,GNNExplainer会确定紧凑的子图结构和节点特征的一小部分,这些特征对GNN的预测至关重要。此外,GNNExplainer可以为整个实例类生成一致而简洁的解释。我们将GNNExplainer公式化为优化任务,该优化任务可最大化GNN的预测与可能的子图结构的分布之间的相互信息。在合成图和真实世界图上进行的实验表明,我们的方法可以识别重要的图结构以及节点特征,并且比基准性能高出17.1%。 GNNExplainer提供了各种好处,从可视化语义相关结构的能力到可解释性,再到洞悉有缺陷的GNN的错误。

作者简介: 领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。研究重点是对大型社会和信息网络进行挖掘和建模,它们的演化,信息的传播以及对它们的影响。 调查的问题是由大规模数据,网络和在线媒体引起的。 Jure Leskovec主页

代码链接: https://github.com/RexYing/gnn-model-explainer

成为VIP会员查看完整内容
0
57

Text classification is an important and classical problem in natural language processing. There have been a number of studies that applied convolutional neural networks (convolution on regular grid, e.g., sequence) to classification. However, only a limited number of studies have explored the more flexible graph convolutional neural networks (convolution on non-grid, e.g., arbitrary graph) for the task. In this work, we propose to use graph convolutional networks for text classification. We build a single text graph for a corpus based on word co-occurrence and document word relations, then learn a Text Graph Convolutional Network (Text GCN) for the corpus. Our Text GCN is initialized with one-hot representation for word and document, it then jointly learns the embeddings for both words and documents, as supervised by the known class labels for documents. Our experimental results on multiple benchmark datasets demonstrate that a vanilla Text GCN without any external word embeddings or knowledge outperforms state-of-the-art methods for text classification. On the other hand, Text GCN also learns predictive word and document embeddings. In addition, experimental results show that the improvement of Text GCN over state-of-the-art comparison methods become more prominent as we lower the percentage of training data, suggesting the robustness of Text GCN to less training data in text classification.

0
22
下载
预览
小贴士
相关资讯
一文读懂图卷积GCN
计算机视觉life
12+阅读 · 2019年12月21日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
47+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
19+阅读 · 2019年8月13日
GraphSAGE:我寻思GCN也没我牛逼
极市平台
8+阅读 · 2019年8月12日
图神经网络火了?谈下它的普适性与局限性
机器之心
16+阅读 · 2019年7月29日
相关论文
Distillating Knowledge from Graph Convolutional Networks
Yiding Yang,Jiayan Qiu,Mingli Song,Dacheng Tao,Xinchao Wang
16+阅读 · 2020年3月23日
Mahsa Ghorbani,Mahdieh Soleymani Baghshah,Hamid R. Rabiee
4+阅读 · 2019年8月24日
Hoang NT,Takanori Maehara
5+阅读 · 2019年5月23日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
15+阅读 · 2019年3月28日
Fenyu Hu,Yanqiao Zhu,Shu Wu,Liang Wang,Tieniu Tan
13+阅读 · 2019年3月5日
Liang Yao,Chengsheng Mao,Yuan Luo
22+阅读 · 2018年11月13日
Diego Marcheggiani,Laura Perez-Beltrachini
6+阅读 · 2018年10月23日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Anand Louis,Partha Talukdar
10+阅读 · 2018年9月7日
Quantizing deep convolutional networks for efficient inference: A whitepaper
Raghuraman Krishnamoorthi
5+阅读 · 2018年6月21日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
4+阅读 · 2018年1月10日
Top