In this paper we cast neural networks defined on graphs as message-passing neural networks (MPNNs) in order to study the distinguishing power of different classes of such models. We are interested in whether certain architectures are able to tell vertices apart based on the feature labels given as input with the graph. We consider two variants of MPNNS: anonymous MPNNs whose message functions depend only on the labels of vertices involved; and degree-aware MPNNs in which message functions can additionally use information regarding the degree of vertices. The former class covers a popular formalisms for computing functions on graphs: graph neural networks (GNN). The latter covers the so-called graph convolutional networks (GCNs), a recently introduced variant of GNNs by Kipf and Welling. We obtain lower and upper bounds on the distinguishing power of MPNNs in terms of the distinguishing power of the Weisfeiler-Lehman (WL) algorithm. Our results imply that (i) the distinguishing power of GCNs is bounded by the WL algorithm, but that they are one step ahead; (ii) the WL algorithm cannot be simulated by "plain vanilla" GCNs but the addition of a trade-off parameter between features of the vertex and those of its neighbours (as proposed by Kipf and Welling themselves) resolves this problem.


翻译:在本文中,我们将图表上定义为信息传递神经网络的神经网络(MPNNS)定义为图形上的神经网络(MPNNS),以便研究不同类型模型的区别力量。我们对某些建筑能否根据作为图中输入的特征标签(GCNs)来分辨脊椎。我们考虑了MPNNS的两个变式:匿名MPNNS,其信息功能仅取决于所涉vertics标签的匿名MPNNS;和有感知度的MPNNNS,其中信息功能可以进一步使用有关vertics程度的信息。前一类包括图表中计算功能的流行形式主义:图形神经网络(GNNNNN);我们对某些建筑结构是否能够根据作为图中输入输入的特性的特性来分辨脊椎网络(GCNs);我们考虑了MPNNNS的两个变异种,其信息功能仅取决于所涉vertics的标签;和有意识的MPNNNN(WL)算法(i)中的信息功能可以额外使用。我们的结果表明,(i)GCNs的区别力量受WCNs的固定形式约束,但是它们本身不能用WLex kevalex as ex exalgalations;它们本身的模拟GVALxalbisalxism dislations is a a step.

0
下载
关闭预览

相关内容

【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
重新思考图卷积网络:GNN只是一种滤波器
新智元
27+阅读 · 2019年6月3日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
已删除
Arxiv
31+阅读 · 2020年3月23日
Graph Analysis and Graph Pooling in the Spatial Domain
Arxiv
5+阅读 · 2019年6月5日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关资讯
重新思考图卷积网络:GNN只是一种滤波器
新智元
27+阅读 · 2019年6月3日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Top
微信扫码咨询专知VIP会员