In order to overcome the expressive limitations of graph neural networks (GNNs), we propose the first method that exploits vector flows over graphs to develop globally consistent directional and asymmetric aggregation functions. We show that our directional graph networks (DGNs) generalize convolutional neural networks (CNNs) when applied on a grid. Whereas recent theoretical works focus on understanding local neighbourhoods, local structures and local isomorphism with no global information flow, our novel theoretical framework allows directional convolutional kernels in any graph. First, by defining a vector field in the graph, we develop a method of applying directional derivatives and smoothing by projecting node-specific messages into the field. Then we propose the use of the Laplacian eigenvectors as such vector field, and we show that the method generalizes CNNs on an n-dimensional grid, and is provably more discriminative than standard GNNs regarding the Weisfeiler-Lehman 1-WL test. Finally, we bring the power of CNN data augmentation to graphs by providing a means of doing reflection, rotation and distortion on the underlying directional field. We evaluate our method on different standard benchmarks and see a relative error reduction of 8\% on the CIFAR10 graph dataset and 11% to 32% on the molecular ZINC dataset. An important outcome of this work is that it enables to translate any physical or biological problems with intrinsic directional axes into a graph network formalism with an embedded directional field.


翻译:为了克服图形神经网络(GNNs)的显性局限性,我们提出了第一种方法,利用向量在图表上流动,以开发全球一致的方向和不对称的聚合功能。我们展示了我们的方向图形网络(DGNs)在应用到网络时,一般地将神经神经网络(CNNs)聚合起来。虽然最近的理论工作侧重于了解当地邻里、地方结构和地方异形,而没有全球信息流动,但我们的新理论框架允许在任何图表中设置方向性共振核心。首先,通过在图表中定义一个矢量字段,我们开发了一种方法,将方向衍生物应用到图表中,并通过向实地投射内向特定的节点信息来平滑。然后,我们建议使用Laplacian 心源网络(DGNGs)作为矢量化器。我们展示了这种方法,将CNNNCS放在网络上,而没有全球信息流动,比标准的GNNNNGNS在 Weisfeiler-Lehman 1-WL 测试中更具有歧视性。最后,我们把CNN数据扩增到图表的能量到图表中,我们通过向图表中的方式,我们用一种手段来提供一种反省位反省方向的方法,将32的物理方向和扭曲了方向, 和扭曲了方向定位。

27
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
15+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
3+阅读 · 2018年2月11日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
15+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
3+阅读 · 2018年2月11日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员