图神经网络在图表示学习领域取得了显著的成功。图卷积执行邻域聚合,并表示最重要的图运算之一。然而,这些邻域聚合方法的一层只考虑近邻,当进一步启用更大的接受域时,性能会下降。最近的一些研究将这种性能下降归因于过度平滑问题,即重复传播使得不同类的节点表示无法区分。在这项工作中,我们系统地研究这一观察结果,并对更深的图神经网络发展新的见解。本文首先对这一问题进行了系统的分析,认为当前图卷积运算中表示变换与传播的纠缠是影响算法性能的关键因素。将这两种操作解耦后,更深层次的图神经网络可用于从更大的接受域学习图节点表示。在建立深度模型时,我们进一步对上述观察结果进行了理论分析,这可以作为过度平滑问题的严格而温和的描述。在理论和实证分析的基础上,我们提出了深度自适应图神经网络(DAGNN),以自适应地吸收来自大接受域的信息。一组关于引文、合著和共购数据集的实验证实了我们的分析和见解,并展示了我们提出的方法的优越性。

https://arxiv.org/abs/2007.09296

成为VIP会员查看完整内容
89

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
59+阅读 · 2020年5月25日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
64+阅读 · 2020年2月27日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
当深度强化学习遇见图神经网络
专知
224+阅读 · 2019年10月21日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
重新思考图卷积网络:GNN只是一种滤波器
新智元
28+阅读 · 2019年6月3日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Position-aware Graph Neural Networks
Arxiv
15+阅读 · 2019年6月11日
Arxiv
10+阅读 · 2019年2月19日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
图神经网络三剑客:GCN、GAT与GraphSAGE
PaperWeekly
64+阅读 · 2020年2月27日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
当深度强化学习遇见图神经网络
专知
224+阅读 · 2019年10月21日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
重新思考图卷积网络:GNN只是一种滤波器
新智元
28+阅读 · 2019年6月3日
相关论文
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Position-aware Graph Neural Networks
Arxiv
15+阅读 · 2019年6月11日
Arxiv
10+阅读 · 2019年2月19日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
7+阅读 · 2018年1月10日
微信扫码咨询专知VIP会员