图神经网络(GNNs)在各种图分析任务中得到了广泛的关注,设计良好的消息传播机制是GNNs中最基本的组成部分,并且被证明是十分有效的。虽然传播机制多种多样,但基本上都是以沿网络拓扑传播聚合节点特征的方式来利用拓扑与特征这两种信息的。鉴于此,一个问题自然会被提出:尽管不同图神经网络有不同的传播策略,是否存在统一的数学准则,能够从本质上指导着不同的传播机制?如果有的话,是什么?对这个问题较为完善的回答,可以帮助我们从宏观的角度考察不同图神经网络之间的关系与差异。这样的数学准则一旦被发现,就能够帮助我们发现现有图神经网络的不足之处,进而激发更多新的图神经网络被设计出来。

本文中,我们首先分析了几个具有代表性的图神经网络(例如GCN,SGC,PPNP)的传播过程,并抽象出他们的共性。我们发现它们均可以归结到一个统一的优化目标框架下,该优化目标由一个带有灵活图卷积核的特征拟合约束项和一个图拉普拉斯正则项组成。特征拟合约束项旨在建立节点表示与原始节点特征之间的关系,而图拉普拉斯正则项则起到拓扑平滑特征的作用。而对应图神经网络传播后的节点表示则可以隐式地看做这个统一优化目标的最优解。

同时,基于该统一优化目标框架也较容易发现现有图神经网络传播策略的不足之处,为设计新的图神经网络也提供了机会。通常来说,设计新的图神经网络往往侧重于设计特定的谱图滤波器或者空域聚合策略,而该统一框架为实现这一目标提供了另一种新的途径,即通过设计传播过程对应的优化目标函数来得到新的GNNs。这样,我们就能够清楚地知道传播过程背后的优化目标,使新设计的图神经网络更具有可解释性和可靠性。

本文的主要贡献总结如下:

提出了一个包含特征拟合项与图正则化项的统一优化目标框架,并从理论上证明了该框架能够解释多个图神经网络的传播策略,为理解图神经网络提供了一个较宏观的视角,也为设计新的图神经网络带来新思路。 基于该统一优化框架,我们设计了两种具有灵活图卷积核拟合项的图神经网络传播目标,并给出相应的网络模型。同时对他们的收敛性,表达能力等进行了理论分析。 我们在六个数据集上验证了提出两种图神经网络模型的效果,实验也表明他们具有较好的缓解过平滑的能力。这进一步验证了基于该统一框架设计新图神经网络的可行性。

成为VIP会员查看完整内容
29

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
[WWW2021]图结构估计神经网络
专知会员服务
42+阅读 · 2021年3月29日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
44+阅读 · 2021年2月1日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【WWW2021】挖掘双重情感的假新闻检测
专知会员服务
36+阅读 · 2021年1月18日
专知会员服务
19+阅读 · 2020年12月9日
专知会员服务
37+阅读 · 2020年11月24日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
【KDD2020】图神经网络生成式预训练
专知
21+阅读 · 2020年7月3日
基于图神经网络的聚类研究与应用
THU数据派
10+阅读 · 2020年5月29日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
通俗理解粒子群优化算法
机器学习研究会
9+阅读 · 2017年12月1日
Interest-aware Message-Passing GCN for Recommendation
Arxiv
11+阅读 · 2021年2月19日
Arxiv
15+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
10+阅读 · 2019年2月19日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
VIP会员
相关VIP内容
[WWW2021]图结构估计神经网络
专知会员服务
42+阅读 · 2021年3月29日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
44+阅读 · 2021年2月1日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【WWW2021】挖掘双重情感的假新闻检测
专知会员服务
36+阅读 · 2021年1月18日
专知会员服务
19+阅读 · 2020年12月9日
专知会员服务
37+阅读 · 2020年11月24日
【NeurIPS2020】图网的主邻域聚合
专知会员服务
32+阅读 · 2020年9月27日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
119+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
相关资讯
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
【KDD2020】图神经网络生成式预训练
专知
21+阅读 · 2020年7月3日
基于图神经网络的聚类研究与应用
THU数据派
10+阅读 · 2020年5月29日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
通俗理解粒子群优化算法
机器学习研究会
9+阅读 · 2017年12月1日
相关论文
Interest-aware Message-Passing GCN for Recommendation
Arxiv
11+阅读 · 2021年2月19日
Arxiv
15+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Arxiv
10+阅读 · 2019年2月19日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
微信扫码咨询专知VIP会员