ICML'21 | 五篇图神经网络论文精选

2021 年 10 月 15 日 图与推荐


国际机器学习大会( International Conference on Machine Learning, ICML)是由国际机器学习学会(IMLS)主办的年度机器学习国际顶级会议,位列CCF-A,2021年论文接收率为21.48%。今天为大家带来ICML 2021五篇关于图神经网络过平滑问题与深度图神经网络与的文章分享。

1研究背景

深度图神经网络的训练过程非常艰难,需要大量的计算开销和存储空间。此外,深度图神经网络不仅容易带来梯度消失和过度拟合问题,还存在过平滑问题:图神经网络的训练过程中,随着网络层数的增加和迭代次数的增加,每个节点的隐层表征会趋于收敛到同一向量并逐渐变得难以区分,从而导致性能急剧下降。(注:过平滑问题不仅存在于深度图神经网络,普通的浅层图神经网络也会存在这个问题)

2Oversmoothing (过平滑问题)

1GRAND: Graph Neural Diffusion

作者:Benjamin P. Chamberlain, James Rowbottom, Maria Gorinova, Stefan Webb, Emanuele Rossi and Michael M. Bronstein
单位:Twitter 等
论文链接:http://proceedings.mlr.press/v139/chamberlain21a.html

Highlight: We present Graph Neural Diffusion (GRAND) that approaches deep learning on graphs as a continuous diffusion process and treats Graph Neural Networks (GNNs) as discretisations of an underlying PDE.

2Directional Graph Networks

作者:Dominique Beaini, Saro Passaro, Vincent Letourneau, William L. Hamilton, Gabriele Corso and Pietro Lio
单位:InVivo AI & 英国剑桥大学等
论文链接:http://proceedings.mlr.press/v139/beani21a.html
代码链接:https://github.com/Saro00/DGN

Highlight: To overcome the limitation of oversmoothing, we propose the first globally consistent anisotropic kernels for GNNs, allowing for graph convolutions that are defined according to topologicaly-derived directional flows.

3Improving Breadth-Wise Backpropagation in Graph Neural Networks Helps Learning Long-Range Dependencies

作者:Denis Lukovnikov and Asja Fischer
单位:Ruhr University Bochum
论文链接:http://proceedings.mlr.press/v139/lukovnikov21a.html

Highlight: In this work, we focus on the ability of graph neural networks (GNNs) to learn long-range patterns in graphs with edge features.

3Depth(深度图神经网络)

4Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth

作者:Lukovnikov, Denis and Fischer and Asja
单位:MIT & 马里兰大学 & 哈佛
论文链接:http://proceedings.mlr.press/v139/xu21k.html

Highlight: We take the first step towards analyzing GNN training by studying the gradient dynamics of GNNs.

5Training Graph Neural Networks with 1000 Layers

作者:Li, Guohao and M{"u}ller, Matthias and Ghanem, Bernard and Koltun, Vladlen
单位:Intel Labs & King Abdullah University等
论文链接:http://proceedings.mlr.press/v139/li21o.html

Highlight: In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs.


登录查看更多
1

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
51+阅读 · 2021年5月30日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
专知会员服务
37+阅读 · 2020年11月24日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
ICLR2022图神经网络论文集锦
机器学习与推荐算法
12+阅读 · 2022年2月10日
ICML'21 | 7篇GNN的可解释性与扩展性
图与推荐
0+阅读 · 2021年10月25日
ICML'21 | 六篇图神经网络论文精选(模型鲁棒性)
图与推荐
0+阅读 · 2021年10月18日
ICML 2021 | 微软亚洲研究院精选论文一览
微软研究院AI头条
0+阅读 · 2021年7月23日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
精选论文 | 图神经网络时间节点【附打包下载】
人工智能前沿讲习班
17+阅读 · 2019年5月6日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
Arxiv
1+阅读 · 2022年4月17日
Arxiv
0+阅读 · 2022年4月15日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
专知会员服务
51+阅读 · 2021年5月30日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
专知会员服务
37+阅读 · 2020年11月24日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
相关资讯
ICLR2022图神经网络论文集锦
机器学习与推荐算法
12+阅读 · 2022年2月10日
ICML'21 | 7篇GNN的可解释性与扩展性
图与推荐
0+阅读 · 2021年10月25日
ICML'21 | 六篇图神经网络论文精选(模型鲁棒性)
图与推荐
0+阅读 · 2021年10月18日
ICML 2021 | 微软亚洲研究院精选论文一览
微软研究院AI头条
0+阅读 · 2021年7月23日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
精选论文 | 图神经网络时间节点【附打包下载】
人工智能前沿讲习班
17+阅读 · 2019年5月6日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
相关论文
Arxiv
1+阅读 · 2022年4月17日
Arxiv
0+阅读 · 2022年4月15日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
Top
微信扫码咨询专知VIP会员