图神经网络(GNN)在图表示学习领域显示出了巨大的潜力。标准gnn定义了一种本地消息传递机制,通过堆叠多个层在整个图域传播信息。这种范式有两个主要限制,过度压缩和较差的长程依赖性,可以使用全局注意力来解决,但会显著增加二次复杂度的计算成本。本文提出一种替代方法,通过利用计算机视觉中引入的ViT/MLP-Mixer架构来克服这些结构限制。本文提出一类新的GNN,称为Graph MLP-Mixer,具有三个关键属性。首先,它们捕获了长程依赖关系,如长程LRGB数据集上所示,并缓解了treenneighbors数据集上的过度压缩问题。其次,它们提供了内存和速度效率,超过了相关技术。第三,它们在图同构方面表现出了较高的表达能力,可以区分至少3-WL的同构图。因此,这种新架构为分子数据集提供了比标准消息传递GNN更好的结果。

成为VIP会员查看完整内容
13

相关内容

图机器学习(Machine Learning on Graphs)是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图结构的方法,以便机器学习模型能够轻松地利用它。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
Graph Transformer近期进展
专知会员服务
60+阅读 · 2023年1月5日
【NeurIPS 2022】带有自适应节点采样的层次图Transformer
专知会员服务
28+阅读 · 2022年10月11日
专知会员服务
19+阅读 · 2021年9月12日
【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
【ICML2020】图神经网络基准,53页ppt,NUS-Xavier Bresson
专知会员服务
56+阅读 · 2020年7月18日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年3月17日
Arxiv
0+阅读 · 2023年3月15日
Arxiv
0+阅读 · 2023年3月15日
Arxiv
28+阅读 · 2021年9月18日
Arxiv
13+阅读 · 2021年7月20日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
已删除
Arxiv
31+阅读 · 2020年3月23日
Position-aware Graph Neural Networks
Arxiv
15+阅读 · 2019年6月11日
VIP会员
相关VIP内容
Graph Transformer近期进展
专知会员服务
60+阅读 · 2023年1月5日
【NeurIPS 2022】带有自适应节点采样的层次图Transformer
专知会员服务
28+阅读 · 2022年10月11日
专知会员服务
19+阅读 · 2021年9月12日
【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
【ICML2020】图神经网络基准,53页ppt,NUS-Xavier Bresson
专知会员服务
56+阅读 · 2020年7月18日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2023年3月17日
Arxiv
0+阅读 · 2023年3月15日
Arxiv
0+阅读 · 2023年3月15日
Arxiv
28+阅读 · 2021年9月18日
Arxiv
13+阅读 · 2021年7月20日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
已删除
Arxiv
31+阅读 · 2020年3月23日
Position-aware Graph Neural Networks
Arxiv
15+阅读 · 2019年6月11日
微信扫码咨询专知VIP会员