如何突破基于 WL 测试和消息传递机制的 GNN 的性能瓶颈?且看几何深度学习旗手、牛津大学教授 Michael Brostein 如是说。

图可以方便地抽象关系和交互的复杂系统。社交网络、高能物理、化学等研究领域都涉及相互作用的对象(无论是人、粒子还是原子)。在这些场景下,图结构数据的重要性日渐凸显,相关方法取得了一系列初步成功,而一系列工业应用使得图深度学习成为机器学习方向的热门研究话题之一。

图注:通过图对复杂系统的关系、交互进行抽象。例如,「分子图」中构成分子的原子至今的化学键,「社交网络」中用户之间的关系和交互,「推荐系统」中用户和商品之间的联系。

受物理启发的图上的持续学习模型可以克服传统 GNN 的局限性。多年来,消息传递一直是图深度学习领域的主流范式,使图神经网络(GNN)在粒子物理到蛋白质设计的广泛应用中取得了巨大成功。

从理论角度来看,它建立了与 Weisfeiler-Lehman(WL)层次结构的联系,我们可以以此分析 GNN 的表达能力。但是在 Michael Brostein 看来,当前图深度学习方案「以节点和边为中心」的思维方式带来了无法克服的局限性,阻碍了该领域未来的发展。

另一方面,在关于几何深度学习的最新综述中,Brostein 提出了受物理启发的持续学习模型,从微分几何、代数拓扑和微分方程等领域出发开启了一系列新工具的研究。到目前为止,图机器学习领域中还鲜有此类研究。

成为VIP会员查看完整内容
43

相关内容

牛津大学是一所英国研究型大学,也是罗素大学集团、英国“G5超级精英大学”,欧洲顶尖大学科英布拉集团、欧洲研究型大学联盟的核心成员。牛津大学培养了众多社会名人,包括了27位英国首相、60位诺贝尔奖得主以及数十位世界各国的皇室成员和政治领袖。2016年9月,泰晤士高等教育发布了2016-2017年度世界大学排名,其中牛津大学排名第一。

图神经网络综述
专知会员服务
193+阅读 · 2022年1月9日
几何深度学习分子表示综述
专知会员服务
39+阅读 · 2021年9月7日
重磅!几何深度学习 新书,160页pdf阐述
专知会员服务
257+阅读 · 2021年4月29日
最新【图神经网络计算】2020综述论文,23页PDF
专知会员服务
192+阅读 · 2020年10月3日
2022最新!3篇GNN领域综述!
图与推荐
11+阅读 · 2022年2月18日
2022年最新3篇GNN领域综述!
机器学习与推荐算法
3+阅读 · 2022年2月18日
2022年最新《图神经网络综述》
机器学习与推荐算法
8+阅读 · 2022年1月11日
「图神经网络东」最新2022综述
专知
9+阅读 · 2022年1月9日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
13+阅读 · 2021年6月14日
已删除
Arxiv
31+阅读 · 2020年3月23日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
26+阅读 · 2018年9月21日
VIP会员
相关资讯
2022最新!3篇GNN领域综述!
图与推荐
11+阅读 · 2022年2月18日
2022年最新3篇GNN领域综述!
机器学习与推荐算法
3+阅读 · 2022年2月18日
2022年最新《图神经网络综述》
机器学习与推荐算法
8+阅读 · 2022年1月11日
「图神经网络东」最新2022综述
专知
9+阅读 · 2022年1月9日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
相关基金
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
1+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
13+阅读 · 2021年6月14日
已删除
Arxiv
31+阅读 · 2020年3月23日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
26+阅读 · 2018年9月21日
微信扫码咨询专知VIP会员