如何使用 Transformer 模型在图表示任务中胜过 GNN

Do Transformer Really Perform Bad for Graph Representation?

论文摘要:Transformer 模型具有强大的表达能力,并且已经在机器学习的诸多应用领域成为最主要的选择,如自然语言处理与计算机视觉等。然而,其在图表示学习中仍未获得相较 GNN 及其变种更有竞争力的性能,尽管 GNN 的表示能力远弱于 Transformer 模型。因此, Transformer 模型是否适合图学习任务仍然是一个开放问题。本文通过提出 Graphormer 模型对此问题给予肯定回答。Graphormer 模型建立在标准的 Transformer 模型之上,并且在广泛的图表示学习任务上取得了非常优异的结果,如其在 KDD Cup 2021 – 大规模图学习挑战赛中夺冠,并在多个流行的图学习公开排行榜上位列第一。Graphormer 模型兼具强大的表达能力和高效地捕捉图结构信息的能力,可以证明主流的 GNN 及其变种均为Graphormer 模型的特例。Graphormer 模型的提出证明了 Transformer 模型将有潜力成为图学习任务上即 GNN 后又一主要模型结构。

成为VIP会员查看完整内容
29

相关内容

专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
48+阅读 · 2021年6月2日
专知会员服务
92+阅读 · 2021年5月25日
专知会员服务
27+阅读 · 2021年5月2日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
14+阅读 · 2020年10月27日
专知会员服务
45+阅读 · 2020年10月22日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
HAN:基于双层注意力机制的异质图深度神经网络
PaperWeekly
36+阅读 · 2019年4月23日
BERT-预训练的强大
微信AI
60+阅读 · 2019年3月7日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
Arxiv
7+阅读 · 2021年7月5日
Arxiv
15+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
VIP会员
相关VIP内容
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
48+阅读 · 2021年6月2日
专知会员服务
92+阅读 · 2021年5月25日
专知会员服务
27+阅读 · 2021年5月2日
【NeurIPS 2020】视觉和语言表示学习的大规模对抗性训练
专知会员服务
14+阅读 · 2020年10月27日
专知会员服务
45+阅读 · 2020年10月22日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
相关资讯
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
HAN:基于双层注意力机制的异质图深度神经网络
PaperWeekly
36+阅读 · 2019年4月23日
BERT-预训练的强大
微信AI
60+阅读 · 2019年3月7日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
微信扫码咨询专知VIP会员