自监督学习(Self-supervised learning, SSL)是近年来的研究热点。特别是,生成式SSL已经在自然语言处理和其他领域取得了成功,例如BERT和GPT的广泛采用。尽管如此,对比学习(严重依赖结构化数据增强和复杂的训练策略)一直是图SSL的主要方法,而在图上生成SSL的进展,特别是图自编码器(GAEs),迄今尚未达到其他领域所承诺的潜力。在本文中,我们识别并研究了对GAEs发展产生负面影响的问题,包括它们的重建目标、训练鲁棒性和误差度量。我们提出了一个掩码图自编码器GraphMAE,它缓解了生成式自监督图学习的这些问题。而不是重建结构,我们建议集中在特征重建与掩蔽策略和缩放余弦误差,有利于GraphMAE的鲁棒训练。我们在21个公共数据集上进行了广泛的实验,用于三种不同的图学习任务。结果表明,GraphMAE—一个经过我们精心设计的简单图自编码器—能够始终如一地生成优于对比基线和生成基线的性能。本研究提供了对图自动编码器的理解,并展示了在图上生成式自监督学习的潜力。

成为VIP会员查看完整内容
21

相关内容

KDD 2022 | GraphMAE:自监督掩码图自编码器
专知会员服务
15+阅读 · 7月14日
专知会员服务
12+阅读 · 2021年8月10日
专知会员服务
47+阅读 · 2021年7月25日
专知会员服务
37+阅读 · 2021年6月13日
专知会员服务
34+阅读 · 2021年5月28日
专知会员服务
37+阅读 · 2021年5月24日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
40+阅读 · 2021年2月7日
【AACL2020】自监督学习的自然语言处理
专知会员服务
48+阅读 · 2020年12月12日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
63+阅读 · 2020年10月20日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
24+阅读 · 2020年7月23日
图神经网络+对比学习,下一步去哪?
图与推荐
0+阅读 · 2021年10月29日
【KDD2021】基于生成对抗图网络的不平衡网络嵌入
将对比学习扩展到监督式场景
TensorFlow
0+阅读 · 2021年7月20日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
12+阅读 · 2021年6月29日
Arxiv
21+阅读 · 2021年3月20日
Arxiv
11+阅读 · 2020年4月12日
Arxiv
19+阅读 · 2017年12月6日
VIP会员
相关VIP内容
KDD 2022 | GraphMAE:自监督掩码图自编码器
专知会员服务
15+阅读 · 7月14日
专知会员服务
12+阅读 · 2021年8月10日
专知会员服务
47+阅读 · 2021年7月25日
专知会员服务
37+阅读 · 2021年6月13日
专知会员服务
34+阅读 · 2021年5月28日
专知会员服务
37+阅读 · 2021年5月24日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
40+阅读 · 2021年2月7日
【AACL2020】自监督学习的自然语言处理
专知会员服务
48+阅读 · 2020年12月12日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
63+阅读 · 2020年10月20日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
24+阅读 · 2020年7月23日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员