机器学习的许多应用都需要一个模型来对测试样本做出准确的预测,这些测试样本在分布上与训练示例不同,而在训练期间,特定于任务的标签很少。应对这一挑战的有效方法是,在数据丰富的相关任务上对模型进行预训练,然后在下游任务上对其进行微调。尽管预训练在许多语言和视觉领域都是有效的,但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。本文提出了一种新的图神经网络训练策略和自监督方法。我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN,以便GNN能够同时学习有用的局部和全局表示。我们系统地研究了多类图分类数据集的预处理问题。我们发现,在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限,甚至可能导致许多下游任务的负迁移。相比之下,我们的策略避免了负迁移,显著提高了下游任务的泛化能力,使得ROC-AUC相对于未经训练的模型提高了9.4%,实现了分子特性预测和蛋白质功能预测的最好性能。

成为VIP会员查看完整内容
72

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
104+阅读 · 2020年7月9日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
121+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
131+阅读 · 2020年5月26日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
57+阅读 · 2020年1月10日
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
45+阅读 · 2019年10月2日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
85+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
24+阅读 · 2019年8月13日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Arxiv
6+阅读 · 2019年3月19日
A Comprehensive Survey on Graph Neural Networks
Arxiv
10+阅读 · 2019年3月10日
Arxiv
6+阅读 · 2018年1月10日
VIP会员
微信扫码咨询专知VIP会员