【斯坦福大学-ICLR2020】图神经网络预训练的策略

机器学习的许多应用都需要一个模型来对测试样本做出准确的预测，这些测试样本在分布上与训练示例不同，而在训练期间，特定于任务的标签很少。 应对这一挑战的有效方法是，在数据丰富的相关任务上对模型进行预训练，然后在下游任务上对其进行微调。 尽管预训练在许多语言和视觉领域都是有效的，但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。 本文提出了一种新的图神经网络训练策略和自监督方法。 我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN，以便GNN能够同时学习有用的局部和全局表示。 我们系统地研究了多类图分类数据集的预处理问题。 我们发现，在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限，甚至可能导致许多下游任务的负迁移。 相比之下，我们的策略避免了负迁移，显著提高了下游任务的泛化能力，使得ROC-AUC相对于未经训练的模型提高了9.4%，实现了分子特性预测和蛋白质功能预测的最好性能。

地址：

https://openreview.net/pdf?id=HJlWWJSFDH

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SPGNN” 就可以获取《图神经网络预训练的策略》论文专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源