【KDD2020-清华大学】图对比编码的图神经网络预训练

图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而，现有的图表示学习技术侧重于特定领域的问题，并为每个图训练专用的模型，这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发，我们设计了图对比编码(GCC)——一种无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络中或跨网络的子图级实例识别，并利用对比学习来授权模型学习内在的和可转移的结构表示。我们对三个图学习任务和十个图数据集进行了广泛的实验。结果表明，在一组不同的数据集上进行预训练的GCC可以取得与任务相关的从零开始训练的GCC具有竞争力或更好的性能。这表明，预训练和微调范式为图表示学习提供了巨大的潜力。

https://arxiv.org/abs/2006.09963