【KDD2021】面向稀疏图的接收感知在线蒸馏

图神经网络在许多基于图的任务中得到了广泛的应用，如节点分类、链路预测和节点聚类。GNNs的性能优势主要来自于对图的边缘执行特征传播和平滑，因此需要足够的连接性和标签信息来进行有效传播。不幸的是，许多现实世界的网络在边缘和标签方面都是稀疏的，这导致了GNN的次优性能。最近对这个稀疏问题的兴趣集中在自训练方法上，它用伪标签扩展监督信号。然而，由于伪标签的质量和数量都不理想，自训练方法本身并不能充分发挥提炼稀疏图学习性能的潜力。在本文中，我们提出了ROD，一种新的接收感知的在线知识提取方法用于稀疏图学习。我们为ROD设计了三种监督信号:多尺度接收感知的图知识、基于任务的监督和丰富的提炼知识，允许知识以同行教学的方式在线迁移。为了提取隐藏在多尺度接收领域中的知识，ROD明确要求个体学生模型保持不同层次的位置信息。对于给定的任务，每个学生根据自己的接受量表知识进行预测，同时结合多尺度知识动态地建立一个强大的教师。我们的方法已经在9个数据集和各种基于图的任务上进行了广泛的评估，包括节点分类、链接预测和节点聚类。结果表明，ROD算法达到了最先进的性能，对图稀疏性具有更强的鲁棒性。

https://www.zhuanzhi.ai/paper/ff1be0c70de3f486fcb3bc2166e469e9