AAAI 2022 | 面向图数据的对抗鲁棒性研究

无监督/自监督的图预训练模型近几年受到了众多关注，并且可以推广到各种不同的下游应用中。然而，图预训练模型的对抗鲁棒性仍未被探索。并且，大多现有研究只考虑了有监督学习下端到端图模型的鲁棒性，它们对标签信息的依赖在很大程度上限制了应用范围和可用性。例如，在没有标签的下游任务（如社交网络中的社区识别任务）中，这些模型往往表现不佳。此外，针对不同的下游任务训练多个图模型不但成本较高而且很不安全。相对而言，如图1所示，在无监督的图预训练框架中，我们只需要一个鲁棒的图编码器就能够有效防止对抗风险传播到下游任务中，并且图编码器学习得到的鲁棒图表征可以适用于不同的下游应用中，比如节点分类、链接预测和社区识别等。

图1：对抗攻击下的图预训练框架

研究无监督图预训练模型的鲁棒性时，存在许多有趣但具有挑战性的问题。在以往的研究中，模型的鲁棒性通常定义在标签空间上，即现有网络鲁棒性度量需要依据样本的预测结果或标签进行计算，并不适用于本文的无监督设置。而在无监督图表征模型中，如何在表征空间上定义鲁棒性度量要第一个挑战。

为了应对上述挑战，文章首先提出了一个基于信息论的图编码器鲁棒性衡量指标：图表征脆弱性（graph representation vulnerability, GRV）。其次，文章将鲁棒性学习问题形式化为一个优化问题，保证了图编码器的强表征能力和高鲁棒性。但是，如何有效地计算或逼近该优化问题的目标函数是要第二个挑战。该挑战的难点在于：一方面，优化问题的目标函数非常难解；另一方面，如何在联合输入空间（由网络结构和节点特征组成）中描述攻击能力并确定扰动边界也同样棘手。

为了解决以上问题，文章采用概率分布之间的 Wasserstein 距离来量化攻击能力，并提供了一个搜索攻击策略的高效近似方案。其次，文章采用投影梯度下降法（projected gradient descent, PGD）的变种来解决所提出的优化问题。 最终，本文在对抗环境中能够学得一个高质量的鲁棒图编码器。此外，文章进一步探索了GRV和下游任务分类器的鲁棒性之间的理论联系。为了验证所提出模型的有效性和实用性，本文将学习到的鲁棒图表征应用于三个不同的下游任务中，与最优基准方法相比，本文提出的鲁棒图表征模型在节点分类、链接预测和社区识别任务中分别提升了+1.8%、+1.8% 和 +45.8% 的性能。