GNN如何建模因果性？ 港科大(广州)等最新《可信赖图神经网络: 因果视角》综述

GNN有因果性么？看这篇综述论文

图神经网络（GNNs）已经成为捕捉复杂依赖关系的强大表示学习工具，在多样化的图结构数据中表现出色。尽管在广泛的图挖掘任务中取得了成功，但GNNs也引起了关于其可信度的严重担忧，包括对分布变化的敏感性、对特定人群的偏见，以及缺乏可解释性。最近，将因果学习技术融入GNNs激发了许多开创性的研究，因为大多数可信度问题可以通过捕捉数据的底层因果性而非表面相关性来缓解。在这篇综述中，我们提供了对受因果性启发的GNNs最新研究努力的全面回顾。具体来说，我们首先通过因果性的视角介绍现有GNN模型的关键可信风险。此外，我们基于它们所配备的因果学习能力类型，即因果推理和因果表示学习，介绍了受因果性启发的GNNs（CIGNNs）的分类。除此之外，我们系统地讨论了每个类别中的典型方法，并展示了它们如何减轻可信风险。最后，我们总结了有用的资源，并讨论了几个未来的方向，希望能为这一新兴领域的新研究机会提供启示。代表性论文以及开源数据和代码可在https://github.com/usail-hkust/Causality-Inspired-GNNs找到。

https://www.zhuanzhi.ai/paper/84550e00217c258468ff15471ec37066

图结构数据在现实世界的领域中普遍存在，包括社交网络、交通网络和分子网络。传统的深度学习模型在处理欧几里得数据方面设计得很好，但在建模非表格形式的图数据时往往显得不足。因此，多年来提出了许多图神经网络（GNNs）[1]，在各种图挖掘应用中取得了最先进的性能。简而言之，GNNs将输入图映射为一组节点表示，这些表示基于邻近节点的信息进行迭代更新。这些更新依赖于直接在图本身或下游任务下的监督下训练的函数。通过捕获局部特征和全局图结构信息，GNNs在低维表示中保留了丰富的知识，极大地促进了一系列下游应用，例如生物信息学[2]、推荐系统[3]、知识表示[4]、[5]、人才分析[6]、城市计算[7]、[8]、[9]等。随着GNNs的不断发展，围绕它们的可信度问题也日益凸显[10]，特别是在超出分布（OOD）的泛化性、公平性和可解释性方面。这篇综述聚焦于这三个关键方面，突出了建立可信GNNs的重要性。首先，许多GNNs由于对训练和测试图之间的分布变化敏感，表现出较差的OOD泛化能力。特别是，图上的分布变化可以发生在属性级别（例如，节点特征）和拓扑级别（例如，节点度数），为OOD泛化带来额外的挑战[11]。其次，GNNs容易生成不公平的表示，导致对某些样本群体的结果存在偏见[12]。例如，基于GNN的求职推荐系统可能会不成比例地减少对某些种族群体个体的工作推荐[13]。第三，GNNs中信息传播的黑箱性质引发了对它们可靠性的担忧，并阻碍了开发者诊断和解决模型性能的不足[14]。例如，银行可能使用GNN模型根据申请人的交易历史预测贷款违约风险，但该模型的可解释性不佳给向高风险个人拒绝贷款的合理化带来困难。此类问题削弱了GNNs的可信度，在应用GNNs于高风险应用，如欺诈检测[15]和刑事司法[16]时尤其令人担忧。解决上述挑战对于拓宽GNNs的应用范围至关重要。

因果学习是一个成熟的领域，专注于从观测数据中恢复潜在的因果机制[17]、[18]、[19]。最近，因果学习被认为是创造可信人工智能的有用工具[20]。因此，研究人员正在探讨如何将因果学习纳入可信图神经网络（TGNNs）的发展中，以进一步利用其优势。总体来说，因果学习可以从三个方面提高GNNs的可信度。在超出分布（OOD）泛化性方面，因果学习可以帮助GNNs提取与任务标签相关的因果特征，以实现跨不同数据分布的泛化[21]、[22]、[23]。关于公平性，因果方法，如因果干预[17]，可以通过将GNNs暴露于事实和反事实图中，减轻节点敏感属性的偏见。通过考虑替代情景，因果学习可以帮助GNNs避免捕获敏感属性和节点标签之间的伪相关性，从而导致更公平的结果[16]、[24]。此外，将因果学习融入GNNs可以增强它们的可解释性，使它们能够基于因果机制而非表面相关性运作。这种方法可以帮助GNNs生成更易于解释的结果，并深入理解数据中的因果关系[23]、[25]。

尽管具有潜在的前景，但开发受因果性启发的GNNs（CIGNNs）面临三个主要挑战。首先，图结构数据的高维非欧几里得性质使得图组件（如节点、边或子图）之间的因果关系极其复杂。从图数据中指定感兴趣的因果变量，根据某些领域知识阐明这些变量之间的因果关系，并选择适当的因果学习方法来获取因果知识以提高下游应用中的可信度，这是具有挑战性的[21]、[24]、[26]。其次，将因果知识纳入GNNs带来了重新设计GNN架构和优化算法以适应因果关系的挑战[16]、[23]、[27]。第三，评估CIGNNs是具有挑战性的，因为数据因果性可能在应用中有所不同或无法获得，这需要定制的评估基准和度量标准[24]、[28]、[29]。新兴的CIGNN工作已在解决上述挑战方面取得了重要进展。然而，它们主要是从不同的技术角度提高GNNs的可信度。需要进行全面审查以提炼现有努力在开发和评估CIGNNs方面的基本原则，并释放它们的全部潜力。为此，我们提供了一个关于CIGNNs最新进展的全面综述，并在统一的分类框架内提供洞见，展示它们的共性、优势和对图挖掘领域的潜在影响。据我们所知，这是第一次系统性地回顾现有的CIGNNs，本综述的主要贡献如下。

我们通过因果性的视角分析了不同可信度风险背后的理由，强调了GNNs深入理解图中潜在因果机制的重要性。从因果视角出发，我们提供了开发更健壮和可解释图挖掘解决方案的宝贵洞见。 为了更好地理解各种CIGNNs的共性和特点，我们提出了一个新的分类法，基于它们能够处理的因果学习任务的类型，包括因果推理和因果表示学习。在每个类别中，我们深入探讨了代表性方法及其对提高可信度的特定贡献，提供了这一新兴领域最先进情况的全面概述。 我们系统地编制了开源基准、数据合成策略、常用评估指标以及可用的开源代码概览。此编译旨在使探索因果性启发的想法在开发TGNNs中变得更加容易，并鼓励它们在各种下游应用中的实际实现。

• 我们讨论了几个未来的方向，以激励这一有前景领域的发展。

因果性启发的图神经网络

与现有综述的联系。几篇综述讨论了GNN可信度的不同视角，包括超出分布泛化性[11]、鲁棒性[10]、公平性[10]、[12]、可解释性[10]、[14]、[29]和隐私[10]。然而，它们主要关注特定的可信度方面，并简要介绍了几种代表性的基于因果的方法，未能全面检视TGNNs的优势和共性，特别是从因果中心的角度。一些综述关注因果性与图数据的结合。具体来说，Ma等[30]回顾了图结构数据上因果推理的现有工作，但仅限于一种特定类型的因果学习任务。Job等[31]回顾了研究不同因果学习任务的新兴GNNs方法。但它们均未系统地讨论因果学习如何有益于图学习方法的发展。此外，Guo等[32]总结了关于图反事实学习的最新工作。然而，它主要集中在赋予GNNs因果推理能力的研究上。相比之下，我们全面回顾了现有的CIGNNs，强调了它们从各种可信度角度的优势。此外，我们根据它们所配备的因果学习能力对这些工作进行分类，并系统地讨论了采用的关键方法。 预期受众。本综述针对两个主要群体：(i) 寻求洞见以增强GNNs因果学习能力进行未来研究的研究者；(ii) 旨在实现CIGNNs以在现实世界应用场景中提高可信度的实践者。 综述结构。本综述的其余部分组织如下。第2节介绍了GNN和因果学习的基础知识。在第3节中，我们从因果角度分析了GNNs的可信度风险。基于这些分析，第4节介绍了六组技术，以深入理解潜在的因果机制并实现可信度。

我们还从现有的CIGNNs中发现了一个共性，即它们可信度的提高可归因于为GNNs配备特定的因果学习能力。受此事实启发，我们根据以下两组因果学习能力对现有工作进行分类：(i) 因果推理，以及 (ii) 因果表示学习。属于第一类的工作估计不同图组件以及其他感兴趣的结果（如标签和模型预测）之间的因果效应，并利用这种因果知识来增强GNNs的可信度。另一方面，第二类工作探索了GNNs直接从原始图数据学习因果表示的潜力，并将因果表示学习（CRL）过程无缝整合到GNN系统的标准问题解决流程中。由于将因果发现纳入GNNs的工作有限，因此在第8节作为未来方向的一部分讨论了这一观点。在每个类别内，我们进一步介绍了为GNNs配备相应因果学习能力的主流技术，并解释了这些技术如何有助于缓解不同的可信风险。值得注意的是，不同类别中提出的技术可能被结合起来，使GNNs能够同时处理多个因果学习任务，正如最近研究[25]、[27]所示。因此，我们选择根据它们主要针对的因果学习任务来分类这些工作，以避免混淆。

结论

在本文中，我们提供了对现有CIGNNs作品的全面综述，重点是它们如何通过不同的因果学习能力提升GNNs的可信度。我们首先从因果性的角度分析了GNNs的可信度风险。然后，我们根据它们配备的因果学习能力对现有CIGNNs进行分类，并介绍了每个类别中的代表性因果技术。最后，我们列出了有用的资源，以促进对CIGNNs的进一步探索。接下来，我们讨论了几个未来研究方向，以促进将因果学习纳入GNNs以增强其可信度。

将CIGNNs扩展到大规模图。大规模图在现实世界应用中很普遍，例如生物化学[143]、[144]和推荐系统[145]。主流GNNs因为在消息传递方案中进行昂贵的邻域扩展而难以扩展到大图[146]。虽然已经提出了许多可扩展的GNNs[147]，但关于CIGNNs的可扩展性仍存在显著的研究差距。需要进一步探索以提高CIGNNs的可扩展性。

因果性启发的图基础模型。大型语言模型（LLMs）的成功激发了对开发图基础模型的广泛探索，这些模型在多样化的图数据上进行预训练，然后可以适应于广泛的下游图任务[149]、[150]。将因果性纳入可信大型图模型的开发是一个有前景的方向[151]、[152]。但是，模型大小的增加使人对现有因果性启发方法的有效性产生怀疑，这些方法主要评估在较小规模的GNNs上。例如，提出的图不变学习方法可能由于大型模型固有的过拟合问题而未能减少伪相关[153]、[154]。鉴于大型图模型在改变图学习范式方面的巨大潜力，评估现有工作并探索新的基于因果的方法以增强大型图模型的可信度至关重要。

图上的因果发现。虽然将因果推理和因果表示学习能力赋予GNNs在增强可信度方面是有效的，但这带有固有的局限性。增强可信度所需的因果推理任务通常需要领域知识来抽象[69]。然而，许多图应用中可能缺乏这种知识。尽管图上的因果表示学习可以从原始输入空间恢复潜在的因果结构，但这些方法的有效性在很大程度上依赖于对底层图生成机制的额外假设[155]、[156]。因果发现旨在以数据驱动的方式识别变量之间的因果关系[18]、[46]。这不仅补充了因果推理中领域知识的缺乏，而且使得检验数据因果性的假设成为可能。此外，所发现的因果知识可以进一步注入到GNN模型中，以促进学习语义上有意义且可识别的图表示[63]、[157]。因此，为GNNs赋予因果发现能力对于开发在各种应用场景中表现良好的TGNNs是有前景的。

超越图反事实公平性。GCF概念基于敏感属性对输出节点表示的总体因果效应[17]来衡量GNNs的公平性。然而，在敏感属性沿某些因果路径因果影响结果的场景中，GCF并不适用[158]。基于干预的公平概念[159]、[160]已被提出，以明确捕获导致现实应用中歧视的最主要因果机制，例如直接或间接因果路径。基于路径的反事实公平概念[158]考虑了模型决策沿不公平路径的反事实公平性。然而，它们均未被适应以提高图公平性，这需要开发超越GCF的基于因果的图公平性概念。

因果性启发的隐私保护。隐私保护是可信度的另一个关键方面，对GNNs提出了额外的约束[161]、[162]。Vo等人[163]最近通过研究生成隐私保护的反事实解释探讨了隐私和因果性启发AI的交集。然而，文献中存在一个空白，即没有工作从隐私保护的角度检验CIGNN系统。调查现有CIGNNs与隐私保护技术的兼容性，以建立适用于隐私关键场景的可信GNN系统是值得的。