图神经网络与常微分方程及其应用：结合微分方程与图神经网络的全面综述

图神经网络（GNNs）和常微分方程（DEs）是近年来迅速发展的两个研究领域，它们在许多方面展现了显著的协同作用。GNNs 已成为在图结构数据上进行学习的强大工具，而常微分方程提供了一个有原则的框架，用于建模跨时间和空间的连续动态。这两个领域的交集催生了创新的方法，利用了它们各自的优势，使得在物理启发式学习、时空建模和科学计算等领域的应用成为可能。本综述旨在提供对 GNNs 和 DEs 交叉领域蓬勃发展的研究的全面概述。我们将对现有方法进行分类，讨论其基本原理，并突出它们在分子建模、交通预测和流行病传播等领域的应用。此外，我们还识别了开放的挑战，并概述了推动这一跨学科领域发展的未来研究方向。完整的论文列表可以通过访问 https://github.com/EmoryMelody/Awesome-Graph-NDEs 查看。本综述为研究人员和实践者提供了一个资源，帮助他们理解并参与 GNNs 与 DEs 融合的研究。

1 引言

理解和预测自然和工程系统中的复杂行为是科学和工业领域中的一个基础性挑战。许多现实世界的现象表现出随时间动态演化的特征，由变量之间复杂的相互依赖关系所主导。例如，包括由大气和海洋相互作用塑造的气候模式[1]，受出生率和迁移率影响的人口动态[2]，由投资者行为和经济指标驱动的金融市场[3]，由生物因素驱动的疾病进程[4, 5]，以及由传播动态和干预策略决定的传染病传播[6, 7]。捕捉这些时间变化和潜在机制需要数学模型，这些模型不仅能够描述系统行为，还能提供预测性见解。为了有效地建模动态系统，常微分方程（DEs），如常微分方程（ODEs）[8]、偏微分方程（PDEs）[9]和随机微分方程（SDEs）[10]，将一个或多个未知函数与其导数关联，从而描述在变量变化的情况下输出如何变化。DEs 的核心包含三个基本组件：（1）描述系统状态的状态变量，（2）建模并捕捉变化速率的导数，以及（3）在给定初始条件和边界条件下影响动态的参数。这些元素共同作用，为理解系统如何随时间演变提供了一种结构化的方法。

尽管 DEs 在建模复杂现象中发挥着至关重要的作用，但在现实世界应用中仍然面临诸多挑战。特别是，许多系统表现出复杂的高维动态，使用纯粹依赖知识驱动的 DE 公式来捕捉这些动态变得非常困难[11]，因为推导准确的控制方程通常需要人工专家的参与。此外，计算效率仍然是一个主要障碍，尤其对于高维和非线性 PDEs，由于传统数值求解器必须处理与系统图结构对应的大量方程，常常使得这些方法变得非常昂贵[12-14]。为应对这些挑战，神经微分方程（NDEs），如神经常微分方程（Neural ODEs）[15]，作为一种数据驱动的替代方法应运而生，通过直接从数据中学习潜在的动态，绕过了显式制定控制规则的需求。这一创新方法使得可以建模那些传统方程可能无法处理或未知的系统。

然而，尽管 NDEs 在捕捉时间演化方面表现出色，但在建模空间动态方面仍然具有挑战性，例如在社交网络中的流行病传播[16]或城市网络中的交通流[17]，这些情境中离散的交互作用使得连续状态的表示变得复杂。这个限制迫切需要能够有效整合时间动态与空间上下文的方法。

为了解决上述问题，最近的研究已经利用图神经网络（GNNs）[18-20]这一强大的关系数据学习工具，构建基于图的 NDEs，并模拟变量之间的复杂交互。早期的探索将 GNNs 的图学习能力与 NDEs 的连续时间框架结合，提出了图神经常微分方程（Graph neural ODEs）[21-23]，这为建模在时空中演化的复杂系统提供了一种多功能且强大的方法。这一集成不仅能够捕捉动态的时间行为，还能够利用图结构中编码的丰富空间关系。除了图神经常微分方程之外，更广泛的图神经微分方程类（Graph NDEs），包括图神经偏微分方程（Graph Neural PDEs）[24]和图神经随机微分方程（Graph Neural SDEs）[25]，架起了 NDEs 与 GNNs 之间的桥梁。

贡献

在本工作中，我们旨在提供一篇全面且最新的综述，介绍将图神经网络与微分方程相结合的方法，通过总结这一发展中的领域中的关键任务、方法论和应用，填补现有的空白。我们的贡献可以总结为以下几点： (a) 我们提供了首个全面综述，介绍了建模连续空间和时间动态的图神经微分方程（Graph NDEs）。 (b) 在第 3 节中，我们介绍了图神经微分方程的结构化分类，并在第 4 节中深入回顾了将 GNNs 与不同类型的微分方程（包括 ODEs、PDEs 和 SDEs）相结合的研究。 (c) 我们在第 5 节中探索了图神经微分方程的多样化应用，突出它们在各种现实世界情境中的影响。 (d) 我们在第 6 节中识别了新兴趋势、关键挑战和有前景的未来研究方向，旨在激发这一跨学科领域的进一步探索。

与现有综述的关系

尽管之前已有一些综述探讨了图神经微分方程（Graph NDEs），但它们通常在方法学和分类上缺乏全面性，限制了它们在充分弥合 GNNs 和 NDEs 之间的能力。许多综述专注于神经微分方程的具体应用[26-28]，忽视了空间动态的作用。另一些则研究了将 GNNs 与微分方程相结合的方法[29, 30]，但在 DE 类型和分类上保持狭窄的范围。与之相比，我们的综述整合了广泛的最新研究，提供了方法学、挑战和应用的详细回顾。此外，我们还提供了一个结构化的分类法，并为未来的研究提供了宝贵的见解。