【剑桥大学博士论文】基于注意力的图表示学习

随着越来越多不符合图像或文本等简单、规则结构的数据变得易于获取，表示学习（representation learning）领域也在不断演化，致力于通过新的方法来描述、理解，甚至“统一”适用于集合（sets）、网格（grids）以及图（graphs）等数据结构的深度学习策略。 在这一方向中，几何深度学习（geometric deep learning）的一个极其成功的应用便是图学习（learning on graphs）——它通过抽象地表示集合中各个元素之间的关系，自然地刻画了诸如社交、生物以及交通网络等现实世界现象。近年来，图学习领域的突破性进展已催生出一系列具有重大影响的应用，例如蛋白质结构预测、根据目标结构反推能够折叠至该结构的氨基酸序列（即反向构象问题），乃至地球尺度的天气预报。 尽管取得了显著成果，但图学习方法在算法复杂度、计算资源利用率与任务性能之间的平衡方面仍存在不确定性，且鲜有方法能够在多个数据集、基准和任务设定中保持稳定优越的表现。该领域的快速发展既带来了新的挑战，也暴露出现有方法论的不足。 在本论文中，我探讨了深度学习中的多个关键方面，包括图神经网络（Graph Neural Networks, GNNs）、图Transformer（Graph Transformers）以及图领域的迁移学习（Transfer Learning）。从概念上讲，本研究所要解决的主要限制在于：现有的图学习算子往往是固定且手工设计（fixed and handcrafted）的。为此，我提出将注意力机制（attention mechanism）视为一种通用机制（universal mechanism），能够增强乃至取代当前的架构设计。 我的第一个贡献聚焦于图神经网络：将传统的读出函数（readout functions）替换为基于神经网络的自适应读出模块（adaptive readouts），特别是基于注意力的池化（attention-based pooling）方法。 其次，我研究了在高通量筛选（high-throughput screening）流程中进行的迁移学习问题，该流程特定于药物研发的早期阶段。在这一设定下，我通过实验证明，传统的读出函数无法有效建模数百万规模的分子数据，而自适应读出则能够显著释放图神经网络的迁移学习潜力。 最后，受到上述结论及高效、精确注意力机制（efficient and exact attention）最新进展的启发，我提出了一种端到端的、基于注意力的图学习框架——Edge Set Attention。该方法以边为中心（edge-based），比消息传递机制（message passing）和图Transformer更加简洁，并在多个任务上取得了最新的性能水平（state-of-the-art results）。 本论文所提出的方法与发现经过数百次实验的实证验证，持续优于传统方法，充分验证了本文提出的核心假设。