不同表征如何对齐？普林斯顿MIT谷歌等30位作者《表征对齐》综述，详述其框架

生物和人工信息处理系统形成了对世界的表征，它们可以用来分类、推理、规划、导航和做出决策。我们如何衡量这些不同系统形成的表征在多大程度上是一致的？表征上的相似性是否转化为类似的行为？如果是这样，那么如何修改一个系统的表征，使其更好地匹配另一个系统的表征？这些关于表征对齐研究的问题是当代认知科学、神经科学和机器学习中一些最活跃研究领域的核心。例如，认知科学家寻求衡量多个个体的表征对齐，以识别共享的认知先验；神经科学家寻求将多个个体的功能磁共振成像（fMRI）响应对齐到一个共享的表征空间中，以提高群体级分析的信号；机器学习研究者寻求通过提高表征对齐，从大型教师模型中提炼知识到小型学生模型中。不幸的是，对表征对齐感兴趣的研究社区之间的知识传递有限，因此一个领域的进展常常在另一个领域独立地被重新发现。因此，更多跨领域的沟通将是有利的。为了改善不同领域之间的沟通，我们提出了一个统一的框架，可以作为研究表征对齐的研究者之间的共同语言。我们综述了来自认知科学、神经科学和机器学习领域的文献，并演示了先前的工作是如何适应这个框架的。最后，我们提出了表征对齐领域中的开放性问题，其进展将有利于这三个领域。我们希望我们的工作能够催化跨学科合作，并加速所有研究和开发信息处理系统的社区的进展。我们指出这是一篇工作论文，并鼓励读者就未来修订提出他们的建议。

1 引言

认知科学、神经科学和机器学习长期以来一直研究人类、机器以及其他生物和人工信息处理系统所构建的表征类型。影响每个系统形成表征的因素有很多，包括对刺激的暴露和经验、不同的训练任务和目标，以及架构上的差异——对于生物和人工系统都是如此。表征对齐指的是两个或多个信息处理系统内部表征的一致程度。这个概念在不同的背景下被称为多种名字，包括潜在空间对齐、概念(性)对齐、系统对齐、表征相似性、模型对齐和表征对齐[Goldstone和Rogosky, 2002; Kriegeskorte等人，2008a; Stolk等人，2016; Peterson等人，2018; Roads和Love，2020; Haxby等人，2020; Aho等人，2022; Fel等人，2022; Marjieh等人，2022c; Nanda等人，2022; Tucker等人，2022; Muttenthaler等人，2023a; Bobu等人，2023; Sucholutsky和Griffiths，2023; Muttenthaler等人，2023b; Rane等人，2023a,b]。此外，在机器学习的许多子领域中，表征对齐或明示或暗示地成为一个目标，包括知识蒸馏[Hinton等人，2015; Tian等人，2019]、解耦[Montero等人，2022]和基于概念的模型[Koh等人，2020]。

尽管认知科学家、神经科学家、机器学习研究人员等积极研究表征对齐（请参见图1中一些精选示例），但这些社区之间的知识转移往往有限，导致重复努力，从而减缓了进展。我们认为，这在一定程度上源于缺乏一种共享、标准化的语言来描述关于表征对齐的全部研究范围。虽然像表征相似性分析（RSA；Kriegeskorte等人，2008a）这样的框架已被广泛采用，但它们并没有涵盖表征对齐内的所有工作范围，也没有在所有学科中得到同等应用。讽刺的是，所需的正是不同学科中研究表征对齐的研究人员之间更大的表征对齐。 通过这篇论文，我们的目标是为这些不同学科的表征对齐研究提供一个理论基础。我们发现，表征对齐研究通常包含五个关键组成部分，我们利用这一洞察提出了一个统一的框架（在图2中可视化），用于以一种共同的语言描述表征对齐研究。我们进行了文献综述（在表2中总结），说明了如何通过我们的框架的视角来轻松解释现有研究的广泛范围。关键的是，我们的框架提供了一种方法，可以跨学科综合洞见，为解决表征对齐的三个核心挑战铺平道路：测量对齐、将表征带入共享空间（我们另称为“桥接表征空间”）以及增加系统间的对齐。每个挑战在认知科学、神经科学和机器学习中都存在（请参见图1，以及每个领域中针对每个核心挑战的一个研究示例）。

挑战1 - 测量：测量表征对齐的挑战通常表现为确定两个信息处理系统的表征结构之间的相似程度[Shepard和Chipman，1970; Kriegeskorte等人，2008a]。因此，测量表征对齐提供了一种原则性的方法来比较两个系统的内部处理，即使这些系统非常不同。这种方法可以用来验证一个系统作为另一个系统的模型，或帮助找出两个系统之间的差异所在。例如，认知科学家测量不同语言[Thompson等人，2020]和不同个体[Marti等人，2023]之间语义邻域的表征对齐，以及不同文化中音乐先验的表征图[Jacoby和McDermott，2017; Jacoby等人，2023; Anglada-Tort等人，2023]。神经科学家测量人类和猴子之间的对齐，以建立同源性（即，在人类的某个大脑区域和猴子的某个大脑区域存在“共同代码”）[Kriegeskorte等人，2008b]；测量深度神经网络模型和神经活动记录之间的对齐，以推断哪些模型最能捕捉感知或认知处理的方面[Yamins等人，2014; Khaligh-Razavi和Kriegeskorte，2014; Yamins和DiCarlo，2016; Kell等人，2018; Conwell等人，2022]；以及测量两个或多个个体之间的对齐，以确定共享结构[Hasson等人，2004; Stephens等人，2010; Hasson等人，2012a]或神经响应的同步如何促进合作行为[Hasson等人，2012a; Chen等人，2015a; Haxby等人，2020]。机器学习研究者测量深度神经网络的表征对齐，例如计算机视觉模型，与人类进行对比，以测试模型是否学习了可泛化的类人表征[Langlois等人，2021a; Sucholutsky和Griffiths，2023; Muttenthaler等人，2023a]。通常，这两个系统是静态的，用于测量它们对齐的数据是配对的（即，同一组刺激呈现给两个系统）。

挑战2 – 桥接：将两个系统的表征带入共享空间（即“桥接”表征空间）的挑战通常涉及建立两个系统的表征之间的对应关系，以实现直接比较。这种对应关系解锁了跨不同系统汇总表征的方法，并使得比简单测量对齐更有针对性的比较成为可能。认知科学家尝试沿着相同的维度比较不同个体的表征[Wish和Carroll, 1974; Hebart等人，2020]。神经科学家将不同个体的功能磁共振成像（fMRI）响应对齐到一个共同空间中，以确定个体之间共享的信息，并增强群体级分析的信号[Haxby等人，2011; O’Connell和Chun，2018]。机器学习研究人员学习从预训练的图像嵌入模型和预训练的文本嵌入模型到一个联合空间的投影，以便实现多模态提示[Gupta等人，2017; Ramesh等人，2022; Huang等人，2022]。通常，这两个系统仍然是静态的，数据可能是配对的，也可能不是，而且至少一个系统的表征被投影到一个新的空间。

挑战3 – 增强：增加两个系统的表征对齐的挑战涉及尝试通过更新至少一个系统的表征，使两个系统更加相似。因此，增加表征对齐有助于使一个系统的处理更像另一个系统；这本身就是有用的（例如，改进生物系统的计算模型），或作为达到目的的手段（例如，改善下游性能）。认知科学家尝试提高深度神经网络与人类的表征对齐，以更好地预测人类判断[例如，Geirhos等人，2019a; Seeliger等人，2021; Fel等人，2022; Muttenthaler等人，2023b]。神经科学家优化深度神经网络以预测大脑活动，从而创建大脑功能的计算模型[Schrimpf等人，2018; Toneva和Wehbe，2019; Schrimpf等人，2021; Allen等人，2022; Khosla和Wehbe，2022; Conwell等人，2022; Doerig等人，2023]。机器学习研究人员训练小型、高效的学生网络，使其尽可能与更大、更昂贵、但性能更高的教师网络相似[Hinton等人，2015; Phuong和Lampert，2019; Tian等人，2019]。通常，至少一个系统是动态的（即，它可以学习或以其他方式更新其表征），数据可能是配对的，也可能不是。

跨越这三个领域及其以外的研究人员将从这些领域的进展中受益。我们希望我们的论文将成为对从事表征对齐研究的研究人员的号召，并催化跨学科合作，加快这些以及与信息处理系统研究相关的问题的进展。为了鼓励这种跨学科的参与，在提出表征对齐的统一框架（§2）和通过这个框架的视角强调关键作品（§3）之外，我们还在（§5）中识别了跨学科的关键开放问题和挑战。我们相信，解决这些问题将大大有利于研究表征对齐的各个社区。

虽然我们认为这篇论文的所有部分对任何研究表征对齐的人都是相关和感兴趣的，但对于更精简的阅读，我们建议关注框架的高层次概述（§2.1和图2）而不是数学细节，突出的示例（§3和图1），以及开放问题的总结（§5）。 表征对齐框架高层次概述 从概念上讲，每项表征对齐研究都包括五个主要组成部分（见图2的示意性描述）： (a) 用于对齐的数据，这是刺激空间（如图像）的一个子集。 (b) 正在测量表征对齐的系统（例如，人类、动物、深度神经网络等）。许多系统状态的内部表征是潜在的。对于人类参与者来说，这可能是他们在观看图像时大脑的潜在状态。然而，在机器学习系统的情况下，原则上可以访问系统。一个例子是对给定刺激的整个网络激活模式。 (c) 正在收集的关于每个系统的测量（例如，行为相似性判断、fMRI的区域激活、神经网络的隐藏层激活等）。 (d) 正在从每个系统中提取或（重）构建的嵌入或推断出的表征。 (e) 用于测量嵌入之间对齐程度的对齐函数。 专注于测量对齐的研究通常只涉及从对齐函数中计算一个对齐分数。与此同时，专注于桥接表征空间或增加对齐的研究通常涉及使用这个分数作为反馈信号，以更新嵌入函数（在桥接情况下）和内部表征或它们的测量（在增加情况下）。我们在图2中可视化了这个框架。作为一个具体的例子，考虑Kriegeskorte等人[2008b]在图1的面板b中强调的工作。假设我们想要测量两个系统的表征对齐：一只恒河猴和一个人类。在这种情况下，我们想要测量对齐的数据可能是一系列场景图像。在猴子和人类中，两个系统的状态将是他们观察图像时所有神经元的激活模式。这种状态不能被直接访问，只能通过测量。对于猴子，这可能是用电生理学测量的颞下皮层的神经反应，对于人类，我们可以将其定义为用功能磁共振成像（fMRI）测量的颞下皮层的神经反应。在这种情况下，一个合适的嵌入集可能是首先为每个系统构建距离矩阵，编码每张图像的激活模式之间的成对距离，然后对齐函数可以是这两个矩阵之间的相关性（在神经科学中，这被称为表征相似性分析；例如，Kriegeskorte, 2015）。

我们相信我们的框架提供了一种简单、通用的语言，可以清晰地传达表征对齐研究的方法论和结果，对许多研究人员来说是可访问的。在表2中，我们提出了来自不同领域的多种文献的例子，并根据框架的组成部分进行了总结。本节的其余部分详细介绍了如何数学化地描述每个组成部分的描述和研究表征对齐时的决策。在第3节中，我们详细阐述了如何用我们的形式主义语言描述图1中突出显示的九个示例。

结论

表征对齐在研究信息处理的各个领域日益成为核心内容，包括认知科学、神经科学和机器学习。在每个领域，研究人员试图测量来自不同系统的表征之间的对齐，通过将它们的表征带入共享空间来桥接不同的系统，并增加两个系统的表征对齐。然而，这些不同的研究群体之间没有明确的共同语言来进行讨论；因此，他们常常对相关的思想、方法和经验结果不了解。在这篇论文中，我们试图建立桥梁，帮助统一这些领域的术语和方法。我们希望我们的工作能够同时增加跨领域相关思想和方法的分享，并提高对共同挑战和开放问题的认识。更广泛地说，我们希望这里概述的多样化视角将激励其他研究人员应用表征对齐的思想和工具来理解或构建智能系统。