俄罗斯乌克兰战争重塑了当代对战争如何进行与维持的理解。本文认为，现代战争的决定性特征不仅是杀伤链（即连接探测、决策与摧毁的序列）的压缩，更是其在持续干扰下的多样性与韧性。基于乌克兰在整合无人系统、数字化战场管理工具和人工智能方面的经验证据，本分析展示了技术加速如何能在带来短期战术优势的同时，暴露出长期的结构性脆弱。俄罗斯广泛使用的电子战、混合攻击和适应性对抗措施表明，杀伤链优势既充满争夺又十分脆弱。来自以色列、叙利亚和伊朗的对比案例表明，当耐力、后勤和工业产能仍具决定性时，自主性与速度并不能保证战略成功。对北约而言，研究结果强调威慑可信度将取决于由韧性指挥网络、可持续供应体系和政治凝聚力所支撑的分布式、持久性杀伤链架构。文章的结论是，决定未来战争节奏的将是耐力，而非速度。
在乌克兰，从探测目标到实施打击的时间已从数小时缩短至数秒。这种由无人机、商业航天系统和日益普及的人工智能所驱动的压缩，揭示了现代冲突的真正重心：对杀伤链优势的争夺。杀伤链被定义为从探测、决策到摧毁的端到端过程，它是所有现代作战的基础。在此框架下，胜利更少取决于火力，而更多取决于连接传感器与射手的链路的速度、韧性与多样性。
乌克兰利用无人系统和数字化战场管理工具来加速其远程杀伤链。俄罗斯则试图通过电子战、网络行动和对基础设施的混合攻击来破坏它们。双方都在不断调整以重获节奏并剥夺对手的优势。其结果是，这场冲突不仅展示了杀伤链压缩的战略重要性，也揭示了其局限性。包括能源、物流和通信网络在内的民用基础设施，已作为维持战争努力的平行杀伤链而出现。这种压缩与干扰的二元性已成为21世纪战争的一个决定性特征。
本文认为，乌克兰战争带来的决定性启示是，战争的未来将更少取决于杀伤链的压缩，而更多取决于维持这些系统的韧性与多样性。杀伤链优势将属于那些能够在军事和民事领域重建、适应并承受持续干扰的行为体。战术速度必须与结构韧性相辅相成。讨论将通过五个部分展开：（1）界定杀伤链理论的演变并阐释其背景；（2）分析乌克兰战场上的压缩、干扰与多样化；（3）评估人工智能赋能作战与自主性的局限；（4）比较乌克兰经验与其他冲突；（5）概述对北约及其伙伴的战略启示。
利害关系十分严峻。假设未能内化乌克兰的教训，那么，将在未来的冲突中处于结构性劣势——杀伤链更慢、更易受混合干扰的打击、更难以维持长期战斗。对手已经在试验人工智能赋能的目标识别、自主集群和对关键基础设施的破坏。如果不做出调整，就可能将主动权让给那些优先考虑节奏而非合法性、优先考虑胁迫而非正当性的行为体。乌克兰的启示并非简单地认为无人机至关重要或网络战表现不佳；而是认识到现代战争是跨越军事和民事领域的速度、韧性与适应能力的竞赛。秩序的稳定将取决于是否能在其对手定义交战规则之前，获得杀伤链优势。
杀伤链的演变与定义
“杀伤链”这一概念根植于冷战后期，当时美国试图通过技术和信息优势来抵消苏联的数量优势。20世纪70年代末，美国国防部制定了后来被称为“抵消战略”的计划，其核心是“突击破坏者”概念：即使用远程精确制导弹药和实时目标指示，在敌方装甲部队抵达前线之前将其摧毁。这是一项将信息优势转化为杀伤力的战略尝试，为后来成为网络中心战的理论奠定了基础。
到1991年海湾战争时，这些理念已发展为“震慑”学说，强调快速、精确打击对敌方战斗意志产生的心理和系统性效果。在后9/11时代，同样的原则在“发现、锁定、终结”的反恐行动框架下，以更小的规模得到应用，其杀伤链从探测到交战被压缩到几分钟之内，以摧毁恐怖主义网络。每一次演变都反映了相同的逻辑：技术加速将取代数量规模，而信息速度将带来决策优势。
美国空军在21世纪初正式将这一过程编码为“发现、锁定、跟踪、定位、交战、评估”循环，该循环至今仍是联合目标锁定理论的核心。随着时间的推移，这一概念已从战术领域扩展到战役和战略层面的关联。在战术层面，杀伤链的运作以秒或分钟计，例如在反恐突袭或无人机打击中。在战役层面，它们跨越数小时或数天，在整个战区协调多种火力与情报、监视和侦察资产。在战略层面，杀伤链的展开可能需要数周或数月，将国家情报、后勤和工业动员整合到战役规划中。
贯穿这些层面的一个统一见解是，杀伤链的有效性不仅取决于速度，还取决于连接性和韧性。乌克兰的经验代表了这一演变的最先进体现：一个实时、多领域的生态系统，其中商业、军事和民用资产持续互动以产生作战节奏。然而，这也暴露了该范式的局限性。当快速的决策周期未能产生战略成果时，冲突就会演变为消耗战，其中耐力、生产能力和适应性比速度更为重要。
乌克兰战场的压缩、干扰与多样化
乌克兰战争已成为21世纪数据最丰富、技术最活跃的冲突。西方精确制导系统、商业情报监视侦察资产和国内创新的整合，使基辅得以将其远程杀伤链压缩到前所未有的水平。兰德公司报告称，炮击的平均“传感器到射手”周期从2022年的30分钟缩短到2024年的不到1分钟，而对于第一人称视角无人机辅助的接战，甚至短至30秒。
这种压缩基于三项创新：（1）广泛使用第一人称视角无人机进行实时侦察和打击协调；（2）Delta、“克里帕瓦”、GIS Arta等数字化指挥控制工具的普及，整合了战场情报；（3）依赖商业卫星通信和影像，特别是通过“星链”和卡佩拉太空公司的卫星。乌克兰的“无人机军团”计划已培训超过1万名操作员，并计划到2025年中部署约5万架无人机，这标志着民用技术与军事实践前所未有的融合。
消耗仍然严重。皇家联合军种研究所估计，乌克兰每月损失8000至1万架无人机，主要归因于俄罗斯的电子战。然而，这种损失率被快速的本地制造、开源设计和众包维修中心所抵消。乌克兰模式表明，杀伤链优势既依赖于技术先进程度，也同样依赖于工业适应能力。
俄罗斯试图通过系统性干扰来抵消乌克兰的速度优势。其电子战部队（估计沿前线部署了60套主要系统）对GPS和无人机控制频率实施了干扰，降低了情报监视侦察数据流的效率，并瞄准了指挥控制节点。俄罗斯的适应措施相当显著，包括部署“山雀”和“极点-21”电子战系统、“海鹰-30”等人工智能辅助的情报监视侦察无人机，以及广泛使用“柳叶刀”巡飞弹。每一轮压缩都会引发一轮干扰的对抗循环，导致速度带来的回报递减。
近期研究表明，战争的未来不仅取决于压缩，还取决于多样化——即生成并保护多种模块化杀伤链的能力，这些杀伤链能够动态重构以应对攻击。美国和盟国防务界内的“马赛克战争”框架提出了仿照生物韧性建立的“异构、分布式杀伤链”模型。乌克兰的去中心化指挥模式已经反映了这一原则：分层的情报监视侦察网络、冗余的指挥控制节点和多平台协调形成了一个杀伤路径的网状结构。
混合行动与民用杀伤链
对杀伤链优势的争夺延伸至战场之外。俄罗斯的混合战略旨在削弱维持军事节奏的民用基础设施。能源电网、海底电缆、物流走廊和卫星网络都已成为目标。这些构成了“民用杀伤链”，其完整性决定了一个国家维持战争的能力。
在2023年至2025年间，欧洲记录了超过40起与俄罗斯代理势力有关的物理或网络破坏行为。诸如2025年挪威布雷芒厄尔大坝的网络入侵、与电缆干扰相关的瑞典哥得兰岛临时停电，以及对波罗的海海底基础设施的破坏等事件，都展示了一种连贯的破坏模式。此外，在伪造的自动识别系统信号下运作的俄罗斯油轮“影子船队”，模糊了商业与军事领域的界限，造成了持续的海上不稳定。这些行动反映出莫斯科长期以来的信念，即非军事措施可以达成战略效果。
这种方法反映了俄罗斯“主动防御”的条令概念，该概念认为早期破坏对手（军事和民用）系统具有决定性意义。针对欧洲关键基础设施的混合行动，旨在提高支持乌克兰的成本、削弱其凝聚力并侵蚀其韧性。由此产生的环境表明，威慑现在不仅需要保护提供火力的杀伤链，同样需要保护支撑能源、物流和信息生态系统的杀伤链。
人工智能、自主性与节奏合法性困境
人工智能已成为乌克兰指挥和目标锁定系统不可或缺的一部分。“德尔塔”平台利用机器学习整合传感器数据以确定目标优先级。“克罗帕瓦”系统实现火力协调自动化，减少决策延迟。人工智能驱动的图像识别协助处理无人机画面和卫星影像，从而实现更快、更明智的交战决策。
然而，人工智能的整合仍然是部分的。乌克兰的系统保留了人为监督，以确保遵守国际人道法。俄罗斯的方法则更为宽松，在其“柳叶刀”无人机中尝试自主目标锁定，并将人工智能辅助制导集成到其情报、监视与侦察网络中。这种差异反映了一个核心的战略分歧：威权国家倾向于将节奏置于合法性之上，而民主国家则必须在速度与合法性之间取得平衡。
对比经验强化了这种困境。在叙利亚，俄罗斯部队利用人工智能支持的情报、监视与侦察和巡飞弹对非正规部队实施精确打击，展现了高节奏但有限的识别区分能力。在以色列，“火力工厂”人工智能系统在加沙行动中实现了前所未有的打击协同，将杀伤链压缩至十分钟以内。相比之下，伊朗在乌克兰使用“沙希德-136”无人机则显示出相反的情况：低成本、低速、可消耗的系统，为持久力而非节奏进行了优化。这些案例共同表明，人工智能赋能的速度加速提供了战术优势，但不必然带来战略成功。
自主性也引入了人力因素。随着乌克兰面临日益严峻的人口结构限制，无人和半自主系统的扩展代表着一种战略适应，旨在保持战斗力，尽管人员可用性在下降。然而，这种替代只是局部的。可损耗自主系统的使用抵消了人力限制并延长了持久力，但并未消除对人员占领和防御地盘的需求。
战略限制与局限：消耗、升级与持久力
来自乌克兰及可比冲突的经验证据表明，战术速度不能保证战略成功。快速压缩能带来局部优势，但无法决定消耗战争的结果。兰德公司的分析指出，俄罗斯的后勤能力和生产深度使其能够承受损失，而乌克兰在节奏上取得的优势仅带来了微小的领土收益。正如约瑟夫·奈所指出的，网络和人工智能效应已被证明是传统持久力的“放大器，而非替代品”。
此外，升级风险限制了节奏优势可利用的程度。如果俄罗斯面临战场崩溃，使用战术核武器的可能性依然存在。北约缺乏对等的非战略性核选项，这使威慑复杂化并增加了升级风险。杀伤链加速通过缩短决策时间线，可能无意中压缩了升级阶梯，迫使战略困境在数分钟而非数小时内得到解决。
乌克兰战争也表明，高科技冲突可能比预期持续更久。通过精确打击和自动化取得决定性结果的预期被证明是错误的。相反，工业产能、适应性和社会韧性决定了持久力。对北约的启示在于，杀伤链优势必须与长期维持能力和政治凝聚力相结合。
比较可复制性与经验教训
虽然乌克兰提供了无与伦比的经验洞察，但其经验并非普遍适用。本土国防工业和安全边界使以色列得以整合人工智能与自动化；而乌克兰则缺乏这些条件。相比之下，叙利亚的环境使俄罗斯能够在低风险条件下进行试验，而无需面对对等级别的干扰。伊朗的无人机生产模式展示了可扩展性，但在面对先进电子战时则不具备生存能力。
乌克兰的独特优势在于其开源创新生态系统。民用技术专家、志愿者开发人员和公开来源情报社群实时协作以调整系统。“DeepStateMap”和“Molfar Intelligence”等平台模糊了情报与行动主义的界限，创造了一种社会性杀伤链整合形式。该模式反映了一种持续适应的国家能力——这是未来威慑战略的一个关键变量。
战略影响与对北约的政策建议
乌克兰战争揭示了西方防务态势中的结构性脆弱。现代冲突的决定性优势不在于平台数量，而在于杀伤链架构的完整性与适应性。对北约而言，适应这种环境需要围绕四个相互关联的重点重新调整其力量设计：速度、韧性、多样化和持续保障。
- 在监督下制度化人工智能赋能的速度优势
乌克兰的经验证实，人工智能可以加速指挥与控制流程。然而，缺乏监督的自动化会带来升级和错误风险。北约应建立一个操作性框架，使人工智能能够管理目标发现、数据融合和优先级排序，同时保留人类操作员的交战决策权。这种“人在回路之上”的结构既能保持速度，又不会削弱法律和政治问责制。为将此能力制度化，盟军转型司令部应领导一项关于人工智能赋能目标锁定的常设计划。联合演习应测试各国系统间的算法协调、互操作性和决策延迟。在此规模的整合需要共享数据标准、共同的测试制度以及从战术到战略层级的明确问责链。
- 加固与分布式指挥控制网络
乌克兰冲突的每个阶段都表明，电子战和网络干扰能够分割指挥网络。北约不能假设其系统在持续攻击下仍能保持协调一致。因此，盟国应寻求冗余、去中心化的指挥控制结构，使其在脱离上级梯队时仍能自主运行。这包括使用商业卫星、跨域路由协议和适用于降级环境的低带宽战场通信，构成预先配置的后备网络。作战条令应向任务式指挥原则演变，赋予下属单位在通信中断期间的决策权。分布式而非集中化，是对抗频谱拒止和精确打击的唯一可持续防御方式。
- 恢复工业产能与持续保障能力
消耗战的结果取决于工业速度。北约现有的国防工业基础缺乏灵活应变的能力。盟国应建立一个“集体生产框架”，明确关键制造依赖性，并在成员国间分配产能激增的责任。库存管理必须从库存盘点转向产能评估——即评估弹药、无人机和传感器在火力下的替换速度。这将需要一个由预先商定的生产共享协议和融资机制构成的和平时期网络。这不是回归冷战时期的动员，而是对威慑的重校准，以反映工业而非数量的竞争。
- 防御民用杀伤链
俄罗斯针对欧洲能源、物流和信息基础设施的混合战役表明，民用系统已成为战场的延伸。因此，北约的威慑框架必须将这些“民用杀伤链”视为战略资产。盟国应为成员国设定可执行的韧性基准（例如，电网冗余、海底电缆保护、以及针对网络物理攻击的预先安排恢复机制）。这些标准应通过北约-欧盟合作框架下的集体韧性审计进行监督。此领域的威慑将更少来自拒止，而更多来自展现出的快速重建能力。
- 在加速决策环境中管控升级
更快的决策周期伴随着相应的升级风险。如果俄罗斯面临战场崩溃，有限使用核武器仍是一个可能的选择。因此，北约的威慑规划必须纳入时间性升级控制，即确保压缩的杀伤链不会挤占政治决策窗口。这需要现代化核协商机制，使其能在高节奏下运作。决策模拟应测试升级阈值在信息降级和时间约束下如何保持。整合常规速度管理与核信号传递，对于防止无意的危机升级至关重要。
- 重建人力与政治韧性
技术并未取代人类意志的核心地位。乌克兰经验表明，战术系统的重要性低于组织的适应能力和领导层的持久耐力。相应地，北约应投资于人力资本，优先发展认知准备、分布式领导和政治凝聚力。公共传播策略应强调威慑依赖于集体韧性，而非瞬时精确。随时间推移维持民主意志，依然是北约相对于专制对手的比较优势。
结论
乌克兰战争生动展示了现代军队如何在压力下适应。它表明，杀伤链优势是必要的，但不足以确保胜利。技术加速提供了暂时优势；而战略成功取决于持久耐力与恢复能力。
乌克兰的战地创新展示了当商业、军事和民用系统整合时，适应性强的民主国家所能取得的成就。然而，它也暴露了持久的制约：压缩的杀伤链放大了遭受干扰的成本，而韧性成为现代战争的限速因素。俄罗斯尽管遭遇战术挫折却仍能坚持，表明工业和社会耐力能够抵消技术不对称。
本文的核心论点是，杀伤链优势衡量的不是速度，而是系统韧性——即在遭受干扰后维持决策和打击能力的能力。未来的冲突将青睐那些能够维持多重、相互重叠的杀伤链（军事、工业、信息和社会）的行为体，使其能够利用敌方弱点并达成战略目标。胜利将不属于最快的网络，而属于最持久的系统。
对北约而言，这些观察构成了明确的战略要务：盟国必须设计能够承受持续压力的分布式、冗余、持久的杀伤链架构。人工智能将推动这场变革，但其成功同样取决于后勤、人力和政治凝聚力。北约的威慑可信度将不取决于其打击速度，而取决于其在遭受干扰后维持作战的能力。因此，乌克兰的核心教训是结构性的：二十一世纪的威慑将取决于整个杀伤链生态系统的韧性。北约的任务是在下一次冲突检验其韧性之前，将这种韧性制度化。
原文
NeurIPS 是关于机器学习和计算神经科学的国际会议，宗旨是促进人工智能和机器学习研究进展的交流。NeurIPS 2025 会议将于12月2日至12月7日在圣地亚哥会议中心召开。
理解 AI 系统行为已成为确保安全性、可信性以及在各类应用中有效部署的关键。 为应对这一挑战，三个主要研究社区提出了不同的可解释性方法： * 可解释人工智能（Explainable AI） 聚焦于特征归因，旨在理解哪些输入特征驱动了模型决策； * 数据中心人工智能（Data-Centric AI） 强调数据归因，用于分析训练样本如何塑造模型行为； * 机制可解释性（Mechanistic Interpretability） 研究组件归因，旨在解释模型内部组件如何对输出作出贡献。
这三大方向的共同目标都是从不同维度更好地理解 AI 系统，它们之间的主要区别在于研究视角而非方法本身。 本教程首先介绍基本概念与历史背景，阐述可解释性为何重要，以及自早期以来该领域是如何演进的。第一部分技术深度解析将涵盖事后解释方法、数据中心解释技术、机制可解释性方法，并通过一个统一框架展示这些方法共享的基本技术，如扰动、梯度与局部线性近似等。 第二部分技术深度解析则聚焦于内生可解释模型（inherently interpretable models），并在可解释性的语境下澄清推理型（chain-of-thought）大语言模型与自解释型 LLM 的概念，同时介绍构建内生可解释 LLM 的相关技术。我们还将展示可使这些方法易于实践者使用的开源工具。 此外，我们强调了解释性研究中前景广阔的未来研究方向，以及其在更广泛的 AI 领域中所引发的趋势，包括模型编辑、模型操控（steering）与监管方面的应用。通过对算法、真实案例与实践指南的全面覆盖，参与者将不仅获得对最先进方法的深刻技术理解，还将掌握在实际 AI 应用中有效使用可解释性技术的实践技能。
记忆已成为并将继续成为基于基础模型的智能体的核心能力。它支撑着长程推理、持续适应以及与复杂环境的有效交互。随着智能体记忆研究的快速扩张并吸引空前关注，该领域也日益呈现碎片化。当前统称为"智能体记忆"的研究工作，在动机、实现、假设和评估方案上往往存在巨大差异，而定义松散的记忆术语的激增进一步模糊了概念上的清晰度。诸如长/短期记忆之类的传统分类法已被证明不足以捕捉当代智能体记忆系统的多样性和动态性。 本综述旨在提供当前智能体记忆研究最新且全面的图景。我们首先清晰地界定智能体记忆的范围，并将其与大型语言模型记忆、检索增强生成和上下文工程等相关概念区分开来。然后，我们通过形式、功能和动态三个统一的视角来审视智能体记忆。 * 从形式视角，我们识别了智能体记忆的三种主要实现方式，即标记级记忆、参数化记忆和潜在记忆。 * 从功能视角，我们超越了粗略的时间分类，提出了一个更细粒度的分类法，区分了事实性记忆、经验性记忆和工作记忆。 * 从动态视角，我们分析了在智能体与环境交互的过程中，记忆如何随时间被形成、演化和检索。
为支持实证研究和实际开发，我们汇编了一份关于代表性基准测试和开源记忆框架的全面总结。在整合梳理之外，我们阐明了对于新兴研究前沿的前瞻性视角，包括面向自动化的记忆设计、强化学习与记忆系统的深度融合、多模态记忆、多智能体系统的共享记忆以及可信度问题。 我们希望本综述不仅能作为现有工作的参考，更能作为一个概念基础，促使人们将记忆重新思考为设计未来智能体智能时的一等原语。
1 引言
过去两年，我们看到性能日益强大的大语言模型（LLM）已势不可挡地进化为强大的AI智能体（Matarazzo and Torlone, 2025; Minaee et al., 2025; Luo et al., 2025）。这些基于基础模型的智能体在多个领域——如深度研究（Xu and Peng, 2025; Zhang et al., 2025o）、软件工程（Wang et al., 2024i）和科学发现（Wei et al., 2025c）——取得了显著进展，持续推动着通往通用人工智能（AGI）的进程（Fang et al., 2025a; Durante et al., 2024）。尽管早期的"智能体"概念高度异构，但学界已逐渐达成共识：除了纯粹的大语言模型骨干外，一个智能体通常还需具备推理、规划、感知、记忆和使用工具等能力。其中一些能力，如推理和工具使用，已通过强化学习在很大程度上内化于模型参数之中（Wang et al., 2025l; Qu et al., 2025b），而另一些则仍然高度依赖于外部的智能体框架。这些组件共同作用，将大语言模型从静态的条件生成器转变为可学习的策略，使其能够与多样的外部环境交互并随时间自适应地演化（Zhang et al., 2025f）。 在这些智能体的核心能力中，记忆 尤为关键，它明确地促成了从静态大语言模型（其参数无法快速更新）到自适应智能体的转变，使其能够通过环境交互持续适应（Zhang et al., 2025r; Wu et al., 2025g）。从应用角度看，许多领域都要求智能体具备主动的记忆管理能力，而非短暂、易忘的行为：个性化聊天机器人（Chhikara et al., 2025; Li et al., 2025b）、推荐系统（Liu et al., 2025b）、社会模拟（Park et al., 2023; Yang et al., 2025）以及金融调查（Zhang et al., 2024）都依赖于智能体处理、存储和管理历史信息的能力。从发展角度看，AGI研究的一个核心目标是赋予智能体通过环境交互实现持续演化的能力（Hendrycks et al., 2025），而这根本上立足于智能体的记忆能力。 智能体记忆需要新的分类法 鉴于智能体记忆系统日益增长的重要性和学界关注，为当代智能体记忆研究提供一个更新的视角既恰逢其时，也十分必要。提出新分类法和综述的动机有两点：❶ 现有分类法的局限：尽管近期已有几篇综述对智能体记忆提供了宝贵且全面的概述（Zhang et al., 2025r; Wu et al., 2025g），但其分类体系是在一系列方法快速进展之前建立的，未能完全反映当前研究图景的广度和复杂性。例如，2025年出现的新方向，如从过往经验中提炼可复用工具的记忆框架（Qiu et al., 2025a,c; Zhao et al., 2025c），或基于记忆增强的测试时缩放方法（Zhang et al., 2025g; Suzgun et al., 2025），在早期的分类方案中尚未得到充分体现。❷ 概念碎片化：随着记忆相关研究的爆炸式增长，"记忆"这一概念本身正变得日益宽泛和碎片化。研究者们常常发现，标榜研究"智能体记忆"的论文在实现方式、目标和基本假设上差异巨大。各类术语（陈述性、情景性、语义性、参数化记忆等）的扩散进一步模糊了概念的清晰度，这凸显了建立一个能够统一这些新兴概念的、连贯的分类法的迫切需求。 因此，本文旨在建立一个系统性的框架，以调和现有定义、衔接新兴趋势，并阐明智能体系统中记忆的基础原理。具体而言，本综述旨在回答以下关键问题： 关键问题
智能体记忆如何定义？它与大语言模型记忆、检索增强生成（RAG）和上下文工程等相关概念有何关联？ 1. 形式：智能体记忆可以采取哪些架构或表示形式？ 1. 功能：为何需要智能体记忆？它服务于哪些角色或目的？ 1. 动态性：智能体记忆如何随时间操作、适应和演化？ 1. 推动智能体记忆研究的前沿方向有哪些？
为解答问题❶，我们首先在第2节为基于大语言的智能体及智能体记忆系统提供形式化定义，并详细比较智能体记忆与大语言模型记忆、检索增强生成（RAG）和上下文工程等相关概念的异同。遵循"形式-功能-动态"三角框架，我们对智能体记忆进行了结构化概述。问题❷探讨记忆的架构形式，我们在第3节讨论并重点介绍了三种主流实现方式：标记级记忆、参数化记忆和潜在记忆。问题❸关注记忆的功能角色，在第4节中，我们区分了三种功能类型：事实性记忆（记录智能体与用户及环境交互中获得的知识）、经验性记忆（通过执行任务逐步增强智能体解决问题的能力）和工作记忆（在单个任务实例中管理工作区信息）。问题❹聚焦于智能体记忆的生命周期与运作动态，我们将按记忆形成、检索和演化的顺序进行阐述。 在通过"形式-功能-动态"视角梳理现有研究后，我们进一步提出了对智能体记忆研究的观点与见解。为促进知识共享与未来发展，我们首先在第6节总结了关键基准测试和框架资源。在此基础上，我们通过第7节探讨数个新兴但尚未充分发展的研究前沿来解答问题❺，这些方向包括面向自动化的记忆设计、强化学习（RL）的融合、多模态记忆、多智能体系统的共享记忆以及可信度问题。 本综述的贡献 总结如下：(1) 我们从一个"形式-功能-动态"的视角，提出了一个最新且多维度的智能体记忆分类法，为理解该领域的当前发展提供了一个结构化的视角。(2) 我们深入探讨了不同记忆形式与功能目的的适用性及相互作用，为如何将各类记忆类型有效地与不同的智能体目标对齐提供了见解。(3) 我们探讨了智能体记忆中新兴且有前景的研究方向，从而勾勒出未来的发展机遇与推进路径。(4) 我们汇编了包括基准测试和开源框架在内的综合资源集，以支持研究人员和从业者进一步探索智能体记忆系统。 综述结构 本综述余下部分结构如下。第2节形式化定义了基于大语言的智能体与智能体记忆系统，并厘清了它们与相关概念的关系。第3、4、5节分别审视了智能体记忆的形式、功能和动态性。第6节总结了代表性的基准测试和框架资源。第7节讨论了新兴的研究前沿和未来方向。最后，我们在第8节总结关键见解，结束本综述。
智能体强化学习（Agentic Reinforcement Learning，Agentic RL）的兴起标志着相较于传统应用于大语言模型的强化学习（LLM RL）的一次范式转变。该转变将大语言模型从被动的序列生成器，重新塑造成嵌入于复杂、动态世界中的自主决策智能体。本文通过对比 LLM-RL 中退化的单步马尔可夫决策过程（Markov Decision Process，MDP）与刻画 Agentic RL 的时间扩展型部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process，POMDP），对这一概念性转变进行了形式化阐述。 在此基础上，我们提出了一套全面的双重分类体系：其一围绕智能体的核心能力展开，包括规划、工具使用、记忆、推理、自我改进与感知；其二则依据这些能力在多样化任务领域中的应用进行组织。本文的核心论点在于，强化学习是将上述能力从静态、启发式的功能模块转化为自适应、鲁棒的智能体行为的关键机制。 为支持并加速未来研究，我们系统整合了当前开放源代码环境、基准测试与研究框架，形成了一份具有实践价值的资源汇编。通过综合分析五百余篇近期研究工作，本文勾勒出这一快速演进领域的整体轮廓，并揭示了将塑造可扩展、通用型人工智能智能体发展的机遇与挑战。
1 引言
大语言模型（Large Language Models，LLMs）与强化学习（Reinforcement Learning，RL）的快速融合，引发了语言模型在概念建模、训练范式与实际部署方式上的根本性变革。早期的 LLM-RL 范式主要将大语言模型视为静态的条件生成器，通过优化单轮输出以对齐人类偏好或提升基准测试成绩。尽管此类方法在对齐（alignment）与指令跟随方面取得了显著成功，但它们忽视了现实交互场景中所固有的、更广泛的序列决策问题。 这些局限性促使研究视角发生转变：近期工作不再将 LLM 视为被动的文本生成器，而是 increasingly 将其建模为智能体（Agents）——即能够在部分可观测、动态环境中，跨越较长时间尺度进行感知、推理、规划、工具调用、记忆维护以及策略自适应的自主决策主体。我们将这一新兴范式定义为智能体强化学习（Agentic Reinforcement Learning，Agentic RL）。 为更加清晰地区分本文所研究的 Agentic RL 与传统强化学习范式，我们给出如下定义： 智能体强化学习（Agentic RL）是指一种范式：在该范式中，大语言模型不再被视为为单轮输出对齐或基准性能而优化的静态条件生成器，而是被概念化为嵌入于序列决策闭环中的可学习策略。强化学习赋予其规划、推理、工具使用、记忆维护与自我反思等自主智能体能力，从而使其能够在部分可观测、动态环境中涌现出长时程的认知与交互行为。 在第 2 节中，我们将基于形式化符号，对 Agentic RL 与传统 RL 之间的区别进行更加严格的刻画。
相关研究脉络
与 Agentic RL 相关的既有研究大体可划分为两条相互补充的研究主线：RL 与 LLM 的协同研究，以及 LLM 智能体。
**RL 与 LLM 的协同（Synergy between RL and LLMs）
第二条研究主线关注强化学习算法如何被用于提升或对齐大语言模型。其中，一项主要方向是用于训练 LLM 的强化学习（RL for training LLMs），该方向采用在策略方法（如近端策略优化 PPO（Schulman et al., 2017）与群体相对策略优化 GRPO（Shao et al., 2024b））以及离策略方法（如 actor–critic、Q-learning（Mnih et al., 2013）），以增强模型在指令跟随、伦理对齐与代码生成等方面的能力（Srivastava & Aggarwal, 2025；Wang et al., 2025m；2024c）。 互补的研究方向是用于强化学习的 LLM（LLMs for RL），该方向探讨将 LLM 部署为规划器、奖励设计器、目标生成器或信息处理模块，以提升控制环境中的样本效率、泛化能力与多任务规划能力，其系统性分类可参见 Cao et al. (2025c)。 此外，RL 已被广泛融入 LLM 的整个生命周期：从数据生成（Guo et al., 2025b；Wan et al., 2025a）、预训练（Dong et al., 2025a），到后训练与推理阶段（Chow et al., 2025），相关综述可参见 Guo & Wang (2025)。其中最具代表性的方向是后训练对齐，尤其是基于人类反馈的强化学习（RLHF）（Christiano et al., 2017），以及其扩展形式，如基于 AI 反馈的强化学习（RLAIF）（Bai et al., 2022）和直接偏好优化（DPO）（Rafailov et al., 2023）（Wang et al., 2024j；Xiao et al., 2024；Liu et al., 2025k；Srivastava & Aggarwal, 2025）。
**LLM 智能体（LLM Agents）
基于 LLM 的智能体代表了一种新兴范式，在该范式中，LLM 作为自主或半自主的决策实体（Wang et al., 2025d；Li et al., 2025r），能够围绕复杂目标进行推理、规划与行动执行。近期多项综述从不同视角对该研究版图进行了系统梳理。 例如，Luo et al. (2025a) 提出了以方法论为中心的分类体系，关联了架构基础、协作机制与演化路径；Plaat et al. (2025) 则强调推理、行动与交互是智能体型 LLM 的核心能力。工具使用（包括检索增强生成 RAG 与 API 调用）是其中的关键范式，已在 Li (2025) 中得到系统讨论，并由 Wang et al. (2024k) 进行了进一步的概念化。 规划与推理策略构成另一支柱性方向，Masterman et al. (2024) 与 Kumar et al. (2025) 等综述总结了诸如“规划–执行–反思”循环等常见设计模式；Tao et al. (2024) 则将该框架拓展至自演化（self-evolution），使智能体能够在较少人类干预的情况下迭代式地改进知识与策略。其他研究方向还涵盖协作式、跨模态与具身化场景，包括多智能体系统（Aratchige & Ilmini, 2025）、多模态融合（Durante et al., 2024），以及融合记忆与感知的类脑架构（Liu et al., 2025a）。
研究空白与本文贡献
近期关于 LLM 智能体与 RL 增强型 LLM 的研究激增，体现了两种互补视角：一类关注大语言模型作为自主智能体核心所能实现的能力，另一类则聚焦强化学习如何优化其行为。然而，尽管相关工作数量庞大，一种将 LLM 明确建模为嵌入于序列决策过程中的策略优化智能体的统一 Agentic RL 框架仍然缺失。 现有研究往往聚焦于孤立的能力、特定任务领域或定制化环境，且术语使用与评测协议不统一，使得系统性比较与跨领域泛化面临困难。为弥合这一鸿沟，本文提出了一种连贯的综合性视角，将理论基础、算法方法与实际系统紧密连接。 具体而言，我们通过马尔可夫决策过程（MDP）与部分可观测马尔可夫决策过程（POMDP）抽象，对 Agentic RL 进行形式化建模，以区分其与经典 LLM-RL 范式的本质差异；并提出一种以能力为中心的分类体系，将规划、工具使用、记忆、推理、反思（自我改进）与交互等视为可由 RL 优化的核心组件。此外，我们系统整理了支持智能体型 LLM 训练与评测的代表性任务、环境、框架与基准，并在文末讨论了开放挑战与面向可扩展、通用型智能体智能的未来研究方向。 总体而言，本文旨在进一步明确本综述的研究范围： 主要关注：
✔ 强化学习如何在动态环境中赋能基于 LLM 的智能体（或具备智能体特征的 LLM） 不在讨论范围之内（但可能偶有提及）：
✗ 面向人类价值对齐的 RL（如用于有害请求拒绝的 RL）； ✗ 非基于 LLM 的传统强化学习算法（如 MARL（Huh & Mohapatra, 2024））； ✗ 仅用于提升静态基准测试性能的 RL 方法。
文章结构
本文的组织结构旨在从概念基础逐步构建对 Agentic RL 的统一理解，并延伸至实际系统实现。第 2 节从 MDP/POMDP 视角形式化刻画向 Agentic RL 的范式转变；第 3 节从能力维度分析 Agentic RL，对规划、推理、工具使用、记忆、自我改进、感知等关键模块进行分类；第 4 节探讨其在搜索、GUI 操作、代码生成、数学推理与多智能体系统等领域的应用；第 5 节整合支撑实验与基准评测的开源环境与强化学习框架；第 6 节讨论开放挑战与未来研究方向；第 7 节对全文进行总结。整体结构如图 1 所示。
随着通用人工智能系统的迅速发展，使这些技术与人类价值、伦理与社会目标保持对齐已成为一项紧迫任务。传统方法通常将对齐视为一种静态的、单向的过程，而本教程将其重新定位为一种动态的、双向的关系：人在其中与 AI 系统不断相互适应。我们提出了一个结构化的人类–AI 对齐框架，并系统性地探讨如何在整个对齐流程中增强人类能动性。 本教程围绕三个核心领域展开：基础（AI 应与哪些价值对齐？）、方法（如何在系统各阶段赋予人类更大的对齐主导权？）、以及实践（AI 部署会带来哪些社会技术影响？）。课程最终将以一个跨学科专家小组讨论作为总结，四位领先学者将围绕新兴的挑战与未来研究方向展开对话。 本教程旨在为参与者提供关键的概念基础、实用的方法论，以及对不断演进的对齐生态的批判性视角。包括幻灯片、代码资源与录制内容在内的全部材料都将在我们的教程网站上公开获取。
https://hai-alignment-course.github.io/tutorial/
1 描述（Description）
通用人工智能的快速发展带来了一个迫切需求：使这些系统与人类价值、伦理原则以及社会目标保持对齐。该挑战被称为 AI 对齐（AI alignment）[1]，它对于确保 AI 系统既能有效运作，又能在最小化风险的同时最大化社会收益具有关键意义。传统上，AI 对齐常被视为一种静态的、单向的过程，旨在引导 AI 系统实现期望结果并避免不良后果[2]。然而，这种单向视角已难以满足需求，因为 AI 系统正以动态且难以预测的方式与人类交互，形成反馈循环，影响着 AI 的行为与人类的反应[3]。这种不断演化的互动关系要求我们从根本上转向一种认识——即人类与 AI 之间关系的双向性与适应性[4]。 尽管以往的对齐教程主要将 AI 对齐视为一种满足人类与机构预期的静态拟合过程，本教程则将对齐重新定义为人类与 AI 之间持续演化的互动过程。为阐明人类与 AI 在对齐中的动态角色，我们提出了一个人类–AI 对齐（Human-AI Alignment）概念框架（见图 1），并系统性地解释人类如何能够在对齐流程的各个阶段获得更强的作用能力。具体而言，本教程围绕三个核心问题展开探讨： 1. 基础（Foundations）——人类期望 AI 与哪些价值与规范对齐？ 1. 方法（Methods）——如何在构建对齐 AI 的过程中赋能人类？ 1. 实践（Practice）——AI 对人类与社会的社会技术影响是什么？
同时，为激发讨论并推动未来研究方向，本教程也将通过综合讨论的形式系统探讨第四部分： 4. 挑战（Challenges）——由三位主讲人与四位跨领域讨论嘉宾，从新兴议题与开放问题出发，对人类–AI 对齐的未来展开深入讨论。
目标（Goals）
本教程旨在通过以下四大目标为受众带来价值： 1. 全面概览（Comprehensive Overview）：提供一个系统化的人类–AI 对齐整体视角，突出人类在对齐流程中的持续参与。 1. 知识与理解（Knowledge and Understanding）：提供与人类价值、对齐技术以及 AI 社会影响相关的系统知识。 1. 实践技能（Practical Skills）：通过交互式代码笔记本与动手练习，使参与者能够掌握可操作的工具，并在多类 AI 系统中实现基本的对齐策略。 1. 促进讨论（Facilitate Discussion）：推动对未来挑战、开放问题与新兴机会的批判性讨论，为参与者未来的研究工作提供灵感。
重要性与影响（Importance and Impacts）
由于当前对齐框架难以充分应对现存的对齐挑战，对掌握人类–AI 对齐全景（包括技术基础与社会技术影响）的专业人才需求正不断上升。本教程旨在弥补这一缺口，使参与者能够在对齐研究、政策制定以及实际部署中发挥有意义的作用。 通过兼顾概念框架、技术方法与批判性讨论，本教程确保参与者能够全面理解当前对齐研究的真实状态，而不会将对齐视为一个已经解决的问题。互动式专家讨论环节进一步培养了受众分析快速演进领域所需的批判性视角与判断能力，使其能够在未来推动人类–AI 对齐方向的深化与创新。
美国总统特朗普于周四晚间公布了其国家安全战略，重点在于加强美国在西半球的军事存在、平衡全球贸易、加强边境安全以及赢得对欧洲的文化战争。这份全面的战略文件通常在新政府上任第一年内发布，旨在阐明总统的外交政策重点，并为可能的资金投向提供指引。这份33页的文件建立在特朗普“美国优先”意识形态的基础之上，同时也首次明确提及总统意图效仿门罗主义，呼吁美国在西半球占据主导地位。“在经历多年忽视后，美国将重新主张并执行门罗主义，以恢复美国在西半球的优势地位，并保护国土及在整个地区关键地域的通行权，”文件中写道。该文件并未明确表明美国将从全球撤退，但它确实呼吁盟友间增加责任分担，提升美国的经济利益和关键供应链的准入，并“释放”美国能源生产能力。
引言——何为美国战略？
为确保美国在今后数十年内始终保持世界最强、最富、最有力和最成功的国家地位，需要一个关于如何与世界互动的连贯、聚焦的战略。而要确立正确的战略，全体美国人民都需要确切了解试图达成什么目标以及为何如此。所谓“战略”，是一个具体、现实的计划，旨在阐明目标与手段之间的本质联系：它始于对期望达成的目标以及现有（或能够切实创造的）可用工具的准确评估。
一项战略必须进行评估、筛选和优先排序。并非每个国家、地区、议题或事业——无论其价值如何——都能成为美国战略的焦点。外交政策的目的是保护核心国家利益；这也是本战略的唯一焦点。冷战结束以来的美国战略皆有所不足——它们要么是愿望或理想最终状态的清单罗列；要么未能清晰界定究竟想要什么，而是陈述些模糊的陈词滥调；还常常误判了真正应该追求的目标。
2. 美国面前的问题
美国面前的问题是：
-
美国应该追求什么？
-
可用的手段是什么？
-
如何将目标与手段结合成一个可行的国家安全战略？
特朗普在加勒比地区的军事行动可能升级
特朗普在加勒比海针对涉嫌毒品走私船只的、为期两个多月的军事行动，可能会获得更多支持，因为该国家安全战略呼吁美国将全球军事存在重新调整至美洲，“并远离那些对美国国家安全相对重要性在近几十年或近些年已下降的地区”。特朗普将美国在加勒比地区的军事行动定性为与毒品卡特尔的“武装冲突”，并特别指出被美国以贩毒罪名起诉的委内瑞拉强人尼古拉斯·马杜罗为主要威胁，称美国可能很快会发动“地面行动”。
尽管未明确提及委内瑞拉，但该国家安全战略呼吁“进行有针对性的部署”以确保美国边境安全并“击败贩毒集团”，“在具有重要战略意义的地点建立或扩大准入”。该战略还聚焦特朗普利用关税主导该地区的做法。但他是否拥有此项权力，正是最高法院一桩待决案件的核心。“美国将优先考虑商业外交，以加强自身的经济和产业，将关税和对等贸易协定作为有力工具，”文件中写道。
尽管文件未明确点名大国在拉丁美洲的渗透，但该国家安全战略表示，美国应利用其在金融和技术领域的杠杆作用，使地区国家远离对手，并强调依赖这些国家在“间谍活动、网络安全、债务陷阱等方面”的威胁。
特朗普批评欧洲未能妥善处理对俄关系
该国家安全战略批评欧洲在与俄罗斯关系恶化问题上“缺乏自信”——但并未提及俄罗斯总统弗拉基米尔·普京在2014年和2022年决定对乌克兰行动，或其在该大陆的破坏活动、干预选举和煽动不稳定行为。该国家安全战略称，美国是唯一能够在欧洲和俄罗斯之间进行调解的力量，以“在欧亚大陆重建战略稳定条件，并降低俄罗斯与欧洲国家之间发生冲突的风险”。
该文件进一步宣称，美国需要“促进欧洲的伟大”，呼应了副总统万斯今年二月在德国发表的演讲。“华盛顿不再假装不会干预欧洲内部事务了，”欧洲对外关系委员会高级政策研究员帕维尔·泽卡在一篇分析文章中写道。“它现在将这种干预定性为一种善举（‘我们希望欧洲保持欧洲特性’）和美国战略必需的事项。重点是什么？‘在欧洲国家内部培育对欧洲当前发展轨迹的抵制’。”
具身智能体（如机器人和虚拟角色）必须持续选择动作以有效完成任务，从而求解复杂的序列决策问题。由于手动设计此类控制器十分困难，基于学习的方法逐渐成为有前景的替代方案，其中最具代表性的是深度强化学习（Deep Reinforcement Learning, DRL）和深度模仿学习（Deep Imitation Learning, DIL）。DRL 依靠奖励信号来优化行为，而 DIL 则利用专家示范来指导学习。 本文档在具身智能体的背景下介绍 DRL 与 DIL，并采用简明而深入的文献讲解方式。文档是自包含的，会在需要时引入所有必要的数学与机器学习概念。它并非旨在成为该领域的综述文章，而是聚焦于一小部分基础算法与技术，强调深度理解而非广泛覆盖。内容范围从马尔可夫决策过程（MDP）到 DRL 中的 REINFORCE 与近端策略优化（Proximal Policy Optimization, PPO），以及从行为克隆（Behavioral Cloning）到数据集聚合（Dataset Aggregation, DAgger）和生成对抗模仿学习（Generative Adversarial Imitation Learning, GAIL）等 DIL 方法。 关键词： 深度强化学习，深度模仿学习，马尔可夫决策过程，REINFORCE，近端策略优化（PPO），行为克隆（BC），数据集聚合（DAgger），生成对抗模仿学习（GAIL）。 具身智能体（例如机器人与虚拟角色）必须持续决定应采取何种动作，以有效执行任务。这一过程本质上是一个序列决策问题：智能体需要在时间维度上不断选择动作来控制自身的执行器，使其能够移动、感知并操控环境，最终完成所分配的任务。 手动设计此类序列决策机制众所周知地困难重重。其挑战包括：构建能够解释智能体高维、多模态感知数据的特征提取器，以及设计从这些特征到执行器指令的最优非线性映射。在许多情况下，控制器还必须具备记忆能力，并主动管理感知过程本身，从而进一步增加了手工工程的复杂性。 一种强有力的替代方案是依赖机器学习。基于学习的方法能够端到端构建控制策略，同时学习感知特征提取器以及从这些特征到执行器命令的映射。为此，这些方法需要一种反馈信号，用以指示智能体在执行任务（无论是行走、物体操作、导航，或其他技能）时表现的优劣。此类反馈通常由人类专家提供。 在某些情境中，人类专家能够直接评估智能体的行为，为期望的动作给予正奖励、为不期望的动作给予负奖励。深度强化学习（Deep Reinforcement Learning）算法利用这一奖励信号来训练端到端控制策略。在其他情境中，专家通过示范来展示如何完成任务。智能体行为与专家示范之间的差异构成了强有力的学习信号，深度模仿学习（Deep Imitation Learning）算法便利用该信号训练端到端控制器。
1.1 概述
本文件旨在向读者介绍应用于具身智能体的深度强化学习（DRL）与深度模仿学习（DIL）。文档首先介绍马尔可夫决策过程（MDP）的形式化框架，并描述精确与近似的求解方法。在近似方法中，本文件将介绍经典算法 REINFORCE [21]，并重点讨论近端策略优化（Proximal Policy Optimization, PPO）[19]，这是当前最广泛使用且在控制具身智能体方面非常有效的强化学习算法之一。 随后，文档将过渡到深度模仿学习，介绍三类基础方法：（a）行为克隆（Behavioral Cloning）[14, 1]；（b）其交互式扩展数据集聚合（Dataset Aggregation, DAgger）[15]；（c）生成对抗模仿学习（Generative Adversarial Imitation Learning, GAIL）[6]。
1.2 目标读者
本文件面向具有大学程度数学与计算机科学背景、希望学习应用于具身智能体的深度强化学习与深度模仿学习的学生与研究人员。尽管假设读者具备基本数学基础，本文件仍包含一章用于回顾理解后续内容所必需的核心数学原理。 不要求机器学习的先验知识，因为所有必要概念将在其出现时引入。本文件旨在自包含：从数学到机器学习相关概念，均以循序渐进、教学友好的方式在需要时呈现。
1.3 内容范围
本文件源于作者编写的课程讲义，并采用简洁而深入（depth-first）的文献处理方式。其目的并非构成该领域的综述，而是刻意聚焦在一小部分基础算法与技术上，优先强调深入理解，而非广泛覆盖。 这一选择基于如下理念：对核心方法的深刻理解，比起对大量现有与未来变体的表层性浏览，更能为独立学习更广泛内容打下坚实基础。
1.4 阅读指南
如果读者需要回顾概率论、信息论与微积分的基本原理，应从第 2 章（数学基础）开始。之后，可根据兴趣沿两条主要路径阅读文档，如下所述。 * 若读者对深度强化学习感兴趣，建议继续阅读第 3 章（马尔可夫决策过程）和第 4 章（深度强化学习）。若同时希望了解深度模仿学习，可继续阅读第 5 章（深度模仿学习）。这类读者也可以跳过第 5.1 节，该节提供了对第 3、4 章关键思想的简要回顾。 * 若读者主要对深度模仿学习感兴趣，而不关心深度强化学习，则可以直接阅读第 5 章（深度模仿学习）。如前所述，该章包含理解模仿学习算法所需的关键概念回顾。
1.5 延伸阅读
文档所述内容可由相关资源进一步补充，以帮助读者获得更深入的理论与实践理解。 对于深度强化学习，Stable Baselines3（SB3）[17] 提供了广泛使用的强化学习算法的可靠 PyTorch 实现，是优秀的实验平台。此外，OpenAI 的教育资源 [13] 结合理论与实践，具有很高的学习价值。Sutton 与 Barto 的教材 [20] 依旧是该领域奠基且高度推荐的参考文献，系统介绍了强化学习原理与方法。 对于深度模仿学习，多篇综述可用于扩展视野与理解历史背景 [7, 23, 22]，同时也有聚焦虚拟角色领域的特定综述 [12, 9]。实践资源方面，imitation 库 [2] 与 ML-Agents [8] 提供了基于 PyTorch 的多种现代模仿学习算法的实现。
**
**
大型语言模型（Large Language Models，LLMs）通过实现从自然语言描述到可执行代码的直接转换，从根本上重塑了自动化软件开发范式，并推动了包括 GitHub Copilot（Microsoft）、Cursor（Anysphere）、Trae（字节跳动）以及 Claude Code（Anthropic）等工具的商业化落地。尽管该领域已从早期的基于规则的方法演进至以 Transformer 为核心的架构，但其性能提升依然十分显著：在 HumanEval 等基准测试上的成功率已从个位数提升至 95% 以上。 在本文中，我们围绕代码大模型（code LLMs）提供了一份全面的综合综述与实践指南，并通过一系列分析性与探测性实验，系统性地考察了模型从数据构建到后训练阶段的完整生命周期。具体而言，我们涵盖了数据整理、高级提示范式、代码预训练、监督微调、强化学习，以及自主编码智能体等关键环节。 我们系统分析了通用大语言模型（如 GPT-4、Claude、LLaMA）与代码专用大语言模型（如 StarCoder、Code LLaMA、DeepSeek-Coder 和 QwenCoder）的代码能力，并对其所采用的技术手段、设计决策及相应权衡进行了深入评估。 进一步地，本文明确指出了学术研究与实际部署之间的研究—实践鸿沟：一方面，学术研究通常聚焦于基准测试与标准化任务；另一方面，真实世界的软件开发场景则更加关注代码正确性、安全性、大规模代码库的上下文感知能力，以及与现有开发流程的深度集成。基于此，我们系统梳理了具有应用潜力的研究方向，并将其映射到实际工程需求之中。 最后，我们通过一系列实验，对代码预训练、监督微调与强化学习进行了全面分析，涵盖尺度定律（scaling law）、训练框架选择、超参数敏感性、模型结构设计以及数据集对比等多个关键维度。
1 引言
大型语言模型（Large Language Models，LLMs）[66, 67, 192, 424, 435, 750, 753, 755, 756] 的出现引发了自动化软件开发领域的范式转变，从根本上重塑了人类意图与可执行代码之间的关系 [1306]。现代 LLM 在多种代码相关任务中展现出卓越能力，包括代码补全 [98]、代码翻译 [1158]、代码修复 [619, 970] 以及代码生成 [139, 161]。这些模型有效地将多年积累的编程经验提炼为可遵循指令的通用工具，使不同技能水平的开发者都能够基于 GitHub、Stack Overflow 及其他代码相关网站中的数据进行使用和部署。 在众多 LLM 相关任务中，代码生成无疑是最具变革性的方向之一。它使自然语言描述能够直接转化为可运行的源代码，从而消解了领域知识与技术实现之间的传统壁垒。这一能力已不再局限于学术研究，而是通过一系列商业化与开源工具成为现实，包括：(1) GitHub Copilot（Microsoft）[321]，在集成开发环境中提供智能代码补全；(2) Cursor（Anysphere）[68]，一款支持对话式编程的 AI 原生代码编辑器；(3) CodeGeeX（智谱 AI）[24]，支持多语言代码生成；(4) CodeWhisperer（Amazon）[50]，与 AWS 服务深度集成；以及 (5) Claude Code（Anthropic）[194] / Gemini CLI（Google）[335]，二者均为命令行工具，允许开发者直接在终端中将编码任务委托给 Claude 或 Gemini [67, 955]，以支持智能体化（agentic）的编码工作流。这些应用正在重塑软件开发流程，挑战关于编程生产力的传统认知，并重新界定人类创造力与机器辅助之间的边界。 如图 1 所示，代码生成技术的演进轨迹揭示了一条清晰的技术成熟与范式变迁路径。早期方法受限于启发式规则和基于概率文法的框架 [42, 203, 451]，在本质上较为脆弱，仅适用于狭窄领域，且难以泛化到多样化的编程场景。Transformer 架构的出现 [291, 361] 并非简单的性能提升，而是对问题空间的根本性重构：通过注意力机制 [997] 与大规模训练，这类模型能够捕获自然语言意图与代码结构之间的复杂关联。更为引人注目的是，这些模型展现出了涌现式的指令遵循能力，这一能力并非显式编程或直接优化的目标，而更像是规模化学习丰富表征的自然结果。这种通过自然语言使非专业用户也能生成复杂程序的“编程民主化”趋势 [138, 864]，对 21 世纪的劳动力结构、创新速度以及计算素养的本质产生了深远影响 [223, 904]。 当前代码 LLM 的研究与应用格局呈现出一种通用模型与专用模型并行发展的双轨结构，二者各具优势与权衡。通用大模型，如 GPT 系列 [747, 750, 753]、Claude 系列 [66, 67, 192] 以及 LLaMA 系列 [690, 691, 979, 980]，依托包含自然语言与代码在内的超大规模语料，具备对上下文、意图及领域知识的深度理解能力。相较之下，代码专用大模型（如 StarCoder [563]、Code LLaMA [859]、DeepSeek-Coder [232]、CodeGemma [1295] 和 QwenCoder [435, 825]）则通过在编程导向数据上的聚焦式预训练与任务特定的架构优化，在代码基准测试中取得了更优性能。诸如 HumanEval [161] 等标准化基准上从个位数到 95% 以上成功率的跃迁，既体现了算法层面的创新，也反映了对代码与自然语言在组合语义与上下文依赖方面共性的更深刻理解。 尽管相关研究与商业应用发展迅速，现有文献中仍然存在创新广度与系统性分析深度之间的显著鸿沟。现有综述多采取全景式视角，对代码相关任务进行宽泛分类，或聚焦于早期模型阶段，未能对最新进展形成系统整合。尤其值得注意的是，最先进系统所采用的数据构建与筛选策略仍缺乏深入探讨——这些策略在数据规模与数据质量之间进行权衡，并通过指令微调方法使模型行为与开发者意图对齐。相关对齐技术包括引入人类反馈以优化输出、高级提示范式（如思维链推理与小样本学习）、具备多步问题分解能力的自主编码智能体、基于检索增强生成（Retrieval-Augmented Generation, RAG）的事实约束方法，以及超越简单二值正确性、从代码质量、效率与可维护性角度进行评估的新型评价框架。 如图 2 所示，Kimi-K2 [957]、GLM-4.5/4.6 [25, 1248]、Qwen3Coder [825]、Kimi-Dev [1204]、Claude [67]、DeepSeek-V3.2-Exp [234] 以及 GPT-5 [753] 等最新模型集中体现了上述创新方向，但其研究成果分散于不同文献之中，尚缺乏统一、系统的整合。表 1 对多篇与代码智能或 LLM 相关的综述工作进行了比较，从八个维度进行评估：研究领域、是否聚焦代码、是否使用 LLM、是否涉及预训练、监督微调（SFT）、强化学习（RL）、代码 LLM 的训练配方，以及应用场景。这些综述覆盖了通用代码生成、生成式 AI 驱动的软件工程、代码摘要以及基于 LLM 的智能体等多个方向。尽管多数工作关注代码与应用层面，但在技术细节覆盖上差异显著，尤其是强化学习方法在现有综述中鲜有系统讨论。 为此，本文对面向代码智能的大语言模型研究进行了全面而前沿的系统综述，对模型的完整生命周期展开分析，涵盖从初始数据构建、指令调优到高级代码应用与自主编码智能体开发等关键阶段。 为了从代码基础模型出发，系统性地覆盖智能体与应用层面，本文进一步提供了一份贯通理论基础与工程实现的详细实践指南（见表 1）。本文的主要贡献包括： 1. 提出统一的代码 LLM 分类体系，系统梳理其从早期 Transformer 模型到具备涌现式推理能力的指令调优模型的发展脉络； 1. 系统分析从数据构建与预处理、预训练目标与架构创新，到监督指令微调与强化学习等高级微调方法的完整技术流水线； 1. 深入探讨定义当前最优性能的前沿范式，包括提示工程技术（如思维链推理 [1174]）、检索增强生成方法，以及能够执行复杂多步问题求解的自主编码智能体； 1. 批判性评估现有基准与评测方法，讨论其优势与局限，并重点分析从功能正确性扩展到代码质量、可维护性与效率评估所面临的挑战； 1. 综合分析最新突破性模型（如 GPT-5、Claude 4.5 等），提炼新兴趋势与开放问题，为下一代代码生成系统的发展提供方向； 1. 通过大规模实验，从尺度定律、训练框架、超参数、模型架构与数据集等多个维度，对代码预训练、监督微调与强化学习进行系统性分析。
微信扫码咨询专知VIP会员