美国防部机构推动人工智能红队测试演进：DARPA“战场效能鲁棒性人工智能安全”（SABER）项目

美国国防高级研究计划局（DARPA）团队正在开发工具与技术，以更好地发现基于人工智能系统的防御漏洞。

图：美国国防高级研究计划局的新倡议构建了一个人工智能红队范例，允许开展对手角色的真实模拟及针对基于人工智能系统的现实攻击。

DARPA“战场效能鲁棒性人工智能安全”（SABER）

随着基于人工智能的系统变得比以往更加普及和复杂，国防官员正在探索新方法以确保这些模型受到保护免受敌方攻击。美国国防高级研究计划局官员满足这一需求的方式之一是通过“战场效能鲁棒性人工智能安全”（SABER）计划。据国防高级研究计划局人员介绍，该倡议旨在帮助构建理想的人工智能红队范例，同时为其提供反人工智能训练、工具与技术，使其能够真实扮演对手角色，并对基于人工智能的系统发起模拟现实攻击。

当前团队发现，在将人工智能能力集成到战斗后，难以测试和评估基于人工智能系统的潜在漏洞。因此，国防部官员采取主动而非被动的应对方法，创建实用模拟以识别任何可能的改进领域。此外，国防高级研究计划局领导人承认基于人工智能的系统存在多个可能被敌方利用的领域，但传统思维仅关注模型本身。

若真要击败或保护人工智能赋能系统免受此类攻击，其漏洞范围远不止模型本身。可被操纵的作战环境本身存在漏洞；还有各类传感器；数据管道；其间通信；存在的数据馈送与数据链路等；还有实际开发模型；以及模型被调用执行特定任务（如此处的推理时间）的时刻。

因此，不仅这类人工智能系统的现实风险已知，且缺乏真正量化风险的方法。过去过度聚焦于模型。部署这些人工智能赋能系统时，必须考虑整个管道，包括人工智能赋能系统的开发与部署管道。

自主系统进行红队测试

SABER计划团队旨在处理包含人工智能技术的若干具体领域，尤其是在自主模型方面。从无人地面载具到航空系统再到无人机，由于这些工具能助作战人员更快速便捷地完成任务同时保障其安全，对其需求正日益增长。伤亡撤离与后勤再补给即为例证。但保障执行这些任务的技术受到保护的进程已显滞后。

这些自动驾驶卡车极大助力后勤等工作，但如今拥有这些坚固的无人地面载具，可凭借不同传感器与机器学习模块在军事地形上自主行驶从A点到达B点。这无疑是需要探索的新威胁面，SABER计划将开展此项工作。

该计划正值部署这些自主系统的关键时期。美国陆军官员称，随着陆军将人机编队融入作战，使士兵与机器人系统协同作战以获得最佳战场结果，这一创新编队须待作战人员确认技术能抵御敌方威胁后方能投入实战，而这正是SABER计划的目标所在。

在全面推进无人地面载具部署前，对陆军而言，这直接关联到人机编队。人机编队是陆军未来司令部司令詹姆斯·雷尼上将及其他陆军领导人的首要任务。[在]人机编队中，机器的重要组成部分是无人地面载具（包括地面与空中），因此若要将这些投入编队部署，需确保其可信赖。部分保障源于从作战角度对其进行彻底红队测试。

SABER实施

SABER计划预计持续约两年，官员将用四分之三时间聚焦构建必要团队与技术并进行评估。此外，该计划分为四个阶段。

图：美国防高级研究计划局官员应对基于人工智能系统攻击的新方法是“战场效能鲁棒性人工智能安全”计划。图片来源：国防高级研究计划局

第一阶段历时四个月，官员将最终确定计划及相关实验。第二阶段称为“SABER作战演习一”，持续九个月。

此期间，领导人计划进行四次不同演习，着重为蓝队与红队创建度量基线。官员还将对无人地面载具进行迭代测试以提升人工智能红队效能。实验后，团队将利用结果发现改进领域，从而开发新战术、技术与程序。第三阶段称为“SABER作战演习二”，团队将重复第二阶段，但改用无人机而非无人地面载具。最后，第四阶段为收尾阶段。巴斯蒂安称，此阶段SABER人员将复盘经验教训并固化战术、技术与程序的新文档。

SABER项目领导人正与多个合作伙伴协作，确保计划应对军方核心关切。巴斯蒂安表示，作战测试与评估主任办公室、美国网络司令部、国家安全局及项目执行办公室仿真、训练与仪器仪表内部办公室等机构官员均参与此开发工作。

此外，众多公共部门团体表现出高度兴趣并愿意参与及利用计划成果。除陆军与整个国防部外，私营部门人员与学术界人士也表示希望参与SABER计划。

执行方与利益相关方均抱有极大兴趣。同时，行业正持续从生成式人工智能、大语言模型、基础模型角度推进人工智能红队测试，无论是系统级保障还是不同技术与工具，但其未聚焦所称的经典机器学习及其如何集成至不仅应用程序还包括战场系统的过程，从国防高级研究计划局视角看这颇具积极意义。