战争算法：人工智能在武装冲突决策中的应用，ICRC视角

在不到一年的时间里，Chat-GPT 已成为一个家喻户晓的名字，反映了人工智能驱动的软件工具，特别是生成式人工智能模型的惊人进步。伴随着这些发展，人们频频预测人工智能将彻底改变战争。在人工智能发展的现阶段，人们仍在探索可能的参数，但军方对人工智能技术的反应是不可否认的。美国网络安全和基础设施安全局局长詹-伊斯特里警告说，人工智能可能是 "我们这个时代最强大的武器"。虽然自主武器系统在有关人工智能军事应用的讨论中往往占据主导地位，但人们较少关注在武装冲突中支持人类决策的系统中使用人工智能的问题。

在这篇文章中，红十字国际委员会军事顾问鲁本-斯图尔特（Ruben Stewart）和法律顾问乔治娅-海因兹（Georgia Hinds）试图批判性地审视人工智能用于支持战争中武装人员决策时被吹嘘的一些益处。其中特别讨论了减轻对平民的伤害和节奏问题，尤其关注武装冲突中对平民的影响。

即使在最近的炒作之前，人们可能已经以各种形式使用过人工智能，事实上，人们可能正在使用主要由人工智能驱动的设备阅读这篇文章。如果您使用指纹或人脸打开过手机，参与过社交媒体，使用手机应用程序规划过旅程，或者在网上购买过披萨和书籍等任何物品，那么这些都可能与人工智能有关。在很多方面，我们对人工智能已经习以为常，常常在不知不觉中将其应用到我们的日常生活中。

但如果人脸识别软件被用来识别要攻击的人呢？如果类似的软件不是寻找最便宜的航班将你送往目的地，而是寻找飞机对目标实施空袭呢？或者，机器推荐的不是最好的披萨店或最近的出租车，而是攻击计划？这显然是开发基于人工智能的国防决策平台的公司 "即将到来 "的现实。

这类人工智能决策支持系统（AI-DSS）是一种计算机化工具，使用人工智能软件显示、综合和/或分析数据，并在某些情况下提出建议，甚至预测，以帮助人类在战争中做出决策。

AI-DSS 的优势往往体现在提高态势感知能力和加快决策周期上。下文将根据人工智能系统和人类的局限性，并结合现代冲突的规划过程，对这些说法进行解读。

将冲突中伤害平民的风险降至最低

新技术在战争中的出现往往伴随着这样的说法，即新技术的整合将减少对平民的伤害（尽管在实践中并不总是如此）。就 AI-DSS 而言，有人声称这种工具在某些情况下有助于更好地保护冲突中的平民。当然，国际人道主义法（IHL）规定，军事指挥官和其他负责攻击的人员有义务根据他们在相关时间所掌握的所有来源的信息做出决定。特别是在城市战争的背景下，红十字国际委员会建议，有关平民和民用物体存在等因素的信息应包括互联网等公开来源资料库。此外，具体到人工智能和机器学习，红十字国际委员会认为，只要人工智能-DSS工具能够促进更快、更广泛地收集和分析这类信息，就能使人类在冲突中做出更好的决策，从而最大限度地减少对平民的风险。

与此同时，任何 AI-DSS 的输出都应在多个来源之间进行交叉核对，以防止信息有偏差或不准确。虽然这对冲突中的任何信息来源都是如此，但对AI-DSS 尤为重要；正如红十字国际委员会先前所概述的那样，由于系统的功能以及人类用户与机器的交互方式，要核实输出信息的准确性可能极其困难，有时甚至是不可能的。下文将进一步阐述这些方面。

系统局限性

最近关于人工智能发展的报道经常包括人工智能失败的例子，有时是致命的。例如，软件无法识别或错误识别肤色较深的人，推荐的旅行路线没有考虑最新的路况，以及自动驾驶汽车造成死亡的例子。其中一些失误是可以解释的，但不可原谅，例如，因为其输出所依据的数据有偏差、被破坏、中毒或根本不正确。这些系统仍然很容易被 "欺骗"；可以使用一些技术来欺骗系统，使其对数据进行错误分类。例如，可以想象在冲突中使用对抗性技术来影响瞄准辅助系统的源代码，使其将校车识别为敌方车辆，从而造成毁灭性后果。

随着人工智能被用于执行更复杂的任务，特别是当多层分析（可能还有决策和判断）不断累积时，验证最终输出以及导致最终输出的任何错误的来源就变得几乎不可能。随着系统越来越复杂，出现复合错误的可能性也越来越大--第一个算法建议中的一个微小不足会被反馈到第二个算法过程中并造成偏差，而第二个算法过程又会反馈到第三个算法过程中，依此类推。

因此，人工智能系统经常表现出用户或开发者无法解释的行为，即使经过大量的事后分析也是如此。一项针对备受瞩目的大型语言模型 GPT-4 的研究发现，三个月后，该模型解决数学问题的能力从 83.6% 锐减至 35.2%，令人费解。不可预测的行为也可以通过强化学习产生，在强化学习中，机器已被证明能够非常有效地采用和隐藏不可预见的行为，有时甚至是负面行为，从而战胜或超越人类：无论是通过撒谎赢得谈判，还是通过走捷径击败电脑游戏。

人类与机器互动面临的挑战

AI-DSS 不会 "做出 "决定。不过，它们确实会直接影响人类的决策，而且往往影响很大，其中包括人类在与机器交互时的认知局限性和倾向性。

例如，"自动化偏差 "指的是人类倾向于不批判性地质疑系统的输出，或搜索矛盾的信息--尤其是在时间紧迫的情况下。在医疗保健等其他领域已经观察到了这种情况，经验丰富的放射科医生的诊断准确性受到了人工智能错误输出的不利影响。

在医疗领域，不准确的诊断可能是致命的。同样，在武装冲突中，过度信任也会带来致命后果。2003 年，美国的 "爱国者 "防御系统两次向友军联军飞机开火，原因是这些飞机被误认为是攻击导弹。在随后的调查中，发现的主要缺陷之一是 "操作员接受了信任系统软件的培训"。

这些运作方式，再加上人机互动的这些特点，有可能增加结果偏离人类决策者意图的可能性。在战争中，这可能导致意外升级，无论如何都会增加平民和受保护人员的风险。

节奏

人工智能在军事上被吹捧的一个优势是，它能让用户的决策节奏快于对手。节奏的加快往往会给平民带来额外的风险，这就是为什么要采用 "战术忍耐 "等降低节奏的技术来减少平民伤亡。放慢决策节奏，包括为决策提供信息的过程和评估，可以让系统和用户有额外的时间：

看到更多
了解更多；以及
制定更多选择。重要的是，在整个决策链中都是如此，而不仅仅是在最后的 "决策点"。因此，声称 AI-DSS 将加快最终决定是否 "扣动扳机 "的耗时步骤，从而实际上为战术忍耐带来更多时间的说法，有可能过度简化当代冲突中的目标选择和武力执行过程。

额外的时间让你看到更多

2021 年 8 月 29 日，在喀布尔大撤退期间，无人机对喀布尔进行了臭名昭著的空袭，造成 10 名平民死亡，中央司令部指挥官将这次空袭归咎于 "我们没有多余的时间来分析生活模式和做其他一些事情"。

"生活模式"分析是一些军队对平民和战斗人员的存在和密度、他们的时间表、在考虑攻击的地区内和周围的移动模式等进行评估的描述。这是减少平民伤害的重要方法。然而，对生活模式的评估只能实时进行--平民创造这种模式需要时间--无法加快。

试图根据历史趋势预测未来行为的做法无法顾及当前情况。在这个例子中，回顾旧的情报资料，特别是喀布尔的全动态视频，并不能反映出由于塔利班接管和正在进行的疏散工作而发生的形势和行为变化。

正如预防平民伤亡指南所解释的那样，"等待和观察的时间越长，你就会对发生的事情了解得越多，也就能更好地做出使用致命或非致命手段的决定"，或者正如拿破仑所说的那样 "慢慢给我穿衣服，我赶时间"--有时，刻意为之才能达到最佳效果。

额外的时间可以让用户理解更多

放慢决策速度的另一个原因是，人的理解能力，尤其是对复杂和混乱情况的理解能力，需要时间来培养，也需要时间来斟酌适当的应对措施。时间越少，人理解局势的能力就越弱。军事规划流程旨在让指挥官和参谋人员有时间考虑作战环境、对手、友军和平民，以及所考虑的行动方案的利弊。正如德怀特-D-艾森豪威尔将军所解释的，"在准备战斗的过程中，我总是发现计划是无用的，但规划是不可或缺的"。

当人类决策者考虑由 AI-DSS 生成或 "推荐 "的行动方案时，这一点就会产生影响，因为相对于对手而言，AI-DSS 加快行动节奏的能力可能是被利用的最主要原因。如果人类计划人员没有经历或甚至完全不了解 AI-DSS 提出的计划的制定过程，那么他对局势、各种影响因素和相关人员的了解可能就会很有限。事实上，人们已经注意到，使用自动辅助工具会降低人类用户的警觉性，损害他们保持态势感知的能力。这一点应从如何影响遵守国际人道主义法义务的角度加以考虑；尽一切可能核查目标的义务表明，需要最大限度地利用现有情报、监视和侦察资产，以获得在当时情况下尽可能全面的态势感知。

结论

"战争是混乱的、致命的，从根本上说是人类的努力。它是人与人之间的意志冲突。所有战争本质上都是为了改变人类的行为，每一方都试图通过武力改变另一方的行为"。"战争源于人类的分歧，在人类群体之间展开，由人类控制，由人类结束，而在战争结束后，人类又必须共存。最重要的是，冲突中的苦难由人类承担。

这一现实，乃至国际人道主义法本身，都要求在武装冲突中开发和使用人工智能时采取 "以人为本 "的方法--努力在本已不人道的活动中维护人性。这种方法至少有两个关键方面：(1) 关注可能受影响的人；(2) 关注使用或下令使用人工智能的人的义务和责任。

在研究可能受影响的人时，不仅要考虑在使用 AI-DSS 获取军事优势时减少对平民的风险，还要考虑专门为保护平民的目标设计和使用这类工具的可能性。在这方面已经提出的可能性包括识别、跟踪和提醒部队注意平民人口存在的工具，或识别在武装冲突中表明受保护地位的特殊标志的工具（见这里和这里）。

确保人类能够履行其在国际人道主义法下的义务意味着 AI-DSS 应为人类决策提供信息，但不能取代人类对武装冲突中人们的生命和尊严构成风险的判断。在自主武器系统方面，各国已广泛认识到这一点（例如，见此处、此处和此处）。遵守国际人道主义法的责任在于个人及其指挥官，而非计算机。正如美国国防部《战争法手册》所述："战争法并不要求武器做出法律决定......相反，必须遵守战争法的是人。中国在《新一代人工智能伦理规范》中更普遍地强调了这一点，坚持 "人是最终的责任主体"。

关于 AI-DSS 必然会加强平民保护和遵守国际人道主义法的说法必须受到严格质疑，并根据这些考虑因素进行衡量，同时考虑到我们对系统局限性、人机互动以及行动节奏加快的影响的了解。

参考来源：International Committee of the Red Cross

成为VIP会员查看完整内容