在这篇文章中,将探讨军事神经技术的新兴领域,以及它挑战战争边界的方式。我们将论证,这些技术不仅可以用来提高作战人员的认知性能,而且可以作为一种手段,在自主和机器人武器系统中利用人工智能。然而,这需要实践协作性的网络指挥和电子人伦理的管理框架,以确保军事行动中的人类控制和责任。对这些管理原则的讨论坚持了军事研究的传统。因此,我们不打算提出一个神经科学的研究计划。我们也不希望着手于人工智能和机器人等学科的技术解决方案。相反,我们的意图是使这些科学的高度专业化语言能够为军事从业人员和政策制定者所接受,将技术进步和挑战带入未来战争的讨论中。

引言

"目前估计,人工智能和机器人系统将在2035年的作战框架中无处不在"。(RAS MDO白皮书 2018: 25)

我们是否处于军事事务机器人革命的边缘?智能机器是否会控制未来的战场并取代人类战士?军事神经技术、机器人技术和人工智能(AI)的最新进展唤起了 "电子人战士 "的跨时代形象,这是一个由AI和神经认知增强技术驱动的武器化脑计算机网络。在这些新兴的军事技术出现后,我们对人类智能、自主性和责任的一些最基本的假设和定义受到了挑战。这些概念对于我们理解战争的合法和道德行为至关重要。它们也与人类的能动性以及在生死攸关的情况下做出取决于环境的决定和关键评价的能力密切相关。亟待回答的问题是,这些概念是否以及如何适用于根据定义不完全是人类的半机械系统?电子人战士是一种什么样的军事能力?一个战士还是一个武器系统?是人还是机器?在下文中,我们将论证电子人战士既不是一个人类主体,也不是一件军事硬件,而是一个人类和非人类能力的异质组合--或者说是一个 "纽带",在军事战斗网络中传输和解码信息流。因此,我们更愿意谈论电子人和神经认知武器系统,强调人类和人工智能的内在纠缠,挑战传统的人机区别和二分法。

直到最近,大多数人认为电子人战争纯粹是科幻小说。的确,很难想象有什么比一支由人工智能增强的机器人军队指挥未来的战场更黑暗、更令人不安(Marks 2015;Scharre 2018)。然而,电子人技术在军事行动中的应用并不仅仅是一种未来主义的幻想。今天,先进的脑机接口被定制为F-35战斗机飞行员使用的个人头盔("可穿戴驾驶舱"),并构成了作战人员在训练和战术战斗场景中使用的各种头戴式显示器(HMD)的标准应用。最近,在神经智能(情报融合和预测分析)、作战人员的神经认知增强(自适应和交互式脑机接口)和神经武器学(目标识别、协调和控制武器系统)等领域取得了神经科学的进展(Giordano 2015),使用人工智能作为人类决策支持和认知增强。

然而,随着这些新兴技术的发展,人们越来越关注它们将如何影响军事指挥和控制(C2)的未来,包括武器化神经认知系统的法律和伦理影响。由于人工智能在先进的神经武器中发挥着重要作用,这些考虑因素中有许多与人工智能和所谓的 "杀手机器人 "的军事使用所带来的不安全因素相吻合。自主机器人系统能对其行为负责吗?它们是否能够遵守国际人道主义法的法律和道德公约?它们能否在一个高度动态和混乱的作战环境中区分战斗人员和非战斗人员?这些问题仍然存在争议,可以说是 "内置 "在人工智能增强的电子人武器系统中,对现有的法律框架和道德价值观提出了挑战。

我们认为,要解决这些问题,就需要仔细研究这些技术要解决的问题。正如神经科学家James Giordano所说,人工智能和神经认知系统在军事战斗网络中的部署应被视为对作战环境中越来越多的实时数据的回应,以及对超出人类认知能力限制的信息过载挑战的回应(Giordano 2015)。在下文中,我们认为,在电子人武器系统中,人类和人工智能的混合不仅增强了作战人员的认知性能。它还提出了一种方法,在智能和无人系统中利用更多的自主权,同时让人类 "在环路中",在军事行动中应用法律和道德判断以及对环境敏感的战争协议。

更具体地说,我们认为,由人工智能支持的脑机网络有可能重新配置军事指挥的经典等级结构,促使其转变为一个更具协作性和灵活性的网络指挥系统。这需要实践一种新形式的 "网络指挥责任 "和一种反思性的 "法理学",以确定军事行动中的问责和责任问题,例如。哪些情况下可以保证使用神经认知武器系统?谁能最终对电子人战士的决定和行动负责?

鉴于神经科学和技术的相对新生,这些问题中的许多仍然是推测性的。然而,基于人工智能的神经接口的进展速度以及军事指挥、控制、通信、计算机、情报、监视和侦察(C4ISR)的 "速度需求 "将继续把电子人技术和神经伦理考虑推到前台。

在这篇文章中,我们将讨论电子人武器系统的越轨性质以及它们塑造人类对战争的感知和行为的方式。采用社会技术和建构主义的方法来处理技术调解和风险的共同生产,我们并不试图进行神经科学的研究。我们也不制定人机共生的技术解决方案。相反,我们将介绍电子人和神经认知武器的一些基本概念和定义,这将允许对新兴的 "神经空间 "领域和作战人员的人类增强进行批判性辩论。尽管这一讨论的基础是高度技术性的,但文章转向了军事研究而不是神经认知和计算机科学。

我们讨论的经验基础来自各种军事技术评估,如北约科学和技术组织(NATO STO)2020-2040年趋势报告(2020年)和未来二十年新兴神经生理和认知/神经研究军事和情报方法特设委员会(美国国家科学院国家研究委员会)发表的关于新兴认知神经科学和相关技术的标志性报告(2008年)。为简化起见,我们将此文称为NAS 2008报告。为了将自己牢牢地置于当前的多域作战(MDO)的操作框架中,我们还广泛地借鉴了陆军能力中心--未来战争部(2018)关于 "支持多域作战的机器人和自主系统的操作化 "白皮书,以下简称RAS MDO白皮书。带着这种经验性的 "双重视野",我们开始探索神经科学、机器人技术和军事指挥的交叉点。

文章分为四个部分。第一部分介绍了电子人技术和神经武器的一些基本概念和定义,作为新兴神经科学安全话语的一部分。文章的第二部分设定了多领域战争的一般框架和背景,这些技术在其中被塑造并作为军事能力应用。第三部分介绍了"协作风险调解 "和 "复合意向性 "的概念,强调了人类和人工智能在新兴神经空间领域的相互纠缠和 "干扰"。在文章的最后部分,我们讨论了对管理原则和指导方针的迫切需要,包括电子人战争的法律和伦理方面。因此,我们呼吁对神经空间的新兴领域和实践进行跨学科讨论,并在国际安全界对神经伦理标准进行谈判。在这些讨论的中心,我们提出了网络化军事指挥中 "有意义的人类控制 "和责任问题。

神经科学安全和电子人战士

作为探究的第一步,我们需要区分神经技术和人工智能,前者用于检测、影响和锁定人脑活动(例如:改善、修复、退化或操纵认知技能),后者则用于计算机、传感器和机器人系统。神经网络 "是人工智能的一种特殊形式,由一组类似于工作中的人脑的算法组成。神经网络中的'神经元'是一个数学函数,根据特定的架构收集和分类信息(Chen 2019)。另一方面,神经认知或电子人网络是人类和人工智能的混合系统,即整合了人类和计算机的认知优势的脑-机网络。多年来,人脑科学和人工智能科学这两门科学并肩发展,相互启发,相互借鉴。现在,神经技术和人工智能的科学探索正在迅速融合,并加快了神经反馈系统的发展,使人脑和计算机之间形成双向通信流。人工智能和神经技术的融合以及整合,而不仅仅是结合或 "组队 "人类和机器认知的影响,是我们关注的焦点。人类和计算机到处都在一起工作。这并不新鲜。然而,直到最近,他们都是作为独立的实体这样做的。这种分离正开始被侵蚀,因为无处不在的人工智能和神经技术的进步使得人类和机器认知之间的区别变得不明确,在某些情况下甚至已经过时。当我们提到 "电子人和神经认知武器系统",而不仅仅是一个或另一个时,正是因为我们想强调人类和非人类认知的这种日益增长的干扰,它远远超出了--并且必须与其他混合技术相区别,如仿生肢体和先进的听力或视觉辅助设备。

出于同样的原因,重要的是不要将电子人战士的概念与 "半人马战士"(Scharre 2018: 321)的概念相混淆,后者经常被用作人机合作的隐喻。这两个概念密切相关,但并非同义。这种区别可以表达为机器智能、感知和推理的整合和自动化之间的区别。半人马的人机组合由人类和机器组成,机器执行明确划分的自动化功能,而电子人战士的功能是一个神经强化的综合系统架构,融合了人类和机器的认知。半人马的人机组合并不一定意味着人类操作者的认知或感觉的增强。人类和机器的认知在神经上并不融合。相反,人类和机器执行不同的特定角色任务,这些任务主要是基于预先确定的决策模型,其中机器的角色是由一个或多个规则集决定的(Murray & Yanagi 2015: 17)。

与半人马的人机组合相反,电子人没有预先编程的角色规格,而是不断适应作战环境中不断变化的情况和需求。根据Kline和Clynes(1961)的观点,这类系统可以被视为 "控制论的生物体"(即电子人),因为它们同时包含了自然和人工系统,具有功能性、可移植性和/或生物集成性(Wurzman & Giordano 2015: 90)。因此,控制论和电子人系统可以被视为 "复杂的分布式人机网络,如集成软件或机器人对人类控制活动的增强,将融合和协调人类和计算机的独特认知优势" (Wurzman & Giordano 2015: 90)。因此,在网络化风险环境中使用的电子人技术将 "反映出人类和机器的自主倡议和原始问题解决的结合。这意味着军事决策中的共同机构和责任"(Murray & Yanagi 2015: 17)。

将共同的代理权和责任归于人类和机器是对电子人和神经认知武器系统定义的核心,并划定了从自动决策支持到协作性信息和风险管理的转变,人类和机器智能调解并共同塑造对风险的感知、组织和分配。这种系统的优点是增加灵活性和问责制,确保人类对交战的判断和责任,同时利用人工智能的精度和速度。当电子人技术被用作进攻性武器系统时,这一点变得尤为迫切(Murray & Yanagi 2015: 17)。

每当神经认知系统被用作对付对手的武器(无论是防御性的还是进攻性的),它们都被广泛归类为 "神经武器"。传统上,武器被定义为 "与他人竞争的手段 "和 "用于伤害、击败或破坏的东西"(梅里亚姆-韦伯斯特字典2020)。正如神经科学家Rachel Wurzman和James Giordano所说,这两个定义都适用于在情报和/或防御场景中作为武器使用的神经技术:

  • "神经技术可以通过信息和技术基础设施来支持情报活动,以加强或阻止准确的情报评估,有效处理积累的复杂数据,以及人类的战术或战略。神经武器在传统防御背景下(如战斗)的目标可以通过改变(即增强或降低)神经系统的功能来实现,从而影响认知、情感和/或运动活动和能力"(Wurzman & Giordano 2015: 80-81)。

然而,神经武器本质上是模棱两可和难以捉摸的系统,不容易解释和定义。不存在一个明确的、权威的定义,关于核心部件、结构、设计和目的的分歧是由学术界、工业界、军方和国家民政部门的不同安全行为者协商决定的(McCreight 2015: 117)。此外,一个重要的问题是 "与认知科学有关的大量伪科学信息和新闻界的过度简化"(NAS 2008报告)。因此,神经武器的定义往往要么过于宽泛,要么过于狭窄,对批判性评价没有用。情报分析家罗伯特-麦克雷特(2015)曾试图推出一个全面的定义,他提出:

  • "神经武器包括所有形式的相互联系的控制论、神经学和先进的生物技术系统,以及使用合成生物配方和合并的生理生物学和化学科学,专门设计用于攻击人类"(第117页)。

这里的问题是,这个定义本身变得非常抽象,需要翻译才能适用。相反,为了我们的目的,我们将使用一个更实用的定义:神经武器包括任何种类的神经技术制剂、药物或装置,旨在提高或阻止作战人员的认知性能,并将情报和指挥结构作为非动能和动能武器的目标。因此,它们可以被用来影响、塑造、增强或限制人类的感知和决策。有了这些通用属性作为神经武器的一个非常广泛的特征,我们可以把电子人战士归类为一种特定的神经认知武器系统,即某类神经武器,在混合脑机网络中使用人工智能作为认知增强。

这个电子人和神经认知武器的初步轮廓与流行的《终结者》科幻版有相当大的距离。换句话说,它们不是自主的 "杀人机器人"。相反,它们是以网络组合的形式出现的,有多个操作员、传感器、计算机和平台,结合了网络系统和大脑功能。因此,电子战士既不是人类主体,也不是自主机器人,而是一个增强的分布式系统架构,一个混合的人机网络,在军事任务规划和控制中整合了人工和人类认知。这意味着必须在现有的多领域战斗空间的定义中加入网络和空间之外的新领域。继McCreight(2015)之后,我们采用了神经空间的概念,来划分由联网的人类和计算机执行的多领域战争的新战略前沿的出现。正如他所说,"新的战斗空间就是大脑本身"(McCreight 2015: 125)。

有了这个概念框架,我们希望强调电子人系统的越轨性质,以及它们作为国家安全问题的呈现方式。关于神经强化武器系统的安全论述既涉及破坏性神经技术的机会,也涉及其风险。不同的安全行为者对神经武器持有不同的、相互竞争的观点。一些学者警告说,针对人类思维的武器化和不受控制的控制论系统是危险的(Farwell 2015)。其他人则强调神经强化能力的好处,这些能力可以最大限度地提高士兵在情报行动中的表现,支持军事决策,并增加对无人驾驶、基于人工智能和机器人系统的投资回报(Stanney等人,2015;NAS 2008报告)。这样一来,我们发现有两种神经科学的叙述将电子人战士的领域安全化。一方面,我们发现一种不受管制的 "神经战争 "的 "黑暗面 "的叙述,全球联网的自学机器控制着人类的生命和死亡。这可以被称为 "神经怀疑论 "的叙述(Benanti 2015)。另一方面,我们发现了一种由人工智能支持的认知增强和 "决策优势 "的叙述,它加强了对形势的认识,提高了作战人员的表现,并在多个作战领域整合了效果。这可以被称为 "神经乐观主义 "的叙述。这两种叙述都借鉴并促进了神经科学网络话语的出现,使神经空间的边界安全化。然而,这些边界本质上是不稳定的,并且作为战场的临时规定和安排不断地被重新谈判和重构。这些安排包括人和技术、军事理论、法律和伦理惯例、技术规范以及政治方案,它们将神经空间作为一个独特的行动领域来执行和共同塑造。

这种理解从根本上改变了我们通常对人类和技术之间关系的看法,并挑战了现有的战争规范和边界。我们不再使用人类和机器之间的经典二元区分,而是将它们视为合作的风险调解者,共同塑造和共同执行任务规划和执行。这涉及到从对情报和机构的 "以人为本 "的理解转变为分布式(非等级)网络模型,承认人类和技术的相互联系(Oie & McDowell 2015: 34)。

分布式认知网络与多域战争

根据Wurzman和Giordano(2015)的说法,在当代战争中,武器化的神经技术和电子人有很大的用途,因为威胁环境是 "不对称的、无定形的、复杂的、快速变化的和不确定的","需要更大的速度和灵活性" (第81页)。这一观点得到了多领域战争的一般特征和追求 "改变游戏规则 "的军事技术的支持,这些技术是确保战场上的成功所必需的。因此,人们普遍认为,战场上的成功取决于在一个日益网络化、加速和信息密集的安全环境中运作的能力(Oie & McDowell 2015: 35-36)。此外,人们普遍认为,信息技术在战场上的扩散和使用,使得保持 "生成、操纵和使用信息的优势",即 "信息优势 "至关重要,以确保 "决策优势"--换句话说,就是比对手更好、更快做出决策的过程(Oie & McDowell 2015: 36)。

RAS MDO白皮书(2018)中表达了这种对未来战场的信息驱动方法,指出 "未来的部队需要通过雇用人工智能来收集、评估、分析和融合数据的能力"(RAS MDO白皮书 2018:v)。提到MDO概念,白皮书描述了如何利用人类和智能机器的先进网络来超越敌军,并在各领域(陆地、空中、海上、太空和网络空间)、电磁(EM)频谱和信息环境中对抗其反介入/区域封锁(A2/AD)能力。根据白皮书,MDO中成功的战斗管理的关键是联网的人工和人类智能:

  • "人工智能代理和算法将通过处理、利用和传播情报和目标定位数据来实现未来的部队行动。作战部队将使用人工智能来提示传感器和整合跨域火力;减少工作人员的认知负荷,同时使指挥官在战斗的节奏中做出决定;以及管理空域、网络、机器人和自主系统"(RAS MDO白皮书:35)。

为了支持这一观点,国防部高级研究计划局(DARPA)等组织已经启动了神经技术研究项目,研究先进的信号处理技术,对神经模式进行实时编码,以改善军事决策和预测分析(Farwell 2015: 134)。这包括利用纳米神经科学、神经影像学和网络神经系统与中枢和外周神经系统互动的神经接口和传感器设计(Krishnan 2016: 15)。这些技术提供了旨在评估、访问和瞄准神经系统的技术和工具(Giordano 2015),可用于影响军事行动中人类表现的认知、情感和行为方面。

这些评估的一般假设是,神经技术的进步将作为未来战场的 "力量倍增器 "获得重大的重要性和影响,"在这种情况下,无人系统、人工智能和网络行动的结合可能会导致冲突在时间轴上进行,而人类仅靠现有技术是无法有效管理的"(Emondi 2019;北约科技组织2020: 96-97)。同样,报告认为,智能的、分布式的人机网络将能够在先进的传感器网格和情报分析员工作台、联合或联盟行动的协调、后勤和信息保障方面协助人类操作员(NAS 2008报告:143)。这将使未来的部队能够实时了解作战环境,提高速度和态势感知,减轻作战人员的认知工作量,利用自主和机器人系统,并将所有作战领域的能力融合。

这些评估是神经科学安全话语中的关键因素,并在很大程度上借鉴了多领域战争中 "决策优势 "的神经乐观主义叙述。然而,从神经科学想象的反面来看,我们发现有一种相互竞争的说法,强调电子人系统容易受到网络攻击、入侵和敌军对信息的操纵,威胁到网络的核心功能以及人类操作员的安全。如何保护他们免受 "神经恶意软件 "感染网络?如果人类和计算机都是神经网络化的,那么人类操作员是否会被敌国政府、恐怖分子或网络犯罪分子'黑'甚至控制?一个'神经攻击'会是什么样子,如何能检测到它?我们是否会进入一个以机器速度发生的、远远超出人类感知极限的电子人闪电战的时代?这些都是神经怀疑论者和神经战争的反对者提出的令人不安的--也是未回答的--问题。

为了更好地理解这些挑战,我们将不得不仔细研究人机界面,以及人类和人工智能相互塑造和调解对作战环境的感知的方式。更具体地说,我们要探讨这些跨时代的技术如何调解人类和机器的认知,以及它们如何塑造机械战士的领域。

脑机网络与协同风险管理

在“新兴认知神经科学和相关技术”的开创性报告(NAS 2008年报告)之后,神经认知技术和脑机网络的基础是对工作中的大脑所发出的各种形式的能量进行捕捉和可视化。这种可视化是通过功能神经成像设备实现的,即呈现人脑神经活动的数字图像的设备,如fMRI或EEG(见图1)。

图1 功能性磁共振成像(fMRI)

神经影像学可以通过测量大脑活动的变化,实时检测和分类人类的认知状态,如疲劳或精神和感觉过载。通过可视化不同类型的大脑活动,神经影像技术为复杂的神经过程提供了不同的窗口,其目的通常是为了了解区域神经活动与特定任务、刺激、认知和行为模式之间的关系(NAS 2008报告:51)。通过先进的信号处理和模式识别,机器学习可以对神经活动的特定模式进行检测、分类和解释,从而实现人与机器之间的信息双向传输。虽然神经成像技术和自学算法的发展构成了先进的脑机接口和增强感官能力(如视觉和听觉增强)的基础,但对人脑的直接神经增强仍处于早期发展阶段,在2050年前不太可能实现(NATO STO 2020: 96)。尽管如此,根据北约2020-2040年的技术趋势报告,基于双向数据传输和网状网络的认知增强是一种真正的可能性(NATO STO 2020: 96)。正如DARPA的增强认知计划的最新发展所示,功能神经成像技术与机器学习和人工智能相结合,可用于控制无人驾驶和远程驾驶系统并与之沟通,从而实现高效的搜索和百科全书式的信息获取(NATO STO 2020::52)。这需要通过侵入性神经技术植入物(纳米传感器)或非侵入性的外部设备,在人脑和计算机之间进行有效的神经解码和转换过程(见图2)。

图2 两个技术领域:非侵入性和微小侵入性神经技术

作为一个例子,DARPA一直在研究非侵入性的脑机接口,将人类视觉系统作为计算机系统的输入设备,以提高视觉搜索模式下的数据处理速度(NATO STO 2020)。在DARPA的下一代非手术神经技术(N3)计划中,目标是创建可靠的神经接口,而无需手术(Emondi,2020)。取代侵入性的大脑植入物,脑机接口被设计成一个可穿戴的头戴式设备(帽子、头盔或面罩),在一个闭环的双向反馈系统中,将电信号从大脑传输到计算机并返回给操作者(见图3)。大脑信号由可穿戴界面的传感器接收,由人工智能进行分析和翻译,并作为输出信号传回给人类操作者,例如,作为与目标交战的备选方案清单或协调来自其他平台或网络武器系统的数据流。最终,我们设想自适应神经反馈系统可以帮助开发和评估目标数据,创建分层选项,实现跨领域的协同,并在时间敏感的环境中利用机会。在目前的发展阶段,这些界面主要适用于提供相对稳定和受控环境的军事后方设施和总部的分析员和操作员。然而,更好地理解闭环和自适应神经反馈系统将是必要的,以改善系统设计,最大限度地提高人的表现,同时避免操作人员和情报分析人员的精神或认知过载。

图3 由van Gerven等人(2009)描述的脑机闭环循环

根据一些学者的观点,这需要从以人类为中心的智能和代理模式转变为网络模式,即在基于人工智能的高级网络中,人类和智能系统的相互联系(Oie & McDowell 2015;NAS 2008报告:94)。早期的智能系统就像非实体的实体(经常被讽刺为玻璃瓶中的浮动大脑,用一堆电线连接起来),而网络化的电子人系统应该被看作是体现的技术,通过人类和非人类的传感器和操作者,以多种方式感知并与环境互动。网络技术的这种 "体现 "也许是电子人武器系统最激进和最具有超越性的特性。这也是使电子人武器系统变得与众不同的独特品质,远远超出了军事工具箱中的另一个部分。它们不能被充分地理解为孤立的部件或军事装备的一部分。我们认为,更深刻的是,它们可以被理解为神经认知的集合体,不断翻译和调解人类和机器的感知和代理。

神经科学家Dylan Schmorrow和Amy Kruse将人类和机器感知的调解描述为 "闭环增强认知",基于人在环形系统适应(Schmorrow & Kruse 2004)--或简单的神经反馈。在适应性闭环系统中,脑-机反馈过程开始于操作者在接受可能的刺激(如视觉或感觉输入)时从事的认知任务。如Marcel van Gerven等人(2009)所示,人类操作者的神经活动由传感器检测并由计算机处理(见图3)。一个结果由人工智能预测,它产生并直接向大脑或通过外部接口传输一个输出信号。输出信号可以以多种形式和方式呈现,如文本、听觉输入、运动指令(如控制假肢或无人系统),或大脑活动的图形和振动触觉表示(van Gerven等人,2009:5)。决策周期由操作者感知输出来结束,这允许对反馈过程进行评估和调整。在循环反复的过程中,操作者和计算机都可能学会适应,从而提高整个系统的认知性能(van Gerven等人,2009:2)。

这种适应性系统方法模糊了人类和人工智能之间的区别,并在混合系统架构中把代理权和决策权同时赋予人类和机器(Murray & Yanagi 2015: 17)。这包括复杂的协作任务,如目标识别、威胁分析、任务规划和情报融合。

与独立的人工智能和机器学习算法相比,有人类 "参与 "的自适应脑机网络有能力对不可预见的变化做出反应,并在任务规划和行动控制中行使酌情判断。这在复杂和时间敏感的任务中是至关重要的,如动态目标选择9,在这种情况下,目标的优先级可以根据作战情况在瞬间改变。这种形式的技术调解和代理不仅支持人类决策。它重塑并加速了军事决策周期中的整个 "OODA循环 "10。更具体地说,技术调解和代理的网络方法认识到,人工和人类的综合认知对于执行任务至关重要,因为速度、信息量和同步的功能可能会压倒人类的决策(RAS MDO白皮书2018:2)。因此,神经认知武器系统和电子人技术不仅仅是在 "团队成员 "或机器人助手与人类操作员互动并使其能够执行 "肮脏、枯燥和危险 "任务的意义上进行合作。它们不只是投射人类意图和机构的 "智能工具"。相反,它们应该被理解为合作的风险调解人,积极地共同塑造和调解MDO中的风险感知、评估和交流。从这个角度来看,风险管理是军事C4ISR网络中人机共享认知和共同制定关键决策的结果。这意味着,决策被看作是人类和智能技术的共同努力。用Peter Paul Verbeek的话说,它是一个:

  • “......固有的混合事务,涉及人类和非人类的意图,或者更好的‘复合意图’,在人类-技术-世界的关系中,意图性分布在人类和非人类元素上。这种意向性不是来自于人类代理人,而是在人类和非人类之间的联系中产生的。由于这个原因,它可以被称为'混合意向性'”(Verbeek 2009: 11)。

这导致了超越传统的脑机接口的东西--目标不仅仅是通过将外部设备与大脑接口来控制它们(NAS 2008报告:89),而是更深刻地将人类和机器的认知合并起来。然而,将意向性和代理权归于混合网络,而不是单个的人类操作者,这就引入了一系列关于指挥责任、决策权和透明度的问题,例如。在什么情况下,使用神经认知武器是合理的?什么样的规则将电子人战士定义为一个法律主体?如果在混合网络安排中,意向性和因此而产生的责任是分散的,那么在系统出现不当行为或故障的情况下,谁可以在法律和道德上承担责任?什么样的军事理论、政策和商定的协议将为使用武器化神经技术提供一个管理框架?(McCreight 2015: 126; Farwell 2015: 156)。以不同的方式来框定它。电子人和神经认知武器系统不仅调解了对风险的感知和管理。它们还共同产生了一个新的风险领域,位于人类和人工智能的交汇处,并在那里进行,划分了神经空间的边界。这就是我们所描述的电子人武器系统的越轨属性,挑战现有的国际法律和战争公约。

电子人伦理与网络指挥

虽然先进的脑-机网络可以使人类操作者和自主机器的任务表现得到极大的改善,但这种混合系统架构将需要调整现有的规范和分类,即什么是军事行动中的道德代理人和法律主体。这对现有的战争理论和惯例提出了重大挑战,必须在投入使用电子人和神经武器之前加以解决。由于它们包含了机器人和自主武器系统的许多决定性特征,它们也包含了许多同样的潜在问题(Murray & Yanagi 2015: 18)。在机器人和自主武器系统的持续争议中,遇到的大部分困难都集中在指挥责任、透明度和系统解释建议的能力等关键问题上:

  • "人工智能支持技术必须能够解释建议,在自主系统的情况下,提供数据,解释决策。系统集成、互换性和通信要求联合部队定义机器人和自主系统、平台和有效载荷之间的架构、语言和协议标准"(RAS MDO白皮书2018:v)。

如果军事人员被要求采用人工智能系统,他们必须能够信任这些系统按照预期工作。到目前为止,建立信任和利用自主武器系统的潜力的主要障碍之一是基于人工智能的过程和语义缺乏透明度。正如北约技术趋势和安全小组委员会(2019年)所说的那样。"今天,要了解人工智能系统是否得出了正确的结论,甚至是如何得出这些结论,仍然非常困难,有时甚至不可能"(第7页)。在研究人员和操作人员看来,这些系统往往是'黑盒子'。"算法有时会产生'奇怪'的结果,以反直觉或错误的方式解决问题,有时甚至会'作弊'"(Sheppard等人,2018,转引自Tonin 2019)。即使是系统工程师和程序员也无法完全解释为什么先进的人工智能算法会选择一些选项而不是其他选项,以及为什么他们会得出他们的解决方案。如果没有透明和 "可解释的人工智能",责任将难以落实,对系统的信任也很难达到。

同样的障碍也出现在使用由人工智能驱动的电子人和神经认知武器系统上。问题在于电子人系统的越轨性质,它不是由人类或机器的意图所支配,而是由分布在战斗网络中的多个实体的 "混合意图 "所支配。混合或复合现象的概念与军事和法律术语中的二元 "非此即彼的逻辑 "并不相称。因此,问题仍然存在。谁--人类或机器--对在使用神经增强的脑机架构执行任务期间做出的决定或采取的行动负有最终责任?(Murray & Yanagi 2015: 19)。

为了回答这个问题并弥补所谓的 "责任差距",国际安全界在《联合国特定常规武器公约》(UN CCW)的支持下,努力为在军事行动中使用机器人和自主系统确定一套管理原则。虽然由于安全利益的冲突和缺乏对 "自主 "一词的明确定义,进展缓慢,但在机器人和自主武器系统必须包含 "有意义的人类控制 "才能合法部署这一有些模糊的概念上达成了共识(Horowitz & Scharre 2015)。

行使 "有意义的人力控制 "与遵守国际人道主义法的法律和道德公约密切相关。这包括区分原则(第8(2)(b)(i)条)和比例原则(第8(2)(b)(iv)条),即区分战斗人员和非战斗人员的能力,避免与预期军事优势相比明显过度的附带损害和平民伤害。人权观察和阻止杀手机器人运动等批评者多次指出,遵守这些原则需要人类的判断力和能力,以使道德考虑适应复杂和不可预测的风险环境。由于机器人和自主机器不具备人类判断和适应不可预见情况的关键能力,而且它们不能为自己的行为承担法律和道德责任,所以它们本质上是非法的武器,有人认为(Sharkey 2008)。

这种反对意见依赖于两个基本假设:1)自主机器的认知和行为一旦启动就无法控制,2)使用这种机器违反了国际人道主义法。我们认为,这两个假设都可以被关于人类和智能机器作为合作风险调解人的网络观点所驳斥。换句话说,责任差距可以在电子人和神经认知战斗网络中得到弥补,使人类操作者在军事决策周期的所有阶段都能应用法律和道德判断(即 "有意义的人类控制")。然而,被称为 "电子人伦理 "的东西需要从严格的军事指挥等级模式转向网络方法,承认人类和机器对风险的感知和调解之间的深刻纠葛。此外,必须形成一个 "网络指挥责任 "的概念,以符合国际法的法律和道德标准。为了解决电子人伦理的这些核心问题,我们将借鉴近期军事和法律讨论中提出的对网络话语的两种同样重要的解释:"网络指挥"(King 2019)和 "网络分担责任"(Teubner 2004)的关键概念。这两个概念都是避免'法律黑洞'和弥补电子人和神经认知武器系统的责任差距所需要的。

首先,我们将研究网络指挥的概念,作为一种人机决策和代理的合作方式。在他的国际畅销书《指挥。二十一世纪的将军》中,安东尼-金(2019年)描述了他所描述的从经典的等级制指挥体制向集体指挥体制的范式转变。金认为,集体指挥体制反映了多维和信息密集型作战环境的发展,使传统的等级制指挥和控制结构受到压力。模糊和快速变化的战场挑战了法律上的合理性和通常繁琐的官僚秩序程序。在近乎同行竞争的状态下,对手已经成功地部署了他们的A2/AD能力,需要一种新型的分布式和协作式任务指挥,以利用跨领域的协同作用,使效果最大化,并超越竞争对手:

  • "与在简单或复杂环境中取得成功相比,复杂环境需要不同的领导和决策技术......实验和协作是在复杂领域取得成功的关键......为了实现协作,除了传统的等级模式外,领导人和工作人员必须能够形成更加扁平的分布式组织"(Klein 2017, as cited in King 2019)。

北约2017年战略远景分析报告(SFA)支持这一观点。在SFA报告中,向更具协作性和创新性的组织模式转变,取代传统的 "炉灶式工作方式",被认为是未来安全环境中的一项要求,其特点是相互联系日益紧密,破坏性变化和技术快速发展:

  • "这将需要从采取渐进式方法、拥有炉灶式工作实践和等待更多明确性的组织文化,转变为拥有支持大胆和创新决策的更具协作性的方法"(NATO 2017: 7)。

同样,在RAS MDO白皮书中,更多的分布式和协作式网络指挥和控制方法被认为是必要的,以保持态势感知和 "实时捕捉所有系统并允许对多个载人和无人系统进行任务指挥"(RAS MDO白皮书 2018: 27)。

更具体地说,我们认为,转向网络指挥体制可以看作是对决策支持技术、无人系统、可穿戴和便携式设备以及自适应闭环脑机接口中嵌入式人工智能扩散的回应(Skinner等人,2014)。它反映了普适计算和增强人机性能系统在风险环境中日益增长的影响,在这种环境中,"传感器和平台的数量增加,都以战术速度处理和传输大量不同的数据,在时间敏感的环境中超过了人类的认知能力"(RAS MDO白皮书 2018: 30)。此外,网络指挥体制与有争议的战斗空间的变化性质密不可分,"需要有能力通过安全、自主、自愈和智能的网络执行战术、作战和战略通信和数据共享"(RAS MDO白皮书:v)。

随着网络论述在军事战略和理论发展中获得越来越大的影响,法律和伦理责任问题也被推到了前台:法律如何应对网络指挥系统,在这个系统中,决策在多个(人类和非人类)操作者、传感器和平台之间形成和分布?我们如何才能避免法律黑洞,并将责任分配给电子人和神经认知武器系统?

根据社会学家和法律学者Günther Teubner(2004)的观点,将责任归于复杂的合作网络,挑战了法律语义学的二元逻辑,创造了法律的 "刺激 "或 "混合 "的一般状态。法律学说不能简单地采用网络指挥这一术语,而必须从其自身的内部逻辑中重新构建一个法律定义(Teubner 2004: 10)。作为对网络刺激的回应,混合法中出现了一个新的法律结构--网络份额责任,它与个人(合同/市场)责任和集体(公司/等级)责任都有区别。网络份额责任的建构特别适合于这样的情况:网络经营者对任务执行的贡献不能追溯到个别节点,而只能追溯到网络本身(Teubner 2004: 21)。

  • "适当的责任形式是分散的、多重的、集体的网络责任和事实上参与了被审查的行动的节点的责任的结合。与正式组织情况下的全面集体责任相比,这导致了网络内集体责任的重新个体化"(Teubner 2004: 21)。

网络共享责任的法律解决方案是允许对个体经营者和整个网络的责任进行 "双重归属";一项相同的交易被双重归属;归属个体网络节点和整个网络(Teubner 2004: 20)。没有任何决定或行动过程被视为一个孤立的事件,而总是作为人类和技术的集体安排的一部分。

随着网络共享责任的法律建构,混合法的实践变得对电子人武器系统的越轨特征和网络指挥体制的实践做出了回应。正如法律学者Inger Johanne Sand(2012)所指出的,混合法是对日益增长的灵活和多维的组织概念需求的回应(第193页):

  • 为了具有相关性和有效性,法律正在使用网络而不是只使用正式的组织,软法而不是硬法,序言和目的声明而不是具有正式约束力的义务,引用知识和技术而不是具体的法律语义"(Sand 2012: 195)。

我们认为,军事和法律语义学转向网络范式,反映了人类和智能技术在先进信息和通信网络中日益混合的安排和实践。因此,它构成了电子人伦理的新军事和法律框架的基础。电子人伦理的决定性特征是双重责任归属的法律构造,即同时将责任归于个人网络节点和集体指挥网络,结合不同的、往往是相互矛盾的集体和个人责任的法律制度的原则。"与其说是法律/非法律的二元区分,不如说是不同法律性之间的振荡......那么,什么是合法的,往往是矛盾的法律规范和不同价值观之间的紧密振荡"(Sand 2012: 190)。

因此,cyborg伦理学涉及到一种更加反思和对环境敏感的法学形式的新兴实践,其中来自多个法律制度的义务和规定相互作用,形成一个复杂的国际治理网络(Crootof 2015: 98)。作为一种新的网络风险管理,网络伦理的法理学要求军事官员和作战人员有能力在军事理论、法律公约和政治方案中的多种竞争性规范、标准和价值观之间进行协调和转换。在当代的加速和混合战场上,这种翻译发生在人类和智能技术的界面上,形成了全方位的行动中的关键决策(Nørgaard 2017: 16)。

结论

在电子人和神经认知武器系统中采用共同的人机代理和责任的概念,使我们能够超越经典的以人为中心的军事指挥和组织的等级秩序。为了避免所谓的法律黑洞,弥合电子人武器系统中的责任差距,我们提出了一种人机互动和风险管理的网络方法,承认人类和机器智能的内在纠缠和共同构成。正式的组织结构和法律秩序是强制性的,但它们必须与更具反思性和对环境敏感的法学形式结合起来,即评估、协调和转换透明度、问责制和有意义的人类控制的多种法律、伦理和政治定义的能力。在电子人系统和增强的脑机接口中,决策和因此而产生的风险管理应被视为人类操作者和智能机器的共同努力。了解如何划分和管理神经空间和电子人战争的领域,需要跨学科的实验和军事操作人员、系统工程师、律师和政策制定者之间的合作。随着机器人和电子人武器系统的激增,一般准则和交战规则将有助于在人机互动中建立信任,并支持在有争议和日益网络化的战斗空间中的决策。促进对电子人伦理和网络指挥的及时和审慎的讨论不仅仅是一项未来主义的努力。它是各国政府以及国际安全界在减少脆弱性和提高联合作战能力方面必须考虑的一个紧迫问题。

成为VIP会员查看完整内容
44

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
万字译文 |《决策中心战的兴起》决策中心战、马赛克战
专知会员服务
222+阅读 · 2023年3月21日
推荐!万字译文 |《数据之战:将人工智能带入战场》
专知会员服务
165+阅读 · 2023年3月20日
译文 |《人工智能军事应用:对战争的影响》
专知会员服务
114+阅读 · 2023年2月21日
推荐!《未来战场形态》(译文),美国国家情报委员会
专知会员服务
208+阅读 · 2023年1月16日
《军事行动自动化》【译文】2022最新报告
专知
47+阅读 · 2022年11月13日
进攻机动作战中的机器人集群
无人机
19+阅读 · 2017年12月4日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
89+阅读 · 2009年12月31日
Robust Neural Architecture Search
Arxiv
0+阅读 · 2023年4月10日
Arxiv
0+阅读 · 2023年4月6日
Arxiv
0+阅读 · 2023年4月3日
Arxiv
17+阅读 · 2022年1月11日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
VIP会员
相关VIP内容
万字译文 |《决策中心战的兴起》决策中心战、马赛克战
专知会员服务
222+阅读 · 2023年3月21日
推荐!万字译文 |《数据之战:将人工智能带入战场》
专知会员服务
165+阅读 · 2023年3月20日
译文 |《人工智能军事应用:对战争的影响》
专知会员服务
114+阅读 · 2023年2月21日
推荐!《未来战场形态》(译文),美国国家情报委员会
专知会员服务
208+阅读 · 2023年1月16日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
89+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员