深度|美军挑战单兵人工智能极限

2017 年 11 月 4 日 机器人大讲堂

美陆军研究实验室下属士兵适应性技术中心（Center for Adaptive Soldier Technologies，CAST），重点关注采取以人为中心的方法将先进技术应用于士兵。该中心为虚拟中心，主要目的是推进陆军与科技界之间的开放性技术合作。中心首任主任麦克道威尔（Kaleb McDowell）博士介绍，中心的动态合作方式包括：（1）高层次的研究和验证；（2）包括个人和团队合作伙伴的利益共同体；（3）相关开放校园实验室和设施；（4）加强这一特定技术领域科技生态系统的活动和机会。

一、科技研究重点

士兵适应性技术中心的研究重点是了解将先进技术应用于士兵的基本原则，并通过技术转化和验证来实例化这些原则。

（一）重点验证领域：个性化乘员舱技术（Individualizing Crew StationTechnologies）

该领域重点研究乘员舱技术，使士兵能够与未来各种复杂作战系统高效整合，极大提高执行各类任务的效率与效能。特别关注可以适应不同操作人员个体及操作人员不同动态状态的人系统交互技术，适应的目的是优化士兵、系统内嵌智能机、物理自动化系统之间的人系统应急效能。

目前，该领域有两个主要项目：（1）双人乘员，（2）脑机交互技术。

1、双人乘员（Two-Soldier Crew）

车辆乘员未来可能面对高度复杂的、多种智能机混合的系统环境，并深受强大的社会文化因素和技术不断发展的影响。WMI技术未来发展的主要障碍可能是，WMI所提供的技术复杂性和信息负载程度超出了操作人员能够有效高效交互的能力。“双人乘员”项目试图通过研发个性化的WMI技术，使其适应具体操作人员的动态状态，以及与计算智能结构和智能机的混合交互，提高或补充士兵个人能力，从而克服上述障碍。项目总体目标是最大限度的提高人系统团队的应急效能，实现方式是设立两名车辆乘员，与智能软件系统或“虚拟”机、高度网络化的智能物理机“家族”高效合作，包括具备遥感和武器能力的有人、无人地面车辆和飞行器。

未来的WMI概念有望支持一系列的功能，同时克服了关键的军事相关限制因素。相关实例包括：

（1）安全机动：军事车辆乘员，除了关注基本的驾驶和导航，还需要时刻对自己的车辆、班排、机器人或其职责范围内其他资产的安全保持态势感知。

（2）多样化行动：不同的作战行动节奏，以及某些情况下时间上相互重叠甚至竞争的任务，会使现代士兵面临极其多样化的军事作战环境。

（3）分布式团队合作：未来任务可能需要乘员与其他非现场的个人，以及物理机和虚拟机合作。这类团队需要有效地克服不同成员之间能力、知识、观点、问题环境参考系的差别，以及可能地通信流不完善的动态。

2、脑机交互技术（Brain Computer Interaction Technology）

该项目包括以下几个领域：

（1）人类-人工智能图片标识器（Human-AI Image Labeler，HAIL）

中心研究人员的一个战略目标是有效整合人类与智能机。HAIL系统是一个分析机集成网络，包括了使用快速连续视觉呈现（RSVP）BCI的人员、手工标识人员、自动化的计算机视觉（CV）机，对数据库图像进行分析，试图使其准确性达到人工标识，但所需时间更短。有关研究催生了“大脑皮层耦合计算”（Cortically Coupled Computing）这一协同式人机交互的新范式。

（2）BCI-宝石游戏（BCI-Gem Game）

CAST科学家特别感兴趣于克服BCIT一项最严峻的挑战：人类状态的多时间尺度动力学对系统效能的影响。为了克服这一挑战，BCI-宝石游戏旨在研究人体状态变化对BCIT效能的影响，以及人类如何适应BCIT的长期使用。BCI宝石游戏类似于宝石方块、糖果粉碎、益智之谜等三消类游戏，但在游戏中嵌入了BCI范式。

（3）人类兴趣探测器（Human Interest Detector，HID）

MINE实验室的CAST研究人员正在开发HID，一种被动式大脑监测系统，试图检测操作人员对视觉场景中的兴趣点。HID有三个用途：①基于士兵作为传感器的概念，提供来自操作人员的高带宽新型信息流，②深入了解操作人员使用机会型人体传感的效果，③对各种范式的新型闭环BCI技术开展即插即用测试。结合计算机视觉的眼动脑电图分析，HID可以捕获和确定操作人员对图像或视频片段的兴趣优先次序，而无需操作人员特意表明其兴趣水平。采用机会型方法，而不是专门开发一个需要操作人员表明其兴趣水平的系统，可能允许HID有效地用于与其他BCIT的多任务协作。

（二）重点研究领域：估计与预测人体状态与行为（Estimating and Predicting Human States and Behavior）

该领域目前有两个主要项目：（1）人类多样性差异项目，（2）现实世界神经成像。

1、人类多样性差异项目（The Human Variability Project）

该项目的目标是解决人类多样性差异的知识差距，并将这方面的知识转化应用，从根本上改变弱化人类差异性的人系统设计，转变为利用这种差异性的设计。最终目标是发展出人类变异性和独特性的基本理论和模型。相关实验研究将关注于整合以下三个基本概念：

（1）解释不同“情境”中个体的多模式方法。要做到这一点，目标是分析和建模机构组织的综合方面，包括：有意和无意的行为、生理学、主观经验、社会交往、环境因素和任务。

（2）大时间尺度和高采样率的采样。需要进行长期的高分辨率采样，以调查时间尺度之间的相互作用，观察更长时间尺度上很少发生的现象（如季节性影响）。

（3）开发大规模人群的数据库，其中包括对士兵足够的子采样，既能够解释个体差异，又能更全面地阐述人类差异性现象。

THVP项目研究人员的兴趣是了解自然环境中的人类行为。人类在自然环境中表现出令人难以置信的多样性行为，其中一个关键性挑战是开发更好的方法来阐明现实世界的行为。下面这个例子中，在“创新共享”工作的Alfred Yu提出了一个概念用来描述个体的咖啡饮用情况。这一概念通过意式浓缩咖啡机上的生物检测器和增强现实显示，能够获得咖啡消费的实时数据。这一概念可以用来了解多重时间尺度下、不同个体的咖啡习惯，可能有助于个体了解并改变自己的特定习惯。

该项目旨在推进的工具实例还包括：

（1）获取和整合信息资源的信息架构和控制框架。

（2）新型电子封装技术，对于士兵携带组件具有灵活的电源管理和存储解决方案。

（3）评估和预测训练与作战环境下人类状态多时间尺度非线性变化的方法和算法。

（4）可以利用其他个人、亚群和群体的信息来提高对个体或群体预测的迁移学习、协同过滤等技术。

（5）解释和预测复杂、动态、人工环境下不稳定的人类行动与行为的技术和融合算法。

2、现实世界神经成像（Real World Neuroimaging）

该项目目前有两个主要研究领域：（1）开发现实世界神经成像的新技术、新方法，（2）通过实验发展假说和理论，提高对现实世界条件下神经动力学的了解。

（1）现实世界神经成像技术（Real-world Neuroimaging Technologies）

该方向的工作旨在推进现实世界设置下大脑活动的最新评估技术和方法，现实世界的神经影像学条件一般不太理想，其目标认知状态往往难以捉摸，甚至完全不同于传统实验室情况。重点是开发新的技术和方法，加强人机交互系统的实验或实施。重点研究方向包括：

①开发测试新型神经成像硬件，如：干式、非金属、高度灵活的脑电图传感器，佩戴舒适而且压缩后导电性稳定；超低功耗和低用户影响的系统设计，允许用户透明性；用户特定头帽盖设计的快速原型方法。

②开发和使用新的方法和工具评估数据质量，如设计与构建脑电图“仿体”试验装置，新的分析比较技术，辨别真实数据中非大脑人工干扰源的方法，建立可普遍接受的信号可靠性与有效性标准。

③新的软件算法，可以降低非大脑人工干扰，提高数据信噪比，完善对非平稳噪声数据的解释，有效整合利用多传感器、多模态数据流。

（2）现实世界神经成像范式（Paradigms for Real-world Neuroimaging）

对于孤立任务和环境的大脑过程，科学界已经有了基本的了解，但很少掌握实验室规模任务与环境复杂性的知识。神经系统是人体中最复杂、最动态的系统，尽管先进成像技术已经广泛应用于实验室研究和医疗机构，但不可能将支撑人体效能的认知、情感和运动过程分离到可以彼此孤立地了解。这提出了一个根本性的挑战，如何将实验室得出的理论和人体实验研究拓展到现实世界条件。现实世界神经成像范式的目标是确定基本原则，将传统神经科学的观测、结果和理论转化到现实世界的日常情景。

为此，本研究开展了三个主要方向的努力：①开发新的、创造性的成像范式，解释现实世界任务效能的神经动力学，②扩大范式和模型，解释现实生活中外部因素的影响，如应激、疲劳、人格、社会文化情境等对神经行为动力学的影响态，③发展理论方法，促进对非传统、强现实性任务和场景的神经电生理活动的观察和解释。

重点研究内容包括：

①了解实际道路驾驶过程中大脑皮层和行为动力学，并利用多模态数据的分类方法，预测模拟和现实世界驾驶任务表现的关键决策。

②表征人际社会动力学之间的相互作用、个人驾驶行为、司机乘客二元体的个人偏好和倾向。

③基于高动态范围亮度视觉搜索的认知计算。

④利用扫视固定相关电位（S/FRP）研究传统固定约束范式中欠缺的知觉和认知过程，更全面地了解现实场景中的视觉搜索。具体领域包括：早期视觉感知的视网膜和视网膜外影响，外源性和内源性的注意力扫视前转移，视觉搜索中眼动和固定相关电位的自下而上（突显）和自上而下（觉醒、认知负荷）效应。

（三）重点研究领域：互适应系统的控制（Controlling Mutually Adaptive Systems）

这一领域关注人类科学研究的长期挑战，即如何集成动态应用的人类和智能系统。重点研究相互适应的因素，即人类和智能机都在多重时间尺度上适应对方的输出，首先是了解和模拟人类对技术、环境和其他人员的适应。长期目标是提高异构化的多智能机、人系统团队的整体性能，提高他们应对不断变化的环境及彼此适应的能力。

目前，该领域有一项主要项目：控制论（Cybernetics）

1、控制论（Cybernetics）

拥有多个子系统和多个反馈回路的复杂控制论系统，代表了一类至关重要且未能得到很好研究的人系统。但深入了解这类系统，人类科学面临着方法和理论的艰巨挑战。目前我们使用的是大尺度大脑皮层模型，由多个分层组织的脑区组成，用来测试特别假设，将不同的连接模式与闭环、多反馈回路控制论系统的整体和行为功能相联系。该项目的研究目标包括：

（1）确定不同的连接模式对多反馈回路控制论系统的整体动力学行为的约束。

（2）了解不同的连接模式如何影响群体动力学，如同步性、复杂性和无尺度行为。

（3）检查皮质-皮层和丘脑-皮层连接如何产生互频率耦合。

（4）测试皮层下系统在多感觉输入神经元整合中可能作用的假设。

（5）检查紧张性神经调节控制的基础活性及对感觉输入的反应。

（6）探讨相位神经调节在多感觉整合中的功能作用的新假说。

（7）测试基于群体和速率的神经元系统信息编码对系统连续性反应的影响。

（8）使用有代表性的相似性来驱动“泄露-整合-触发”（LIF）神经元模型的连续命令。

（9）开发基于连续命令LIF神经元模型实现的神经形态硬件。

二、科研设施

士兵适应性技术中心目前有两个实验室设施。

（一）创新共享（Innovation Commons）

创新共享空间有两个设计目标：

1、作为人类交互新思想的孵化器、创新方法的验证基地，推动全球创客运动的大力发展。向用户提供工具、社会环境和设备，促进合作和知识发展，帮助将想法转化为新的研究项目和系统。

2、提供能够支持各种人类行为的普遍感知环境，支持人类多样性差异项目以及其他研究。创意共享的关键特征是具有高端计算与显示资源，能够分析人类神经、生理和行为数据以及环境数据。在这一空间，研究人员有机会开发数据分析方法原型，了解与改变人类行为，以及其他以人为中心的分析方法。嵌入式传感器和先进可穿戴技术将免费提供给感兴趣的用户，量化他们的活动和健康模式。

为了激发用户探索创造性的解决方案，创新共享空间提供了各种轻工机床、电子加工站、3D打印、高性能工作站、增强现实与虚拟现实头盔等。跟踪资源包括了基于RFID、光学、无线传感器的工具，可以表征身体的运动和姿态。创新空间还提供了专用分析工作站，可以连接到50 +节点（1000 +核心）的计算集群进行大数据分析，共同分析和可视化软件包（Matlab、R、ParaView等）也一应俱全。

（二）MIND实验室（MIND Laboratory）

“神经驱动设计的任务影响”（Mission Impact through Neuro-inspired Design，MIND）实验室位于阿伯丁试验场，设立于2001年。目的是开展基础研究和应用研究，将神经科学知识和方法从实验室转化到实际环境中应用。MIND设施包括两大核心组成：第一个是多腔室、可重配置的实验空间，能够提供最先进的电学和声学可控环境，专门设计用于最大限度地实现神经生理、生理和行为测量功能和数据采集。第二个核心组成是一个计算实验室，拥有20多个网络化、多核、大内存容量的Linux工作站，和一个专用的多核分布式计算服务器，能够开发、实施和应用先进计算算法。

MIND实验室的研究重点是基于神经科学的人系统概念和工具，研究内容包括但不限于：脑机交互技术、士兵效能预测、多感觉信息处理、应激原对认知任务效能的影响、认知功能的个体差异、视觉扫描行为、适应性信息显示、认知指标的开发和验证、新型成像技术的发展和测试、创建新的脑电图仿体设备。

☞来源：装备参考（ID：Armament999）