《物理机器人群测试平台：规格和实验设计可能性》美陆军38页报告

1.1 报告的目的

本报告的目的是描述位于加利福尼亚州洛杉矶的美国陆军作战能力发展司令部（CCDC）西部陆军研究实验室（ARL-West）用于人类与机器人群互动研究的物理测试平台，并介绍未来利用该测试平台进行能力和实验的机会。这是因为19财年ARL的集群项目，这是美国防部资助的研究人类与群体互动工作的一部分。

1.2 ARL集群项目

这里描述的ARL集群项目是ARL的车辆技术局（VTD）、传感器和电子设备局（SEDD，现在的CCDC数据和分析中心[DAC]）以及人类研究和工程局（HRED）的一项联合工作。我们将集群定义为一组完全或基本自主的智能体，以集体的方式进行互动，以完成一项任务。在我们的工作定义中，我们也会偶尔提到一些场景，在这些场景中，智能体是合作运作的，但不一定是一个集体的整体（例如，当机器人被分配单独的任务，形成合作目标的组成部分）。这些通常被称为多智能体或多机器人系统。智能体群体可能是同质的或异质的。

结合团队成员在车辆技术、传感器/机器视觉、处理器芯片和功耗、人类因素和感知/认知心理学方面的经验，我们对人与群的互动有了深入的了解，并推动了建立人与群互动测试平台。我们合作的一个主要见解是，电源需求、芯片限制和传感器能力可能会大大影响人类的表现或人类对机器人群或其他多Agent系统的反应，但在人类-自主-群体互动的模型中很少充分考虑这些因素。为了推动研究，并为在这些领域和相关领域的继续探索奠定基础，ARL集群团队在ARL-West创建了一个实体集群测试平台：集群与人互动性能室内研究平台（AIRSHIP）。这个测试平台将允许研究界面、物理限制、人类因素及其相互作用如何影响人类-集群的任务表现和人类心理/生理反应。为了适应广泛的实验可能性，该试验台可以高度定制一系列的任务场景、自主资产的数量和多样性，以及固有的和强加的物理约束。

从我们的讨论和文献回顾中，从创意技术研究所（ICT）开发的虚拟试验台中，以及从建模工作（例如Humann和Pollard 2019）中得到的启示，强调了开发一个物理试验台以解决人与机器人群的互动研究问题的必要性。在我们设计的测试平台中，我们旨在实现以下特点：室内、小型、便携、高度可定制、灵活，以适应广泛的实验。

在此，我们描述了AIRSHIP测试平台的现有能力，并阐明了在目前可用的硬件和软件条件下，可以在这样一个物理测试平台上进行的各类实验，以及未来可能对测试平台进行的改进。

1.2.1 相关的ICT项目

一个关于人与机器人群互动的联盟项目正在由ICT进行，ICT是由南加州大学管理的陆军大学附属研究中心（UARC）。该项目正在研究使用带有虚拟人类发言人的自然语言对话界面，该发言人作为人类操作员和机器人群之间的中间人。在ARL的投入和指导下，ICT创建了一个基于模拟的测试平台，在用户与虚拟发言人和机器人群互动时，收集他们的自然语言数据。

基于模拟的测试平台运行一个虚拟的搜索和救援场景，其中人类用户指挥一个由无人机和地面车辆（分别为UAV和UGV）组成的异质团队。在模拟中，一个小镇受到野火侵袭的威胁，镇上的居民必须通过利用无人机和UGV的不同方式来拯救。例如，一些居民迷路了，必须被指示跟随无人机到安全地带。必须调遣一辆UGV来清除道路堵塞物。除非人类指挥官通过附近的无人机拍下他或她的声音，并亲自与这对夫妇交谈，否则无法拯救一对 "顽固的夫妇"。一个虚拟的人类发言人可以作为人类指挥官和自主车辆之间的中介，但人类也可以单独指示这些资产。野火随着时间的推移而蔓延，目标是尽可能多地救援城镇居民。不同的居民和其他挑战可以随机分布在城镇地图上，并且可以进行修改，以改变可用资产的数量、野火侵袭的速度和方向，并增加进一步的挑战（如无人机的损失）。人类指挥官使用一个语音麦克风和两个电脑屏幕与系统互动。一个屏幕显示虚拟的人类代言人，另一个屏幕显示城镇的地图。(见图1指挥官的工作区。)如果参与者指定他们的一些无人机提供监视，那么火力的进展在地图上是可见的。无人机的行为和虚拟人类发言人的行为是由两个奥兹国的巫师在幕后控制的。该测试平台的早期版本在Chaffey等人（2019）中有所描述。

图1 ICT的人-机器人群互动虚拟试验台，显示了野火地图、模拟无人机和通过自然语言与用户互动的虚拟人类报告员

1.2.2 机器人群测试平台的需求和概念

虚拟测试平台有很多优点，包括可移植性、快速修改，在某些情况下成本较低。然而，人类对模拟机器人群的反应与人类对物理机器人群的反应不同。Podevijn等人（2016a，2016b）表明了这一点，与模拟机器人相比，与物理机器人互动时，压力的心理生理学标志物升高。与较大的群组和较小的群组互动，也产生了类似的模式（Podevijn等人，2016a；Podevijn等人，2016b）。

一个虚拟的机器人群可能看起来与真实的机器人群的虚拟表现相同，只要指挥官不与实际的代理人在一起就可以了。然而，在许多情况下，人类指挥官和其他互动的人将处于战术边缘，与机器人代理一起在现场。从这些场景的虚拟模拟机器人群中得出的结论可能不完全代表实际物理机器人群的结论，在物理机器人群测试平台中复制之前，也许最好将其视为初步结论。

使用物理机器人群测试平台的另一个原因是为了更好地包括与机器人代理一起工作的现实世界的挑战--即他们的物理需求和限制。异质组队模拟很容易对飞行时间、电力使用、机械坚固性、有效载荷能力、相机分辨率等做出不现实的假设。当这些不切实际的假设在模拟中实现时，其结果是无法复制人类与多人合作的许多重大挑战的情景。我们承认，仔细考虑这些参数可以使它们在模拟中得到更忠实的实现，我们也承认，我们的物理测试平台不能完全复制所有这些问题。例如，使用微小的、低成本的、可移动的无人机有一个警告，即它们不能在室外飞行。因此，实际的天气影响不能包括在我们的测试平台中。然而，我们的测试平台天生提供了关于飞行时间、电力使用、有效载荷能力、机械坚固性等方面的现实物理约束。

为了不同的实验目的，已经开发了各种虚拟和物理的异质组队测试平台。我们将在下面的章节中强调几个关键的例子。

1.3 相关工作

在本节中，我们提供了一个不全面的概述，介绍了具有多机器人/蜂群测试平台的研究项目，这些项目可以检验人与机器人群的交互性能。全面的回顾超出了本报告的范围，因此在这里我们只提供与ARL研究密切相关或合作的项目的细节。

用于人与多Agent交互的多功能虚拟现实（VR）测试平台是加速用户推理操作、研究和分析（AURORA）-XR界面，该界面正在由ARL为战场物联网开发（Dennison等人，2019）。AURORA-XR目前有一个虚拟的城市街区，有一系列的传感器和代理，可以虚拟地检测虚拟友军和敌军的运动。人类指挥官可以通过虚拟摄像机画面和虚拟传感器数据，从视觉空间角度调出不同传感器和无人驾驶车辆的视图。这个设置可以在图2中看到。该模拟可被修改以执行不同的模拟任务，并被建议由HRED用于研究训练人类在人-代理团队合作中的相关技能（例如，不确定性量化和视觉空间透视）。

AURORA-XR的一个主要目标是作为一个可视化工具和异地协作工具（通过AURORA-NET），其中不同地点的多个人类可以同时与VR中的沙盘表示进行互动，以参与多领域行动的协作决策。

混合倡议实验（MIX）测试平台（Barber等人，2008年）将无人车和摄像机的模拟与操作员控制单元（OCU）界面相结合，如图3所示，允许用户控制无人系统。OCU是可定制的，底层的自主性模拟器软件（无人系统模拟器[USSIM]）可用于模拟各种自动化程度不同的任务类型，包括侦察、目标识别和路线规划等场景。MIX已经被用于各种研究中，用于智能代理的修改的OCU也是扩展研究的主题（Chen和Barnes 2014；Barnes等人2015）。

图2 AURORA-XR的界面与实例的进给和摄像机角度

图3 MIX测试平台的OCU界面

在我们正在进行的工作中（Humann和Spero 2018；Humann和Pollard 2019），我们使用一个虚拟测试平台来设计人类与无人机互动的适当算法并选择适当的团队规模。该工具可以模拟任何数量的人类、四旋翼无人机和固定翼无人机。人类被模拟为具有疲劳和工作负荷的现实效果。人类和自主资产执行监视任务，必须用相机扫过一个场地，以发现可能的危险，如车辆和火灾（由固定翼无人机执行），然后对感兴趣的点进行拍照（四旋翼无人机），最后分析以评估威胁程度（人类）。从这个分析中，可以从评估现场的整体准确性和速度方面分析向系统添加资产的回报。图4显示了模拟的一个例子截图。

图4 模拟截图（Humann和Pollard 2019），显示三个固定翼无人机、四个四旋翼无人机和两个操作员合作执行监视任务

在ARL有两项正在进行的工作，涉及多个分布式智能资产，正在为未来的工作开发测试平台。第一个是分布式协作智能系统和技术（DCIST）的合作研究联盟。这个项目将 "创建自主的、有弹性的、认知的、异质的群组，使人类能够在动态变化的、恶劣的和有争议的环境中参与广泛的任务"（www.dcist.org）。DCIST的执行者已经讨论了建立一个测试平台（虚拟和/或物理）来测试智能系统的算法。虽然许多参与的学术机构都有自己的测试平台供个人研究使用（例如，Pickem等人，2017年），但DCIST测试平台的一个目标是使来自各合作机构的研究产品得到综合实验。

ARL正在进行的第二项工作是一个潜在的测试平台，用于探索人类与智能系统的互动，将不同的人类互动模式与强化学习相结合，称为自主系统的学习周期框架（Waytowich等人，2018；Goecks等人，2019）。他们实施了一个模拟，以探索使用人类示范来提高智能系统的能力（在引用的案例中，一个小型四旋翼无人机）。他们计划继续研究使用Crazyflie无人机在物理测试平台上进行联合互动的强化学习。

隶属于南加州大学和ICT的研究人员在正在进行的研究中展示了多个机器人的协调行为（Tran等人，2018），同时自主飞行多达49架微型无人机（Preiss等人，2017）。他们还展示了最多三个人和六个无人机之间的用户互动，这些无人机在房间里相互靠近导航（Phan等人，2018）。