斯考克罗夫特战略与安全中心致力于制定可持续的、无党派的战略,以应对美国及其盟友和伙伴面临的最重要的安全挑战。该中心支持美国在与盟国、伙伴的合作中发挥领导作用,以及对培养下一代领导人提供指导。

执行摘要

在过去的几年里,世界各地的军队对发展人工智能(AI)的兴趣和投资有所增加,以支持一系列多样化的国防和国家安全目标。然而,对于什么是人工智能,它如何影响美国和中国之间的战略竞争,以及如何为这个部署军事人工智能的新时代优化国防工业基础,仍然缺乏普遍的理解。现在已经到了在人工智能方面见仁见智的时候了,在政策界和技术界之间建立对现代人工智能的共同理解,并在国防部(DoD)和其工业伙伴之间统一观点和优先事项。因此,本文讨论了以下核心问题。

(1)什么是人工智能,为什么国家安全政策制定者应该关心?

人工智能的能力有可能为美国国家安全和国防带来改变游戏规则的优势,包括

  • 大大加快和改善决策。
  • 加强军事准备和作战能力。
  • 提高人类的认知和身体能力。
  • 设计、制造和维持军事系统的新方法。
  • 具有能打破微妙的军事平衡的新能力。
  • 创造和检测战略网络攻击、虚假信息运动和影响作战的能力。

对人工智能作为威慑和赢得未来战斗所必需的关键能力,在美国防部内部得到了重视,美国防部在过去五年里对人工智能进行了显著的投资。但是,五角大楼以外的政策制定者,以及公众和正在开发人工智能技术的公司,都需要更好地了解当今人工智能的能力和局限性,并清楚地认识到人工智能对国家安全的积极影响和潜在的破坏性影响。

(2)为什么人工智能对战略竞争至关重要?

五角大楼对人工智能的兴趣也必须从与中国--以及在较小程度上与俄罗斯--的战略竞争加剧的角度来看待,人们越来越理解在人工智能和相关新兴技术方面的落后可能会损害美国军队自冷战结束以来所保持的战略、技术和行动优势。一些国防领导人甚至认为,美国已经在军事技术竞争中输给了中国。

虽然本文不赞同这种宿命论的观点,但本文认为军事人工智能竞争的赌注很大,而且时间很短。

(3)美国防部采用人工智能的障碍是什么?

五角大楼臭名昭著的官僚主义、陈旧的采购和合同制度以及规避风险的组织文化,继续抑制着美国防部引进外部创新和更快地走向广泛的人工智能整合和采用的能力。解决这种系统性问题是一个很高的要求。但是,为促进美国防部与商业技术部门和创新初创企业的接触,已经在进行重要的变革,而且似乎有一种共同的紧迫感,即巩固这些公私伙伴关系,以确保美国持续的技术和军事优势。然而,在统一美国防部及其行业伙伴对人工智能发展最具影响力领域的看法,以及阐明和实施共同的技术标准和测试机制以实现可信赖和负责任的人工智能方面,仍有许多工作要做。

主要收获和建议

国防部必须迅速行动起来,从对人工智能重要性的广泛认可过渡到创建路径、流程、实践和原则,以加速采用人工智能技术所带来的能力。如果没有有意的、协调的和立即的行动,美国有可能在利用主导未来动能和非动能战场的制胜技术方面落后于竞争对手。本报告为美国防部确定了三个行动方案,这些方案可以帮助确保美国军队保持其在人工智能领域的全球领先地位,促进更迅速地采用人工智能所需的内部变革,并利用充满活力和多样化的美国创新生态系统,包括

  • 优先考虑安全、可靠、可信和负责任的人工智能开发和部署
  • 调整人工智能发展的关键优先事项,加强美国防部和行业合作伙伴之间的协调,以帮助缩小人工智能能力的差距;以及
  • 促进领先的国防技术公司和非传统供应商之间的协调,以加快美国防部人工智能的采用

本报告是在美国防部采用人工智能努力过程中和全球地缘政治的未来轨迹方面既合适又充满不确定性的时候发表的。正在进行的乌克兰冲突使限制独裁者控制领土、人口、标准和言论的重要性变得非常明显,而致力于维护长期国际行为规范的联盟可以在这一努力中发挥作用。因此,作者敦促美国防部在政府层面,并在可能的情况下在工业层面与美国的盟友和可信赖的伙伴进行接触和整合,以更好地实施本文的三项主要建议。

1 简介

人工智能为国防政策制定者提供了一个重要的机会。人工智能处理和融合信息的能力,以及将数据提炼为增强决策的能力,可以在一个混乱的、有争议的环境中拨开 "战争的迷雾",在这个环境中,速度是王道。人工智能还可以释放出新型可损耗和一次性无人系统的可能性,从而增强威慑力。例如,它可以帮助保障美国军人的生命,为指导冲突地区自主补给卡车的导航软件提供动力。虽然人类仍然负责对目标做出最终决定,但人工智能算法在帮助情报专业人员识别和追踪恶意行为者方面正日益发挥作用,目的是 "缩短杀戮链,加快决策速度"。

由于美国所处的更广泛的地缘战略背景,特别是与中国的战略竞争,人工智能的发展和整合也势在必行。中国人民解放军(PLA)在人工智能方面的预算似乎与美国军队相当,而且解放军正在为同样广泛的应用和能力开发人工智能技术,包括训练和模拟、蜂群自主系统和信息操作,以及其他许多方面,所有这些都可能取代美国的军事技术优势。

正如美国国防部长劳埃德-奥斯汀在2021年7月指出的那样,"中国的领导人已经明确表示,他们打算在2030年之前在人工智能方面成为全球主导。北京已经谈及将人工智能用于一系列任务,从监视到网络攻击到自主武器"。美国不能落后于中国或其他竞争对手。

为了加快人工智能的采用,五角大楼必须面对它的弊端:一个孤立的官僚机构,它阻碍了有效的数据管理努力,并阻碍了大规模利用美国防部数据所需的技术基础设施;陈旧的采购和合同流程,抑制了国防部引进外部创新和将成功的人工智能技术原型过渡到生产和部署;以及一种规避风险的文化,与已知的促进创新的开放、实验和容忍失败的类型不一致。

目前正在进行一些努力来解决其中的一些问题。直接向美国防部副部长报告的首席数据和人工智能官(CDAO)角色最近被宣布,以合并首席数据官办公室、联合人工智能中心(JAIC)和国防数字服务(DDS)。这一重组将美国防部的数据和人工智能工作置于一个屋檐下,以消除重叠的权力,原来的这种权力重叠性使得人工智能项目的规划和执行变得困难。扩大使用替代性收购方法,像国防创新单位(DIU)和空军的AFWERX正在弥合与商业技术部门的差距,特别是初创企业和非传统供应商。尽管如此,一些技术领导人认为这些努力还不够,警告说 "时间不多了"。

随着美国国防部转向大规模采用人工智能,本报告试图提供有关现代人工智能未解决问题的见解,总结中国、俄罗斯在军事人工智能发展方面的关键进展,并强调整个美国防部一些最引人注目的人工智能使用案例。报告还简要评估了美国防部与其行业伙伴之间的不协调,这些不协调继续阻碍五角大楼获得美国军队所需的改变游戏规则的技术,以阻止对手的侵略并主导未来的战场。

然而,竞争的紧迫性决不能掩盖对指导美国军队进入人工智能时代的道德准则。因此,报告重申,有必要将美国防部的人工智能道德准则有效地转化为评估可信度的共同技术标准和评估指标,并加强与国防部的行业合作伙伴--特别是初创企业和非传统供应商在这些关键问题上的合作和协调。

在本报告的最后,为政策制定者和整个国家安全生态系统的其他人工智能利益相关者提出了一些考虑。具体而言,敦促美国防部优先考虑安全、可靠、可信和负责任的人工智能开发和部署,调整国防部和行业之间的人工智能发展的关键优先事项,以帮助缩小美国防部的人工智能能力差距,并促进领先的国防技术公司和非传统供应商之间的协调,以加快国防部的人工智能采用进程。

2 人工智能创新和应用中的军事竞争

推动美国防部人工智能开发和采用工作的紧迫性在很大程度上源于确保美国及其盟国在军事技术竞争中超过中国,这种竞争已经主导了两国之间的关系。俄罗斯的技术能力远没有那么发达,但其侵略行为破坏了全球安全,并威胁到美国和北约的利益。

中国

中国已将对人工智能的投资优先用于国防和国家安全,作为其努力成为 "世界级军队"的一部分,并在未来的 "智能化"战争中获得优势--人工智能(与其他新兴技术一起)通过 "网络化、智能化和自主系统和设备 "更完全地融入军事系统和行动。

虽然中国人工智能相关活动的全部范围并不广为人知,但美国安全与新兴技术中心(CSET)在2021年10月对343份与人工智能相关的中国军事合同的审查估计,解放军 "每年在人工智能相关的系统和设备上花费超过16亿美元"。美国国家人工智能安全委员会(NSCAI)的最终报告评估说,"中国的计划、资源和进展应该引起所有美国人的关注。它在人工智能的许多应用领域处于全球同等水平,而在一些应用领域是人工智能的领导者"。

CSET的审查和其他开源评估显示,中国的人工智能发展的重点领域,就像美国的一样广泛,包括:

  • 智能和自动驾驶汽车,特别关注蜂群技术。
  • 情报、监视和侦查(ISR)。
  • 预测性维护和后勤。
  • 信息、网络和电子战。
  • 模拟和训练(包括兵棋推演)。
  • 指挥和控制(C2);以及
  • 自动目标识别。

这些领域中的每一个进展都对美国在与中国的军事技术竞争中保持同步的能力构成了挑战。然而,值得研究的是,中国在两个领域的进步能力可能对军事平衡产生特别有力的影响

(1)整合

首先,人工智能可以通过人为地加强军事整合和跨域作战,帮助解放军弥补作战准备方面的差距。许多观察家指出,解放军缺乏冲突中的作战经验是一个关键的弱点。尽管从技术角度来看,中国不断推进的军事现代化令人印象深刻,但在过去二十年里,解放军的人员都没有像美国军队那样在高端冲突中接受过火力考验。解放军继续努力从组织和理论的角度提高其"联合性",这也是刚刚起步,没有经过测试。

使用人工智能来提高模拟和兵棋推演的质量、保真度和复杂性,是解放军纠正这一关切领域的一种方式。新美国安全中心2019年的一份报告指出,"对中国军事战略家来说,从AlphaGo的胜利中学到的教训之一是,人工智能可以在一场可以比作兵棋推演的游戏中创造出优于人类玩家的战术和策略。"这可以更艰巨地考验解放军的决策者,改善指挥决策。事实上,CSET报告发现,在所调查的343份合同中,有百分之六是在模拟和训练中使用人工智能,包括使用人工智能系统对台湾突发事件进行战争演练。

图:在美国国防部高级研究计划局(DAPRA)的AlphaDogfight试验中,一名作战的F-16飞行员在虚拟现实模拟器中与Heron系统公司开发的冠军F-16人工智能代理进行飞行。Heron人工智能代理在连续五场斗狗比赛中击败了人类飞行员,结束了试验。资料来源:DARPA, https://www.darpa.mil/news-events/2020-08-26

注重人工智能整合以减少经验中的感知漏洞也适用于作战和战术训练。2021年7月,中国出版物《环球时报》报道说,解放军空军(PLAAF)已经开始在飞行员的空战训练中部署人工智能作为模拟对手,以 "磨练他们的决策和战斗技能,对抗快速计算的计算机"。

除了虚拟模拟,中国还旨在利用人工智能来支持飞行员在真实世界飞机上的训练。在2020年11月播出的中国中央电视台(CCTV)节目中,中国L-15教练机的总设计师张弘指出,训练飞机上的人工智能可以 "识别每个飞行员在飞行中的不同习惯。通过管理它们,我们将让飞行员更安全地成长,在未来获得更多的战斗能力"。

值得注意的是,解放军空军2021年7月的人工智能与人类的斗狗类似于美国国防部高级研究计划局(DARPA)2020年9月的AlphaDogFight挑战赛,在一系列五次模拟斗狗中,一个人工智能代理击败了人类飞行员。 同样,美国在2021年9月宣布与训练和模拟公司Red 6签订合同,将该公司的机载战术增强现实系统(ATARS)--该系统允许飞行员驾驶真实世界的飞机,使用增强现实耳机与人工智能生成的虚拟飞机进行训练--整合到T-38 "塔隆"训练器中,并计划最终在第四代飞机上安装该系统。由于中国军队正在利用人工智能来提高战备水平,美国防部不能落后。

(2)自主性

中国人工智能发展的第二个重点领域是自主系统,特别是蜂群技术,其中几个系统将独立运行或相互配合,以混淆和压倒对手的防卫系统。中国对发展蜂群技术的兴趣和能力已经得到了很好的证明,包括2017年6月创纪录地发射了118架小型无人机组成的互联蜂群。

据报道,2020年9月,中国电子信息研究院(CAEIT)从一辆改装的东风猛士轻型战术车上发射了200枚固定翼CH901徘徊弹药群。2022年2月在阿布扎比举行的2022年无人驾驶展的调查显示,不仅中国的参展阵容强大--中国航空技术进出口总公司(CATIC)和中国北方工业公司(NORINCO)都有大型展馆,而且还将重点放在 "协作"行动和智能蜂群。

图:2月在阿布扎比举行的UMEX 2022展会上展示的协作式蜂群无人机的一个例子。

对蜂群的兴趣并不限于无人驾驶飞行器(UAVs)。据《环球时报》报道,中国也在发展部署自主无机组人员水面飞行器(USVs)群的能力,以"拦截、围攻和驱逐入侵目标"。 2021年11月,中国公司云洲科技--它在2018年进行了一个由56个USV组成的蜂群的演示--发布了一段视频,显示六个USV进行了 "合作对抗",作为将一艘有船员的船只从中国水域移走的一部分。不难想象,这种合作对抗可以如何针对美国或盟国的海军船只,甚至商业船只进行部署,以发展或维持海上控制。这种能力在灰色地带的突发事件中尤为强大,在这种情况下,升级的担忧可能会限制反应的选择。

俄罗斯

在人工智能的投资和能力方面,俄罗斯落后于美国和中国。因乌克兰战争而实施的制裁也可能给俄罗斯的科技部门带来巨大损失。尽管如此,美国国家决策者不应低估俄罗斯以不对称的方式使用人工智能技术来破坏美国和北约利益的潜力。俄罗斯国防部有许多自主性和人工智能相关的项目,处于不同的开发和实验阶段,涉及军事机器人、无人系统、蜂群技术、预警和防空系统、ISR、C2、后勤、电子战和信息操作。

俄罗斯军事战略家认为,在未来的战场上,更大的自主权和人工智能具有巨大的潜力,可以加快信息处理,增强决策,提高态势感知,并保障俄罗斯军事人员的生命安全。自主和人工智能系统的发展和使用也在俄罗斯军事理论的更广泛背景下进行讨论。其理论重点是利用这些技术来扰乱和破坏对手的指挥和控制系统以及通信能力,并利用非军事手段在战争初期建立信息优势,从俄罗斯的角度来看,这包括与美国和北约等对手的非军事冲突时期。

俄罗斯人工智能的发展轨迹是不确定的。但是,由于持续的制裁,俄罗斯很可能会在微电子方面越来越依赖中国,并在与美国的技术竞争中进一步落后。

3 美国在人工智能方面的军事进展概述

五角大楼对人工智能的兴趣和紧迫性既是由于技术发展的速度加快,也是由于它所能带来的变革性能力越来越强。事实上,人工智能正准备从根本上改变军队思考、准备、执行和维持行动的方式。根据大西洋理事会以前的报告大纲,"五次革命 "框架对人工智能在五个广泛的能力领域的潜在影响进行了分类,下面的图3说明了人工智能可以通过不同的方式增强人类的认知和身体能力,融合网络和系统以获得最佳效率和性能,并在信息空间中迎来一个网络冲突和混乱的新时代,以及其他影响。

图3:跨越未来军事能力发展的五个广泛目标的人工智能优先发展项目概述。

  • 迈向完美的态势感知:感知、处理和认知

  • 即将到来的设计时代:制造、供应链和物流

  • 超能力平台和人员:人机性能增强

  • 连接性、致命性和灵活性:通信、导航、目标定位和打击

  • 监控、操纵和武器化:网络和信息作战

美国防部目前有六百多项与人工智能相关的工作正在进行中,其愿景是将人工智能融入国防部任务的每一个要素--从作战行动到支持和维持功能,再到支撑庞大的国防部企业的商业运作和流程。美国政府问责局(GAO)2022年2月的一份报告发现,国防部正在追求人工智能的作战能力,主要集中在"(1)通过情报和监视分析识别目标,(2)向战场上的作战人员提供建议(如在哪里移动部队或哪种武器最适合应对威胁),以及(3)增加无人驾驶系统的自主性。 "国防部的大多数人工智能能力,特别是与作战有关的努力,仍处于开发阶段,尚未与具体的系统接轨或整合。而且,尽管在实验中取得了明显的进展,并在作战行动中部署人工智能能力方面取得了一些经验,但在广泛采用方面仍然存在着重大挑战。

2021年9月,空军第一任首席软件官尼古拉-沙伊兰辞职,以抗议官僚主义和文化挑战,这些挑战减缓了技术的采用,阻碍了美国防部以足够快的速度与中国有效竞争。在沙伊兰看来,20年后,美国及其盟友 "将没有机会在一个中国拥有巨大人口优势的世界中竞争。"后来,他补充说,中国基本上已经赢了,他说,"现在,这已经是一笔交易了。"

沙伊兰关于美国与中国进行无用竞争的评估肯定不是整个美国防部都认同的,但它反映了许多人认为在该部门规避风险和深思熟虑的文化中缺乏紧迫感。

JAIC的负责人Michael Groen中将同意,"在国防部内部,必须发生文化变革。"然而,他也吹捧了美国的创新能力,并强调建立了一个人工智能加速器,并最终确定了一个联合共同基金会(JCF),用于人工智能的开发、测试和在国防部各实体之间共享人工智能工具。"支持云的JCF是向前迈出的重要一步,将允许基于共同标准和架构的人工智能开发。这应有助于鼓励各军种和国防部各部门之间的共享,并且根据JAIC的说法,确保 "国防部一个人工智能倡议的进展将在整个国防部企业中形成势头。"

虽然取得的进展值得赞扬,但仍然存在障碍,这些障碍延缓了人工智能能力的采用,而这种能力对于在不久的将来遏制威胁,以及应对中国在这十年及以后的竞争挑战至关重要。

下面的三个案例研究提供了美国防部人工智能工作中出现的技术、官僚主义和采用方面的进步的例子。这些案例还强调了阻碍美国在与中国以及在较小程度上与俄罗斯的军事技术竞争加剧的情况下,充分运用其国家创新生态系统的能力的持久性问题。

图4:联合人工智能中心(JAIC)的人工智能采用阶段。

用例1:JADC2的不可逆转势头、远大目标和集成挑战

五角大楼最重要的现代化优先事项之一是联合全域指挥与控制(JADC2)计划,该计划被描述为 "将所有军种的传感器连接到一个单一网络的概念。"根据美国国会研究服务部的说法,"JADC2打算通过从众多传感器收集数据,使用人工智能算法处理数据以识别目标,然后推荐最佳武器(包括动能和非动能武器)来对付目标,使指挥官能够做出更好的决策。 "如果成功的话,JADC2有可能消除各军种C2网络之间的孤岛,这些孤岛以前减缓了整个部队的相关信息传输。因此,产生更全面的态势感知,指挥官可以据此做出更好和更快的决定。

2021年12月,有报道称JADC2跨职能小组(CTF)将成立一个 "AI for C2 "工作组,该工作组将研究如何利用负责任的AI来加强和加速指挥和控制,这加强了负责任的AI对该项目的核心作用。

2022年3月,美国防部发布了其JADC2实施计划的非保密版本,用参谋长联席会议主席马克-米利将军的话说,此举代表了实施JADC2 "不可逆转的势头"。

然而,观察家们强调,在按照保持(或恢复)感知、处理和认知方面的优势所需的紧迫时间表实施JADC2方面,有几个持续的挑战。特别是相对于中国而言。

图5. JADC2的逻辑图反映了与国防部JADC2实施计划相关的复杂性和雄心。资料来源:美国国防部。

数据安全和网络安全、数据管理和共享问题、与盟友的互操作性以及与军方网络整合相关的问题,都被认为是认识到JADC2方法的宏伟前景所面临的挑战。一些人还强调,这种包罗万象的雄心也是一种挑战。哈德逊研究所的布莱恩-克拉克和丹-帕特认为,"当今威胁的紧迫性和新技术带来的机遇要求五角大楼领导人将JADC2的重点从美国军事部门的需求转向作战人员的需求。

可以肯定的是,在人工智能开发和整合项目中,不一定要避免宏伟的野心。然而,采用的途径将需要在难以实现的、官僚主义的、耗时的和昂贵的目标与开发能够在美国部队面临的更直接的威胁时限内提供能力和优势的系统之间取得平衡。

用例2:脆弱的人工智能和将人工智能纳入目标的道德和安全挑战

2021年9月,空军部长弗兰克-肯德尔宣布,空军已经 "首次将人工智能算法部署到实际作战的杀伤链中,这表明部署人工智能的时代确实已经到来。"根据肯德尔的说法,将人工智能纳入目标定位过程的目的是 "大大减少人工识别目标的人力密集型任务--缩短杀伤链并加快决策速度。" 成功使用人工智能支持目标定位是人工智能发展的一个里程碑,尽管在更全面地采用人工智能的作用方面仍然存在道德、安全和技术挑战。

例如,2021年美国防部的一项测试强调了人工智能的脆弱性问题。根据Defense One的报道,测试中使用的人工智能目标定位在人工智能不得不从不同角度破译数据的环境中只有大约25%的时间是准确的,尽管它认为它有90%的时间是准确的,这表明缺乏 "适应一套狭窄的假设之外条件"的能力。"这些结果说明了今天的人工智能技术在安全关键环境中的局限性,并加强了在一系列条件下对人工智能进行积极和广泛的现实世界和数字世界测试和评估的必要性。

人工智能目标定位的道德和安全也可能构成对进一步采用的挑战,特别是随着对人工智能算法的信心增加。空军的行动涉及自动目标识别的辅助作用,协助 "情报专家"--即人类决策者。当然,国防部有一个严格的目标定位程序,人工智能的目标定位算法将是其中的一部分,再往前想,自主系统将必须通过这一程序。然而,即使它们是这一程序的一部分,并被设计用来支持人类的决定,高错误率加上对人工智能输出的高度信任,有可能导致不理想或严重的结果。

用例3:人工智能在信息领域应用的局限性

与中国和俄罗斯日益激烈的竞争正在信息和网络领域上演,对美国安全以及美国经济、社会和政体具有真实、持久和破坏性的影响。

对于网络和信息行动来说,人工智能技术和技能是未来进攻和防御行动的核心,突出了人工智能在信息领域的危险性和前景。

人们对智能机器人、合成媒体的威胁越来越关注,例如描述没有发生过的事件或声明的逼真视频或音频制品,以及能够创造出令人信服的散文和文本的大型语言模型。虽然虚假信息是一个需要社会和整个政府应对的挑战,但国防部无疑将在管理和应对这一威胁方面发挥关键作用--由于其在美国政治和社会中的突出地位,其职能作用的性质,以及其持续活动的影响。

人工智能在五角大楼和其他美国政府检测机器人和合成媒体的努力中处于领先地位。例如,DARPA的MediaForensics(MediFor)项目正在使用人工智能算法来 "自动量化图像或视频的完整性"。

然而,鉴于合成媒体通过社交媒体的传播速度,人们对这种检测的速度表示担忧。正如联合参谋部首席信息官丹尼斯-克拉尔中将所观察到的,"机器和人工智能赢得其中一些信息运动的速度改变了我们的游戏......数字化转型、预测分析、ML、人工智能,它们正在改变游戏......如果我们不匹配这种速度,我们将使其达到正确的答案,而这种正确的答案将完全不相关。"

4 加快美国防部AI的应用

正如上面的讨论所示,美国防部在成功部署人工智能信息管理和决策支持工具的基础上,有一系列广泛的人工智能相关举措,处于不同的发展和实验阶段。随着重点转向整合和扩展,加快这些采用工作对于保持美国在与中国的战略竞争中的优势以及有效遏制俄罗斯至关重要。

在这一节中,本文强调了美国防部与其工业伙伴之间关系的一些不协调,这些不协调可能会导致失去创新和有影响力的人工智能项目的机会,扩大使用替代采购方法的积极影响,以及日益紧迫的调整过程和时间表,以确保美国军队能够获得未来战争的高水准技术能力。此外,本节还讨论了国防部实施道德人工智能原则的方法,以及与可信和负责任系统的标准和测试有关的问题。

4.1 美国防部和工业界的伙伴关系:统一观点、流程和时间安排

尽管国防部已经发布了一些高级别文件,概述了人工智能发展和部署的优先领域,但市场满足,甚至理解这些需求的能力还远远不够。最近,IBM对来自全球国防组织的250名技术领导人进行了调查,揭示了国防技术领导人和国防部如何看待人工智能对组织和任务的价值的一些重要差异。例如,只有约三分之一的受访技术领导人表示,他们认为人工智能对军事后勤、医疗和健康服务以及信息操作和深层假想有重大的潜在价值。当被问及人工智能支持的解决方案对商业和其他非战斗应用的潜在价值时,不到三分之一的人提到了维护、采购和人力资源。

这些观点与国防部在人工智能方面的目标有些不一致。例如,包括设备维护和采购在内的军事后勤和维持职能是国防部实施人工智能的首要任务之一。Leidos与退伍军人事务部的合作也说明了人工智能在医疗和健康服务方面的潜力。最后,随着人工智能在虚假信息运动中的使用已经开始,正如上一节的讨论所强调的那样,迫切需要开发技术措施和人工智能支持的工具,以检测和反击人工智能驱动的信息行动。

国防部及其行业伙伴基于各自的问题集和任务,有不同的优先事项和激励措施。但是,对人工智能发展的有价值和关键领域的不同观点可能会导致失去有影响力的人工智能项目的机会。也就是说,即使五角大楼和它的工业伙伴在人工智能方面意见一致,有效的合作也常常被一个笨拙的官僚机构所阻挠,这个机构常常被传统的流程、结构和文化束缚。

国防部的预算规划、采购、收购和签约流程,总的来说,不是为购买软件而设计的。这些 这些体制上的障碍,再加上复杂而冗长的软件开发和合规条例,对小型初创企业和非传统供应商来说尤其困难,因为他们缺乏资源、人员和事先的知识,无法像国防部的主要部门那样驾驭这个系统。

国防部清楚地意识到这些挑战。自2015年以来,国防部长办公室和各军种已经建立了几个实体,如DIU、AFWERX、NavalX和陆军应用实验室,与商业技术部门,特别是初创企业和非传统供应商对接,目的是加速提供同类最佳的技术解决方案。同时,国防部还采取了其他值得注意的措施,以促进使用替代性的采购和合同,这为构建和执行协议提供了比传统采购更大的灵活性。这些包括 "其他交易授权、中间层采购、快速原型设计和快速投入使用以及软件采购的专门途径"。

DIU一直处于使用其中一些替代性采购途径的前沿,从商业技术部门采购人工智能解决方案。空军的AFWERX还与空军研究实验室和国家安全创新网络合作,创新地利用小企业创新研究(SBIR)和小企业技术转让(STTR)资金,以 "提高项目的效率、有效性和过渡率"。例如,在2021年6月,美国空军SBIR/STTR人工智能投标日向关于 "可信人工智能,这表明系统是安全、可靠、强大、有能力和有效的 "主题的提案提供了超过1800万美元。

这些都是朝着正确的方向迈出的步伐,而且确实变得更容易获得国防部的研究、开发和原型制作资金。然而,及时获得生产资金仍然是一个重大挑战。这个 "死亡之谷 "的问题--研究和开发阶段与一个既定的、有资金记录的项目之间的差距--对于非传统的国防公司尤其严重,因为风险资本对初创企业的资助周期与将一个项目纳入国防部预算所需的时间之间存在差异。

五角大楼明白,弥合 "死亡之谷 "对于推进和扩大创新至关重要,并在最近启动了快速国防实验储备,以处理这些问题。然而,使预算规划、采购和签约流程与私人资本的步伐相一致所需的系统性变化,需要国会采取行动,并可能需要数年时间来实施。在实施这些改革方面的延误正在损害国防部获得尖端技术的能力,而这些技术在未来的战场上可能是至关重要的。

4.2 建立可信赖和负责任的人工智能系统

确保美国军队能够使用安全可信的人工智能和自主系统,并按照国际人道主义法律使用这些系统,将有助于美国保持其竞争优势,以对抗俄罗斯等对人工智能的道德使用承诺较少的专制国家。强调值得信赖的人工智能也是至关重要的,因为国防部的大多数人工智能项目都需要人机合作和协作的元素,它们的成功实施在很大程度上取决于操作者对系统的足够信任和使用。最后,国防部和行业伙伴之间就可信和负责任的人工智能的共享标准和测试要求进行更密切的协调,对于推进国防部人工智能的采用至关重要。

除了国防部现有的武器审查和目标程序,包括自主武器系统的协议,该部门还在寻求解决伦理、法律和政策的模糊性,以及人工智能更具体的风险。2020年2月,五角大楼通过了五项道德原则来指导人工智能的发展和使用,呼吁人工智能是负责任的、公平的、可追溯的、可靠的和可治理的。为了将这些原则付诸实践,国防部副部长凯瑟琳-希克斯发布了一份备忘录,指示采取一种 "整体的、综合的和有原则的方法 "来整合负责任的人工智能(RAI),包括六个原则:管理、作战人员的信任、产品和采购生命周期、需求验证、负责任的人工智能生态系统和人工智能劳动力。

同时,2021年11月,DIU发布了其负责任的人工智能指导方针,响应了备忘录中对 "工具、政策、流程、系统和指导 "的呼吁,将道德的人工智能原则纳入该部门的采购政策。这些指导方针是在国防部人工智能项目中操作和实施道德的具体步骤,建立在DIU在预测健康、水下自主、预测性维护和供应链分析等领域的人工智能解决方案的经验上。它们的目的是可操作的、自适应的和有用的,同时确保人工智能供应商、国防部利益相关者和DIU项目经理在人工智能系统生命周期的规划、开发和部署阶段考虑到公平、问责和透明度。

国防部人工智能项目的成功将在很大程度上取决于确保人类发展并保持对其智能机器队友的适当信任。因此,国防部对可信人工智能的强调越来越多地体现在其一些旗舰人工智能项目中。例如,2020年8月,DARPA的空战进化(ACE)项目吸引了大量的关注,因为一个人工智能系统在模拟的空中斗犬比赛中击败了空军的一名顶级F-16战斗机飞行员。 ACE的一个关键问题是 "如何让飞行员足够信任人工智能并使用它",而不是让人类与机器对决。ACE选择了斗狗场景,很大程度上是因为这种类型的空对空战斗包含了许多成为战斗机飞行员群体中值得信赖的伙伴所必需的基本飞行动作。让人工智能掌握作为更复杂任务基础的基本飞行动作,如压制敌方防空系统或护送友军飞机。根据ACE项目经理的说法,AlphaDogfight试验是 "关于增加对人工智能的信任"。

人工智能的发展速度很快,因此很难设计和实施一个足够灵活的监管结构,以保持相关性,同时又不至于限制性太强而扼杀创新。与国防部合作的公司正在寻求符合国防部人工智能道德原则的人工智能系统的开发、部署、使用和维护的指导方针。这些行业伙伴中的许多人已经采用了他们自己的可信和负责任的人工智能解决方案的框架,强调了安全、安保、稳健、弹性、问责制、透明度、可追溯性、可审计性、可解释性、公平性和其他相关质量等属性。

图:2021年10月19日,在亚利桑那州尤马试验场,一名美国陆军士兵使用战术机器人控制器来控制远征模块化自主车辆,作为准备 "聚合项目 "的练习活动。在 "聚合项目21 "期间,士兵们试验了使用这种车辆进行半自主侦察和再补给。无论是在战场上还是在战场之外,对自主和半自主车辆等人工智能能力的信任对于成功至关重要。

目前,对于什么是道德或值得信赖的人工智能系统,没有共同的技术标准,这可能会使非传统的人工智能供应商难以设定预期,并在官僚机构中穿梭。国防部不直接负责制定标准。相反,2021年国防授权法案(NDAA)扩大了国家标准与技术研究所(NIST)的任务,"包括推进人工智能的合作框架、标准、指导方针,支持开发人工智能系统的风险缓解框架,并支持开发技术标准和指导方针,以促进值得信赖的人工智能系统"。2021年7月,NIST在制定其人工智能风险管理框架时,向利益相关者发出了信息请求,旨在帮助组织 "将可信性考虑纳入人工智能产品、服务和系统的设计、开发、使用和评估"。

对这一挑战没有简单的解决方案。但是,让政府、行业、学术界和民间社会的利益相关者参与进来的合作过程可以帮助防止人工智能的发展走上社交媒体的道路,在社交媒体上,公共政策未能预测到虚假信息和其他恶意活动在这些平台上造成的风险和损失,而且反应缓慢。

与标准相关的是与测试、评估、验证和确认(TEVV)相关的挑战。测试和验证过程是为了 "帮助决策者和操作者了解和管理开发、生产、操作和维持人工智能系统的风险",对于建立对人工智能的信任至关重要。国防部目前的TEVV协议和基础设施主要是针对主要的国防采购项目,如船舶、飞机或坦克;它是线性的、顺序的,而且一旦项目过渡到生产和部署,最终是有限的。然而,对于人工智能系统,"开发从未真正完成,所以测试也是如此。"因此,像人工智能这样的适应性强、不断学习的新兴技术需要一个更加敏捷和迭代的开发和测试方法,正如NSCAI建议的那样,"将测试作为需求规范、开发、部署、培训和维护的持续部分,包括运行时监测操作行为。"

建立在开发、安全和运营(DevSecOps)的商业最佳实践基础上的综合和自动化的开发和测试方法,更适合于人工智能/ML系统。虽然JAIC的联合基金有可能实现真正的人工智能DevSecOps方法,但在整个国防部扩大这种努力是一个重大挑战,因为它需要对当前的测试基础设施进行重大改变,以及更多的资源,如带宽、计算支持和技术人员。也就是说,如果不开发更适合人工智能的新测试方法,不调整当前的测试基础设施以支持迭代测试,将阻碍大规模整合和采用可信和负责任的人工智能的努力。

上述关于标准和TEVV的讨论概括了现代人工智能系统对现有国防部框架和流程的独特挑战,以及商业技术公司和国防部对人工智能开发、部署、使用和维护的不同方法。为了加速人工智能的采用,国防部及其行业伙伴需要在具体的、现实的、与操作相关的标准和性能要求、测试过程和评估指标上更好地保持一致,并纳入道德的人工智能原则。一个以可信和负责任的人工智能为导向的国防技术生态系统可以促进最佳做法的相互交流,并降低非传统供应商和初创公司所面临的官僚主义和程序性障碍。

5 主要收获和建议

充分发挥人工智能推动成本和时间效率的能力,支持人类决策者,并实现自主性,将需要更多的技术进步或开发新的作战概念。下面,我们概述了优先努力的三个关键领域,以更成功地将人工智能纳入整个国防部事业,并确保美国能够阻止威胁,并保持对其竞争对手和潜在对手的战略、战役和战术优势。

5.1 优先考虑安全、可靠、受信任和负责任的人工智能开发和部署

与中国日益激烈的战略竞争,精湛的技术和强有力作战能力,以及与私营部门快速的技术开发和整合速度的比较,都给国防部带来了压力,使其更快地走向人工智能系统的实战。在人工智能发展中鼓励更大的风险容忍度,以便在大规模采用人工智能方面取得进展,这有很多好处。但是,仅仅为了 "超越 "中国而匆忙部署容易受到一系列对手攻击的人工智能系统,并且很可能在作战环境中失败,这将被证明是适得其反。

指导美国军队的道德准则反映了对遵守战争法则的基本承诺,而此时,一些独裁国家对人权和人道主义原则很不重视。同时,国防部对新能力的测试和保证采取了严格的方法,旨在确保新武器的使用是负责任的和适当的,并尽量减少事故、误用和滥用系统和能力的风险,因为这可能会产生危险,甚至是灾难性的影响。美国与许多盟友和伙伴共享的这些价值观和原则,在与专制国家竞争时是一种战略资产,因为它们正在部署人工智能军事系统。为了巩固国防部在这个领域的优势,我们建议采取以下步骤。

  • 美国防部应将DIU的“负责任的人工智能指南”纳入相关的提案请求、招标和其他材料中,要求承包商展示他们的人工智能产品和解决方案是如何实施国防部的人工智能道德原则。这将设定一套共同和明确的期望,帮助非传统的人工智能供应商和初创公司在五角大楼的提案过程中游刃有余。最近有国防部为项目制定收购类别的先例,要求工业界调整其开发过程,以满足不断变化的国防部标准。例如,在2020年9月,美国空军为所有采购工作制定了e系列采购指定,要求供应商使用数字工程实践--而不是原型--作为他们激励行业接受数字工程的一部分。

  • 美国防部的行业合作伙伴,特别是非传统的人工智能供应商,应积极与NIST合作,因为该机构继续努力制定标准和指导方针,以促进可信赖的人工智能系统,以确保他们的观点为后续框架提供信息。

  • 本文提到的有效采用人工智能的挑战包括人工智能的脆弱性和对手旨在破坏人工智能算法的网络攻击可能性。克服这些挑战将需要国防部继续致力于提高国防部人工智能系统测试和评估的速度、种类和能力,以确保这些系统在更广泛的不同环境下发挥预期功能。其中一些测试需要在真实世界的环境中进行,但基于模型的模拟的进步可以使人工智能系统的性能在数字/虚拟世界中得到越来越多的验证,减少与这种测试相关的成本和时间。

图:人工智能可以极大地重塑未来的战场。为了实现这一愿景,美国防部必须采取关键步骤,有效利用人工智能。资料来源:美国陆军。

  • 此外,美国防部还应该利用国防部研究与工程副部长(USDR&E)的测试实践和优先事项,以确保计划和部署的人工智能系统能够抵御对手的攻击,包括数据污染和算法损坏。

  • 美国防部应利用盟友和外国合作伙伴来开发、部署和采用可信的人工智能。这种性质的参与对于协调人工智能发展和使用的共同规范至关重要,这些规范遏制并对抗中国和俄罗斯的独裁技术模式。扩大现有合作模式和建立新的伙伴关系的途径可以包括以下内容:

i. 加强对道德、安全和负责任的人工智能的重视,将其作为全日空防务伙伴关系的一部分,通过评估成员方法的共同点和差异,确定未来联合项目和合作的具体机会。

ii. 与 "五眼"、北约和AUKUS伙伴交叉分享和实施联合道德项目。除了支持互操作性,这将增加视角和经验的多样性,并有助于确保人工智能发展工作限制各种形式的偏见。正如本项目所采访的一位前将军所指出的,"多样性是我们确保可靠性的方式。它是必不可少的。"

iii. 扩大与不同能力和地域的盟友和合作伙伴的联系,包括印度、南非、越南,以探索双边和多边研发工作和技术共享计划的机会,解决可信和负责任的人工智能的技术属性。

5.2 调整人工智能发展的关键优先事项,加强国防部和工业伙伴之间的协调,以帮助缩小国防部人工智能能力的差距

如果不与广泛的技术公司建立密切的伙伴关系,国防部将无法实现其在人工智能方面的雄心壮志,并与中国通过军民融合采购技术创新的模式进行有效竞争。这包括与五角大楼有长期联系的国防工业领导人,处于全球创新前沿的技术巨头,寻求扩大其政府投资组合的商业技术参与者,以及处于人工智能发展前沿的初创企业。但是,国防部的预算规划、采购、收购、签约和合规流程可能需要从根本上进行重组,以有效地与这个充满活力和多样化的技术生态系统的整体接触。

系统性变革是一个缓慢而艰巨的过程。但是,拖延这一过渡有可能使美国军队在利用人工智能承诺提供的优势方面落后,从作战速度到决策主导权。同时,以下行动可以帮助改善与行业伙伴的协调,以加快国防部采用人工智能的努力。

  • 国防部应评估其沟通和外联战略,以澄清和精简围绕该部门在人工智能方面的优先事项的信息。

  • 国防部应与技术公司合作,重新审查他们对某些类别的人工智能解决方案的潜在价值的评估,包括但不限于后勤、医疗和健康服务以及信息操作。

  • 国防部应实施NSCAI的建议,加快对采购专业人员的培训,使其了解采购和签约的全部可用选择,并激励他们使用人工智能和数字技术。" 此外,这种采购人员培训举措应确保采购专业人员充分了解国防部的人工智能伦理原则以及可信和负责任的人工智能的技术层面。国防部的道德准则可以作为这种培训的基础。

5.3 促进领先的国防技术公司和非传统供应商之间的协调,以加快美国防部人工智能的采用

在中短期内,美国防部将不会建立全新的人工智能系统,而是将人工智能整合到一系列现有的软件和硬件系统中--从网络防御架构到战斗机到C2。因此,实施人工智能的进展也将取决于简化国防部一直在争取的创新和尖端技术的初创公司和非传统人工智能供应商与负责将新能力整合到传统系统的国防部门之间的合作。

NSCAI建议确定 "国防部门与非传统公司合作的新机会,以便在现有平台上更快地采用人工智能能力。"我们赞同这一建议:改进国防部门与非传统公司之间的协调可以帮助确保人工智能解决方案是强大的,有弹性的,与作战相关的,以及引导有前途的原型穿过 "死亡之谷"。

毫无疑问,从概念到实践可能是很棘手的。本文的研究显示,在将创新的新技术从实验室转移到记录项目中采用的主要挑战在哪里,人们的观点存在着很大的分歧。初创企业倾向于认为系统集成商抗拒参与,而初创企业可能被认为缺乏对收购过程的理解,以及开发的技术难以整合到记录项目中,或难以扩大规模。

弥补这一差距将需要政府采取新的方法来解决非传统供应商对知识产权的担忧。大多数人不愿意放弃敏感技术的所有权,这些技术主要是卖给国防市场以外的客户。这也将涉及到国防部帮助小企业通过加快网络认证和运营授权(ATO)过程等步骤来浏览联邦采购流程,以及帮助有兴趣的公司为国防部的不同组成部分开发使用案例。这种积极的促进作用将帮助那些通过研究和开发拨款与国防部合作的非传统供应商更有准备地与系统集成商达成合作。

最重要的是,优化大型系统集成商和小型创新者的利益,将需要国防部在连接小型公司和那些正在运行的项目方面发挥更积极的对话者作用。目前,国防部在要求公司合作方面存在一些可以理解的犹豫,主要是担心触犯联邦采购条例(FAR)。但是,正如本项目采访的一位行业专家所认为的,国防部可以更积极地了解《联邦采购条例》所允许的内容,并帮助公司建立联系,特别是为了满足特定的采购优先权或计划。

6 结论

在过去的几年里,对人工智能的兴趣和投资已经获得了动力。这在国家安全和国防界尤其如此,因为战略家、政策制定者和行政人员在不断上升的地缘战略竞争中寻求决定性的优势,并为以复杂性、不确定性和最重要的速度为特征的未来操作环境做准备。人工智能现在是美国和中国之间军事技术竞争的中心,这两个国家以及世界上其他国家的军队都已经在部署人工智能系统,目的是为了主导未来的战场。

美国不能冒落后于中国的风险--在人工智能的创新方面,在人工智能的采用方面,在人工智能全面融入国防事业方面,都不能。迫切需要解决一系列技术和官僚程序以及文化问题,迄今为止,这些问题已经抑制了国防部采用人工智能的步伐。具体来说,国防部应优先考虑以下问题。

  • 建立对人工智能的信任:国防部的人工智能努力主要集中在增强人类理解、决策和效能的技术上,而不是取代人类。因此,在人类和他们的智能机器队友之间建立信任和信心是成功开发和部署军事人工智能的一个关键方面。

  • 制定和实施可信和负责任的人工智能标准:目前,对于什么是可信和负责任的人工智能,还没有共同的标准或系统性能要求。因此,五角大楼及其行业伙伴必须与NIST等机构合作,制定和实施与作战相关的标准、测试流程和评估指标,其中包括道德的、可信赖的和负责任的人工智能原则。这将有助于将成功的人工智能研究原型推进到可投入生产的解决方案中。

  • 促进美国创新生态系统和国防工业基地的优化。将尖端的人工智能技术引入国防部还需要五角大楼减少国防部采购过程中经常出现的官僚主义挑战,特别是对于那些在传统国防工业基地之外的创新公司。开发新的手段来支持和激励这些公司的参与,并促进领先的国防技术公司与初创公司和非传统供应商之间的行业内伙伴关系将是至关重要的。

  • 吸引盟友和合作伙伴。正如本文开头所述,乌克兰战争加强了盟友和合作伙伴在执行地缘政治规范和标准方面的重要性。未来人工智能的发展和采用也可能是如此。国防部不仅将受益于工业界和国家安全界的合作,还将受益于与盟友和外国伙伴的合作,以确保建立和颁布规范和标准,从而实现可信、负责和可互操作的人工智能开发和部署。

关于本报告

本报告是在对人工智能的国家安全和国防影响进行为期八个月的研究项目的最终成果。

关于作者

玛格丽特-科纳耶夫(Margarita Konaev)是大西洋理事会斯考克罗夫特战略与安全中心前沿防御业务的非常驻高级研究员。此外,她还担任乔治敦安全与新兴技术中心(CSET)的分析副主任和研究员,对人工智能的军事应用和俄罗斯军事创新感兴趣。她也是新美国安全中心的兼职高级研究员。在此之前,她是西点军校现代战争研究所的非驻地研究员,弗莱彻法律和外交学院的博士后研究员,以及宾夕法尼亚大学佩里世界之家的博士后研究员。在加入CSET之前,她曾在Gartner公司的营销和沟通部门担任高级负责人。

科纳耶夫博士对国际安全、武装冲突、非国家行为者和中东、俄罗斯和欧亚大陆的城市战争的研究已经在《战略研究杂志》、《全球安全研究杂志》、《冲突管理与和平科学》、法国国际关系研究所、《原子科学家公报》、《法律战》、《岩石上的战争》、现代战争研究所、外交政策研究所以及其他一系列机构和组织发表。她拥有圣母大学的政治学博士学位,乔治敦大学的冲突解决硕士学位,以及布兰代斯大学的学士学位。

泰特-努尔金(Tate Nurkin)是OTH情报集团的创始人,也是大西洋理事会斯考克罗夫特战略与安全中心的高级研究员。

在2018年3月建立OTH情报集团之前,努尔金在IHS Markit的简氏公司工作了12年,担任各种职务,包括管理简氏国防、风险和安全咨询业务。从2013年到他离开,他担任战略评估和未来研究(SAFS)中心的创始执行主任,该中心提供有关地缘政治、未来军事能力和全球国防工业的全球竞争的思想领导和定制分析。

实质上,努尔金的研究和分析特别关注中美竞争、国防技术、未来军事能力和全球国防工业及其市场问题。他还擅长设计和提供替代性未来分析活动,如情景规划、红色团队和兵棋推演。

他曾在联合管理服务公司、SAIC的战略评估中心以及博思艾伦公司的建模、模拟、兵棋推演和分析团队工作。2014-2018年,他在世界经济论坛的核安全全球议程委员会和国际安全未来委员会连续任职两年,该委员会的成立是为了诊断和评估第四次工业革命的安全和防御影响。

努尔金拥有佐治亚理工学院萨姆-纳恩国际事务学院的国际事务科学硕士学位,以及杜克大学的历史和政治学学士学位。

成为VIP会员查看完整内容
210

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
【AI】英国国防部《国防人工智能战略》摘要
专知会员服务
92+阅读 · 2022年6月22日
美国国防部《指挥、控制和通信 (C3)现代化战略 》
专知会员服务
187+阅读 · 2022年5月9日
美国军事人工智能发展及其安全问题的思考
专知会员服务
82+阅读 · 2022年4月24日
《俄罗斯人工智能和自主性》258页报告
专知
24+阅读 · 2022年7月30日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2011年6月30日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2022年8月19日
Arxiv
28+阅读 · 2021年9月18日
VIP会员
相关VIP内容
【AI】英国国防部《国防人工智能战略》摘要
专知会员服务
92+阅读 · 2022年6月22日
美国国防部《指挥、控制和通信 (C3)现代化战略 》
专知会员服务
187+阅读 · 2022年5月9日
美国军事人工智能发展及其安全问题的思考
专知会员服务
82+阅读 · 2022年4月24日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
4+阅读 · 2011年6月30日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员