本文着手探讨了大型语言模型(LLM)数据集,这些数据集在LLM的显著进步中扮演了关键角色。这些数据集作为类似根系的基础设施,支持并促进了LLM的发展。因此,对这些数据集的审查成为研究中的一个关键话题。为了解决当前对LLM数据集的全面概述和彻底分析的缺乏,以及获得对它们当前状态和未来趋势的洞见,这篇综述整合并分类了LLM数据集的基本方面,从五个视角出发:(1)预训练语料库;(2)指令微调数据集;(3)偏好数据集;(4)评估数据集;(5)传统自然语言处理(NLP)数据集。该综述揭示了当前面临的挑战,并指出了未来调查的潜在途径。此外,还提供了现有可用数据集资源的全面回顾,包括来自444个数据集的统计数据,涵盖8种语言类别和32个领域。数据集统计信息中纳入了来自20个维度的信息。调查的总数据大小超过了774.5TB的预训练语料库和700M实例的其他数据集。我们旨在呈现LLM文本数据集的整个景观,作为该领域研究者的全面参考,并为未来的研究做出贡献。相关资源可在以下地址找到:https://github.com/lmmlzn/Awesome-LLMs-Datasets。
随着ChatGPT(OpenAI,2022年)的发布,仅仅几个月时间,大型语言模型(LLMs)便吸引了越来越多的研究关注,成为了一个热门的研究领域。各种LLMs相继被开源,参数规模从几十亿到超过一千亿不等。示例包括LLaMA(Touvron等人,2023a,b),Phi(Gunasekar等人,2023;Li等人,2023k;Javaheripi等人,2023),ChatGLM(Du等人,2022;Zeng等人,2023a),QWen(Bai等人,2023a),Baichuan(Yang等人,2023a)等。大量工作涉及对基础模型的微调,产生了表现良好的通用对话模型或领域特定模型。广泛采用的人类反馈强化学习(RLHF)和LLMs评估的精细化进一步优化了LLMs的性能。LLMs所展示的巨大潜力,部分可以归功于用于训练和测试的数据集。俗话说,“巧妇难为无米之炊。”如果没有高质量数据集作为基础,想要培养出枝繁叶茂的LLMs之树是极其困难的。因此,LLMs数据集的构建和分析是一个值得关注的领域。 文本数据集的发展经历了几个阶段,从早期的自然语言处理(NLP)任务数据集到当前的LLMs数据集。在1960年代到1980年代,NLP的早期阶段主要关注语义分析和机器翻译等基础任务。数据集规模相对较小,通常是手工注释的。后来,从1987年开始的消息理解会议(MUC)(Grishman和Sundheim,1996)专注于信息提取和关系提取(RE)等任务的数据集。2000年后,NLP领域继续强调对传统任务和语言结构的研究,同时也转向关注对话系统(Paek,2006;Yan等人,2017;Devlin等人,2019;Zhang等人,2020b)等新兴领域。随着深度学习的兴起,NLP数据集向更大规模、更高复杂性、更多样性和更大挑战性发展。同时,出现了全面的性能评估(Srivastava等人,2023;Liang等人,2023;Li等人,2023n)、对话数据集(Zeng等人,2020;Yang等人,2023b;Ding等人,2023)、零样本和少样本数据集(Hendrycks等人,2021b;Xu等人,2021;Longpre等人,2023a)、多语言数据集(Conneau等人,2018;Siddhant等人,2020;Costa-jussà等人,2022)等。到2022年底,LLMs将数据集推向了一个新的高峰,实现了从“以任务为中心的构建”到“围绕任务和阶段的构建中心”的数据集发展转变。LLMs数据集不仅基于任务进行分类,还与LLMs的不同阶段有关。从最初的预训练阶段到最终的评估阶段,我们将LLMs数据集分为四类:预训练语料库、指令微调数据集、偏好数据集和评估数据集。这些数据集的组成和质量深刻影响了LLMs的性能。
当前LLM数据集的爆炸式增长为研究带来了挑战。一方面,这经常导致当尝试理解和学习这些数据集时,难以知道从何开始。另一方面,各种数据集之间在类型、领域取向、现实世界场景等方面缺乏系统的组织。为了降低学习曲线,促进数据集研究和技术创新,扩大公众意识,我们进行了LLM数据集的调研。目的是为研究人员提供一个全面且富有洞察力的视角,便于更好地理解LLM数据集的分布和作用,从而推进LLM的集体知识和应用。
本文总结了现有代表性数据集,跨越五个维度:预训练语料库、指令微调数据集、偏好数据集、评估数据集和传统NLP数据集。此外,它提出了新的见解和想法,讨论了当前的瓶颈,并探索了未来发展趋势。我们还提供了公开可用的数据集相关资源的全面回顾。它包括来自444个数据集的统计数据,跨越8种语言类别,涵盖32个不同领域,覆盖了来自20个维度的信息。调查的总数据量超过了774.5TB的预训练语料库和700M以上实例的其他数据集。由于空间限制,本调查仅讨论纯文本LLM数据集,并不涵盖多模态数据集。
据我们所知,这是第一个专注于LLM数据集的调查,呈现了整个景观。LLM数据集的时间线如图2所示。在此之前,几项与LLM相关的调查,如赵等人(2023年)和米纳伊等人(2024年),分析了LLM的最新发展,但缺乏对数据集的详细描述和总结。张等人(2023g)总结了LLM的指令微调阶段。常等人(2023年)和郭等人(2023c)总结了评估阶段。然而,这些调查仅关注LLM数据集的一部分,并且数据集相关信息不是中心焦点。与上述调查相比,我们的论文强调LLM数据集,旨在在这一特定领域提供更详细和全面的调查。
总体组织结构如图1所示。本文的其余部分组织如下。第2节总结了按数据类型和领域特定的预训练语料库分类的一般预训练语料库。它还概述了预训练数据的预处理步骤和方法。第3节总结了按构建方法和领域特定的指令微调数据集分类的一般指令微调数据集。提供了15个指令类别。第4节总结了按偏好评估方法分类的偏好数据集。第5节总结了按评估领域分类的评估数据集,并综合了不同的评估方法。第6节总结了按任务分类的传统NLP数据集。第7节简要识别了数据集内遇到的挑战,并预测了未来研究方向。第8节总结了本文。数据集的详细描述可以在附录A至E中找到。
预训练语料库
预训练语料库是在LLMs预训练过程中使用的大型文本数据集合。在所有类型的数据集中,预训练语料库的规模通常是最大的。在预训练阶段,LLMs从大量未标记的文本数据中学习广泛的知识,然后将其存储在模型参数中。这使LLMs具备一定水平的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据,如网页、学术材料、书籍,同时也涵盖来自不同领域的相关文本,如法律文件、年度财务报告、医学教材和其他领域特定数据。
根据预训练语料库涉及的领域,它们可以分为两种类型。第一种是通用预训练语料库,包括来自不同领域和主题的大规模文本数据混合体。数据通常包括来自互联网的文本内容,如新闻、社交媒体、百科全书等。目的是为NLP任务提供通用的语言知识和数据资源。第二种是领域特定的预训练语料库,它们专门包含特定领域或主题的相关数据。其目的是为LLMs提供专业知识。
作为LLMs的基石,预训练语料库影响预训练的方向和模型未来的潜力。它们扮演着几个关键角色,如下所示: * 提供通用性。大量的文本数据帮助模型更好地学习语言的语法、语义和上下文信息,使它们能够获得对自然语言的通用理解。 * 增强泛化能力。来自不同领域和主题的数据让模型在训练过程中获得更广泛的知识,从而增强它们的泛化能力。 * 提升性能水平。来自领域特定预训练语料库的知识注入使模型在下游任务上达到更优的性能。 * 支持多语言处理。预训练语料库中包含多种语言,使模型能够理解不同语言环境中的表达,促进跨语言任务的能力发展。
指令微调数据集
指令微调数据集由一系列文本对组成,包括“指令输入”和“答案输出”。 “指令输入”代表人类对模型的请求,包括分类、摘要、改写等多种类型。“答案输出”是模型根据指令生成的响应,与人类的期望相一致。 构建指令微调数据集有四种方式:(1)手动创建,(2)模型生成,例如使用自指导方法(Self-Instruct)(王等,2023f),(3)收集和改进现有的开源数据集,以及(4)上述三种方法的组合。 指令微调数据集用于进一步微调预训练的LLMs,使模型能够更好地理解并遵循人类的指令。这一过程有助于弥合LLMs的下一词预测目标与让LLMs遵循人类指令的目标之间的差距,从而提升LLMs的能力和可控性(张等,2023g)。
指令微调数据集可以分为两大类:通用指令微调数据集和领域特定指令微调数据集。通用指令微调数据集包含跨多个领域的各种类型的指令,旨在提升模型在广泛任务范围内的性能。通过微调,LLMs能够更好地遵循通用指令。在领域特定指令微调数据集中,指令专门为特定领域设计。例如,医疗指令使模型能够学习并执行医疗诊断和健康护理辅助等任务。
偏好数据集
偏好数据集是一系列提供对相同指令输入的多个响应的偏好评估的指令集合。它们通常由具有不同响应的指令对组成,以及来自人类或其他模型的反馈。这种设置反映了在给定任务或上下文中,人类或模型对不同响应的相对偏好。偏好数据集中的反馈信息通常通过投票、排序、评分或其他形式的比较表现出来。图15根据用于偏好评估的方法对各种偏好数据集进行了分类。收集和组织的偏好数据集信息呈现在表9和表10中。 偏好数据集主要在大模型的对齐阶段使用,旨在帮助模型的输出更紧密地与人类的偏好和期望对齐。与人类偏好的对齐主要体现在三个方面:实用性,具有遵循指令的能力;诚实性,避免捏造;安全性,避免生成非法或有害信息(赵等人,2023)。人类反馈强化学习(RLHF)(Christiano等人,2017;Ziegler等人,2019)和AI反馈强化学习(RLAIF)(李等人,2023c)均采用强化学习方法,使用反馈信号优化模型。除了使用指令数据集进行微调外,还可以使用偏好数据集训练奖励模型。随后,可以应用近端策略优化(PPO)算法,基于奖励模型的反馈进一步微调(Schulman等人,2017)。
结论
在广阔的人工智能领域中,大型语言模型(LLMs)作为迅速成长的突出特征,犹如茂密森林中的高大树木。供养它们成长和发展的数据集可比作这些树木的重要根系,为它们的表现提供必需的养分。遗憾的是,当前与LLM相关的数据集景观广阔,缺乏跨各种类型数据集的统一综合。理解LLM数据集的当前状态和未来趋势呈现出巨大挑战。因此,本综述提供了LLMs数据集的全面分析,将与LLMs相关的数据集按照五个维度进行分类和总结:预训练语料库、指令微调数据集、偏好数据集、评估数据集和传统NLP数据集。在进行这种分类的同时,我们识别了当前的挑战,并概述了未来数据集发展的潜在方向,覆盖了四个关键领域:预训练、指令微调、强化学习和模型评估。我们希望这篇综述能为学术界和工业界的研究人员、新来者和精通LLMs的实践者提供一个宝贵的参考点。我们的最终目标是不断完善LLMs数据集,以培育一个健壯和标准化的数据集生态系统,同时支持LLMs的持续进步。
来源:清华大学元宇宙文化实验室 近日 ,由清华大学沈阳教授领衔的清华大学元宇宙文化实验室发布了《AIGC发展研究资料2.0》,在1.0版报告基础上进行深化。 《研究资料2.0》用AI研究AI发展,共计211页,从《技术与演进》《影响与信任》《应用与创新》《安全与评估》《政策监管与全球视角》《前沿探索》六大维度展开,聚焦AIGC的多模态发展、多学科影响、全方位应用以及前沿探索,融汇AI产业实践经验、学术研究探讨与社会理念探索,提供AIGC动态综合指南。 具体内容如下:
大模型测试验证与协同创新中心牵头发布的《2023大模型落地应用案例集》,这是首部聚焦大模型落地应用的权威研究成果。《案例集》自10月启动征集以来,共计收到来自各行业有效案例百余个,地域覆盖北京、上海、广东、浙江、江苏、云南、江苏、重庆、河南、天津等十余个城市,应用领域覆盖智能制造、教育教学、科技金融、广告营销、政务办公、文娱传媒、科学智能、医疗、安全、交通、家居等各个行业,最终评选出52个大模型优秀应用案例。部分内容:
在过去的几年里,人工智能在语言能力方面取得了惊人的新进展。由深度学习的快速进步所推动,语言AI系统在编写和理解文本方面的能力比以往任何时候都要好。这一趋势促成了新功能、产品乃至整个行业的崛起。通过这本书,Python开发者将学习到使用这些能力所需的实用工具和概念。你将学习如何利用预训练的大型语言模型的力量,用于像文案写作和摘要等用例;创建超越关键词匹配的语义搜索系统;构建分类和聚类文本的系统,以实现对大量文本文档的可扩展理解;以及使用现有库和预训练模型进行文本分类、搜索和聚类。这本书还将向你展示如何:
踏上一场引人注目且充满吸引力的旅程,探索工程的未来——《AI提示工程》。这本引人入胜的书邀请您探索人工智能(AI)与工程专业知识的激动人心的融合,解锁创新和无限可能的世界。 深入探究AI对工程流程的变革性影响。这本吸引人的读物揭开了AI驱动的设计、解决问题的能力以及其在各个工程领域的革命性影响的神秘面纱。
无论您是一名初出茅庐的工程师、一个经验丰富的专业人士,还是仅仅对技术前沿充满了好奇,《AI提示工程》都是您了解AI如何重塑景观的入场券。通过真实世界的案例研究,从实际应用中获取洞察力,并将自己定位在这一动态进化的前沿。
本书以易于接近且富有信息量的风格编写,不仅仅是一本指南——它是您在工程领域解锁AI潜力的钥匙。保持领先,利用AI解决方案,成为技术革命时代的开拓者。 沉浸在未来中。立即订购您的《AI提示工程》副本,见证人工智能与工程专业知识的迷人融合。您的创新之旅从这里开始!
武装冲突中的优势不仅来自于能力或数量上的优势,还来自于资产的使用方式,小到单个车辆和弹药的操作。本文件概述了一项研究计划,重点是针对军事相关场景的小规模战术。小规模交战指的是交战双方的规模--一般是一个对一个、两个对一个和/或一个对两个--以及每个小组的目标或目的都已明确这一事实。问题领域包括追击-规避和目标守卫,其中任何一个都可视为空对空作战、地面资产压制/防御等军事任务中的子问题。在大多数情况下,所考虑的战术包括智能体的控制策略(即其空间机动),但也可能包括角色分配(例如,是充当诱饵还是前锋)以及离散决策(例如,是交战还是撤退)。小规模冲突的战术非常重要,因为它们可以帮助我们了解如何处理更大规模的冲突(多对多、多目标、多决策)。强化学习和神经网络等机器学习方法已被证明能够为大型智能体团队开发控制器。然而,与最优(或均衡)策略相比,这些控制器的性能通常是未知的。微分博弈论以鞍点平衡控制策略和零和博弈中的最小(或最大)成本/回报的形式,为相关情景提供了严格的解决方案。当平衡控制策略可以通过分析获得时,它们就适合机载/实时实施。本文探讨了与经典微分博弈论方法相关的一些挑战。出现这些挑战的主要原因是奇异性的存在,即使是最简单的微分博弈也可能出现奇异性。在** (i) 多追兵、单逃兵微分博弈、(ii) 多智能体炮塔防御场景和 (iii) 交战或撤退场景**中,演示了小规模解决方案的实用性。最终,这项研究成果为新型场景提供了微分博弈和最优控制解决方案、计算奇异曲面的数值技术、计算密集型解决方案的近似值,以及处理具有多个阶段或结果的场景的技术。
图 1.2:蓝队与红队冲突的概念图。红队除了移动智能体外,还有 3 个炮塔。灰色区域可能代表蓝队的目标区域--他们可能希望撤退到那里,或者进入该区域造成破坏或寻找特定目标。当然,在尝试计算各种智能体的控制权之前,可以先考虑它们之间的分配;但即使是这样,也可能取决于每个团队更高层次的任务目标。例如,红队可能希望尽量减少人员伤亡,或尽量减少进入灰色区域的蓝方智能体数量。
对抗性冲突中的战略范围很广,从军事条令到自然生物的行为和适应。在无数的应用领域(如军事、生物、经济、游戏、体育等)中,可以在许多层面上构想战略或战术--从组织层面(即实体群体之间的合作)到个人层面(飞行员、动物、投资者等的决策)。此外,对手不可预测的行动和反应也始终是一个挑战。我们可能会费尽心思去了解冲突的背景或环境、对手的能力,甚至对手当前的状态。然而,最终冲突的结果通常取决于对手现在和将来会做什么。
本研究关注的是小规模冲突层面的战略战术,重点是与军事相关的场景(不过,最终应用的大部分现实情况都将从分析中抽象出来)。"小规模冲突"一词没有精确的数学定义,但在整个分析过程中被用来表示小队智能体之间的冲突,包括一对一(1v1)冲突。大部分分析集中于 1v1、2v1、1v2 和 Mv1 冲突。除了小规模的团队外,小规模冲突还意味着可以将场景归结为每个团队的特定目标。这与规模更大、范围更广的冲突形成鲜明对比,例如,军事任务可能由许多子任务或子目标组成,甚至是由跨越各种资产的许多任务组成的军事战役。
关注的两个主要问题领域是追击-规避和目标防护。在前者中,一个追击者(或一组追击者)试图捕获一个规避者(或一组规避者)。在后者中,防御者试图阻止攻击者到达一组目标状态,这组目标状态可能代表感兴趣的区域或移动智能体的位置。请注意,在本文档的其余部分中,将遵守智能体名称大写的惯例。对于这两个问题领域,主要关注的是智能体的空间机动性。图 1.1 显示了智能体(如飞机)内部各层自主(或自动)控制之间的概念关系。如图所示,本文提出的研究主要涉及最上两层:任务管理器和外循环。例如,本文提出的分析和算法可能会根据 "高层 "决策(如飞机应完成的任务)或以 "高层 "决策为前提,为飞机规定航向参考指令。假定存在一个 "低级"(内环)控制器,该控制器向飞机发送执行器指令,以跟踪外环提供的参考指令。反过来,内环向外环提供飞行器状态信息(如位置)。外循环提供分配任务的性能估计值,任务管理器利用该估计值来评估是否进行更新,例如重新分配任务或重新组建团队。在追击-规避和目标防护方面,任务管理器的可能功能包括为飞行器分配角色或分配任务,例如为追击者分配特定的 "规避者 "作为目标。其他可能的角色包括:充当诱饵,以吸引队友的注意力;充当前锋,瞄准目标;或充当阻挡者,以防止切断对手的某些路径等。此外,任务管理器还可能负责做出不连续的决定,例如攻击者是否应该与防守者交战或完全撤退。
图 1.1:描述自主飞行器等控制层的概念框图。
更大、更复杂的冲突可能涉及更大的智能体团队(即多对多)、许多不同的目标和许多不同的决策。此外,冲突的结构可能会随着时间的推移而改变。图 1.2 展示了这样一个冲突的抽象例子,冲突发生在由 5 个移动智能体组成的蓝队和由 5 个移动智能体与 3 个炮塔组成的红队之间。作为人类,如果我们能理解并推理出每场小规模冲突中的最优方案,我们就更有可能理解更大规模的交战。
微分博弈论(DGT)提供了一种定量分析智能体表现的机制,同时还能让我们深入了解智能体之间的潜在互动。在 DGT 中制定的问题解决方案由每个参与者的鞍点均衡策略以及价值函数组成,后者代表了作为系统状态函数的冲突均衡结果。这些鞍点解决方案非常强大,因为它们向每个玩家保证,如果他们执行均衡策略,无论对手采取什么行动,他们的结果都不会比博弈值差。
拟议的研究计划可概括为:获取新颖小规模对局的微分博弈解,将现有解扩展到更复杂的小规模对局,开发/比较数值技术,以及开发近似解。在整个计划中,重点是微分博弈和最优控制解决方案的实际应用--目标是使单个智能体能够利用机载计算资源,在适合特定任务的时间内计算出其最优/均衡控制输入。因此,我们的目标通常是获得这些问题的闭式解析解。如果无法做到这一点,也可以开发维度更小的参数解,并使用传统的寻根方法快速高效地求解。最后,当解析解和参数解都不可行时,就需要寻找合适的近似解。
在下一节中,将使用 DGT 提出并求解一个经典的追逐-规避场景,其中涉及一个追逐者和一个规避者,以介绍一些关键概念,如参与者、成本函数、控制变量、均衡和价值。第 2 章包含文献调查,为拟议的研究提供必要的背景并确定关键主题。第 3 章将拟议计划具体化为一系列研究目标;最后讨论了所采用方法的挑战和优势。
分布式海上作战的概念旨在通过整合有人和无人系统、执行欺骗性战术以及增强单元实施进攻性打击的能力,使部队能够在舰队对舰队的交战中获胜。本报告通过开发一种作战模拟,研究多领域舰队资产的各种组合在海战环境中执行战术行动的能力,为 2030-2035 年 DMO 概念做出贡献。该项目研究友军对敌军使用欺骗和战术的影响,以及由此对对手在杀伤链各阶段进展能力的影响。通过开发和分析离散事件模拟,该研究调查了海军部队在空中、水面和电磁战领域通过执行战术进攻行动和使用欺骗战术对 DMO 做出贡献的能力。分析得出两个主要结论。在部队构成方面,导弹运载资产数量的增加对作战效能和生存能力的影响最大。在战术上,电子干扰的使用加上无人欺骗群的使用,极大地提高了友军资产的生存能力以及敌军部队的损耗。
图1所示。基于事件的DMO模型的功能
在一个主要军事力量之间经常发生挑战的动态和不确定的全球环境中,不能期望海域主要由美国的海上力量控制。海上势力范围的竞争环境要求对当前和预计未来的武器系统和网络能力进行持续创新。海、空、水下、电磁和网络领域的挑战促使美国继续发展创新的作战概念和条令,努力保持世界海军强国的领先地位。分布式海上作战(DMO)概念的提出是为了通过建立一个跨所有作战领域的分布式协作集成平台网络来增强美国海军的进攻能力。
根据 OPNAV 项目发起人的要求,系统工程分析第 27 组顶点小组的目标是开发一个由有人和无人系统组成的体系,用于在 2030-2035 年期间构建分布式海上作战体系。该团队将分析和评估不同平台的各种组合在有争议的环境中执行战术进攻行动的能力。该小组的工作重点不是设计和采购新平台,而是执行欺骗性战术、整合有人和无人资产,以及应用战术进攻能力对付有能力的对手部队,努力发展一支更具杀伤力和生存能力的海军部队。
为了让团队开发出一个有助于执行分布式海上作战能力的系统体系,DMO 的构建需要进一步详细界定和定义。在本 "顶点 "项目的范围内,DMO 被视为一种运用概念,在这种概念中,多领域平台和技术被整合和利用,目的是提高总体杀伤力,同时降低遭受对手攻击的可能性。执行 DMO 的系统体系能够投射进攻性火力,并由跨所有作战领域的统一海军部队在大面积地理区域内实施集体防御。DMO 作为一种创新概念与当前海军部队行动的主要区别在于,其主要原则是赋予操作人员和指挥官权力,使其能够利用现有技术,在有能力的情况下在交战中采取进攻行动,先发制人,努力在与有能力的对手作战中取胜。
DMO 概念不仅将进攻性打击视为在战斗中获胜的主要战术,还将欺骗和迷惑敌人的能力确定为在有争议的环境中取得成功的关键任务。在本研究中,DMO 的运用被分解为三个主要功能;反措施、反目标和反介入。对于敌对双方部队之间的交战,每种功能都有不同的目的,并产生不同的预期结果。反措施属于防御性质,目的是在敌方威胁的武器交战发生后转移敌方资源。采用反措施的目的是分散或削弱敌方系统,以防止敌方已经采取的行动。相反,反瞄准则是在敌我力量交战时采取更具进攻性的姿态。反瞄准被认为是友军先发制人采取的行动,目的是防止敌方武器发射指向实际的蓝军资产。这种反瞄准目标可通过采用欺骗性战术和行动演习来实现,从而转移或阻止敌方以友军的独立单元或群体为目标。研究报告中 DMO 的最后一个要素是反介入,它描述了友军为解除威胁以排除敌方平台任何潜在武器发射而采取的行动。本项目将上述 DMO 的每项原则都视为必要功能,以提高在充满挑战的海洋环境中开展分布式行动的能力。
正如 DMO 概念中的反介入、反瞄准和反措施部分所述,"顶点 "项目的主要重点是采用各种欺骗方法和战术,努力影响友军在战斗中取得成功。SEA-27 小组将这些欺骗战术分为四大类:无人资产群、机械和物理反制措施、电子干扰和限制电磁辐射或发射控制 (EMCON)。对每一种战术都进行了研究,以确定这些反目标行动和防御性反措施对友军在整个交战期间保持行动和作战能力的影响。
为了分析和评估由多领域平台组成的各种部队架构的效用,团队使用名为 ExtendSim 的离散事件模拟程序构建了一个基于事件的模型,以表示舰队与近邻对手的舰队对舰队交战。SEA-27 小组开发的 ExtendSim 交战模拟考虑了友方和敌方的作战指令,包括预计在 2030-2035 年期间投入使用的主要平台、传感器和武器系统。此外,还对之前描述的战术的使用进行了建模,以深入了解在各种生存能力和杀伤力性能指标方面使用欺骗性措施的潜在价值。
为了对友军反措施、反瞄准和反交战战术的有效性进行详细分析,"顶点 "团队建立了一个以执行敌方杀伤链为重点的仿真模型。该模型表示了敌方在水面、空中和导弹领域的威胁,它通过杀伤链的各个阶段,以攻击指定的蓝军平台为目标。如图 1 所示,杀伤链序列包含敌方威胁必须执行的主要功能,包括发现、瞄准和最终攻击指定的友军资产。在确定特定交战结果时,要考虑敌方威胁和友军资产的相对性能参数,包括友军在杀伤链各阶段可能采用的各种战术和反制措施。在敌方威胁通过杀伤链的各个阶段实施欺骗和转移方法,可使友军降低或破坏敌方执行发现、瞄准和交战功能的能力。在模拟中应用各种逻辑语句和设置,有助于检查以 DMO 为中心的前沿友军对总体成功衡量标准的影响。
通过 ExtendSim 模型的数据输出和多元回归分析的应用,可以对基准固定兵力结构和可变兵力结构进行评估。基线部队结构由一组固定的友军舰船和飞机组成,按传统的行动编队排列,包括航母打击群、远征打击群、水面行动群和各种独立的可部署单元。对固定兵力结构进行研究的自变量包括各种战术,如使用干扰、可用物理反制措施的数量、EMCON 分配和蜂群资产的部署。DMO 的可变兵力结构由水面、空中和无人资产的任何潜在组合以及相关的可使用战术和反制措施组成。分析可变兵力结构时考虑的输入变量包括前文所述的战术,以及水面和空中领域的可变平台数量。通过对这两大类兵力结构的分析,研究小组确定了有助于友军成功完成任务的重要统计因素或战术和平台,以及采用各种平台组合及相关战术和欺骗性措施的作战影响。
通过对固定和可变兵力结构的分析,有几个因素被认为对各种兵力组合执行 DMO 的能力具有重要的统计和作战意义。就友军的生存能力而言,使用干扰和欺骗性蜂群对作战效能的影响大于任何机械或物理对抗措施或任何经分析的电磁控制技术。对敌方威胁实施干扰可扰乱杀伤链的发现和瞄准阶段,导致发现和/或攻击指定蓝军资产的时间延迟。敌方威胁在瞄准阶段的时间延迟导致友军有更多机会进行反介入,以便在导弹或武器介入前解除或摧毁威胁。此外,蜂群的存在会造成更多的接触和杂乱,这就要求敌方投入更多的时间和资源来识别蜂群中的每辆车并将其分类为敌方或友方。同样,这种对威胁造成的延迟也有利于友军实施进攻性打击,并对来袭威胁进行分层防御。
主要的导弹携带水面平台,特别是巡洋舰和驱逐舰,在交战场景中采取进攻姿态时,会产生最大的统计和作战影响。友军在生存能力和杀伤力方面能否取得成功,取决于导弹航母在进攻性和防御性武器方面的重大贡献,以及对共同作战和火控网络的贡献能力。导弹航母具有远程攻击能力,是大范围内部队集体防御的主要基础。此外,在整合无人资产方面,导弹航母可作为部署和控制无人资产的母平台。
SEA-27 小组是在分析了对有能力的对手实施 DMO 的因素的统计和作战意义的基础上提出这些建议的。在干扰方面,至关重要的是不仅要研究针对对手使用电磁辐射的方法,还要考虑防御类似攻击的能力。由于严重依赖网络进行通信和共享共同作战画面,必须降低易受干扰的程度,以防止因无法自由使用电磁频谱而丧失能力。无人资产和技术虽然在交战模拟中主要作为杂波建模,但在 ISR 能力和提高杀伤力方面可作为友军作战能力的重要因素。武装无人资产的存在改变了战斗空间的动态,能够有效使用多领域无人飞行器的操作员将获得优势。最后,如果无人资产能够成功地模仿战斗序列中经常成为敌方威胁目标的另一艘舰艇(例如航空母舰),那么所有其他友军平台都会因减少成为敌方威胁的目标和交战而受益。
Sora推出有望推动内容创作变革也是AIGC组成一部分 2024年2月迎Sora,推动多模态热度。Sora的核心技术是基于OpenAI在自然语言处理和图像生成方面的深厚积累(从LLM的ChatGPT到DALL-E3,再结合Diffusion和Transformer模型)与Runway、Pika等相比,Sora在视频生成的真实感、细节表现上均具标志性价值。AI视频生成虽不是新事,但Sora的推出具有新里程碑价值,作为AIGC组成部分,有望推高AI多模态的热度,可关注AI多模态应用塑造数字内容生产与交互新范式,赋能视觉行业,从文字、3D生成、动画电影、到长短视频、剧集等方面,均有望带来内容创作的变革,助力内容消费市场的繁荣发展,也在加速拓展AI应用新边界(从中长期看,真人生产的内容对比AI生成内容的稀缺性也是凸显)。同时,AI的发展,需要算力等支持,若算力获得持续赋能,应用也有望百花齐放。 以Sora为支点有望撬动AI多模态应用新热度 每一次技术的进步与推动均有望带来时代的红利,AI多模态的应用有望在2024年持续,对传媒领域有望带来存量的提质增效以及新增的应用场景,有望推动传媒走向智媒。从投资维度看,第一维度,OpenAI的产品迭代,微软受益,A股映射的受益公司是与微软合作的蓝色光标;第二维度,内容应用,核心看三点,第一点,对于动画电影带来产能提升,如光线传媒;第二点,对于静态文字领域商业新增量,如中信出版、新经典、果麦文化等;第三点,Sora的AI生成视频模型,人人成为UGC及PGC制作者,有利于丰富元宇宙、长短视频、MR应用生态,虚实融合如风语筑、蓝色光标、浙文互联、力盛体育等。
人工智能生成内容(AIGC)的发展得益于模型算法的进步、可扩展的基础模型架构以及大量高质量数据集的可用性。尽管AIGC取得了显著的性能,但仍面临一些挑战,例如维护最新和长尾知识的困难、数据泄露的风险以及与训练和推理相关的高成本。最近,检索增强生成(RAG)作为一种应对这些挑战的范式出现了。特别是,RAG引入了信息检索过程,通过从可用的数据存储中检索相关对象来增强AIGC结果,从而提高准确性和鲁棒性。在本文中,我们全面回顾了将RAG技术集成到AIGC场景中的现有工作。我们首先根据检索器如何增强生成器对RAG基础进行分类。我们提炼了各种检索器和生成器的增强方法论的基本抽象。这种统一的视角包括了所有RAG场景,阐明了助力未来进展的进步和关键技术。我们还总结了RAG的额外增强方法,促进RAG系统的有效工程实施。然后,从另一个视角,我们调查了RAG在不同模态和任务中的实际应用,为研究人员和从业者提供宝贵的参考。此外,我们介绍了RAG的基准,讨论了当前RAG系统的局限性,并提出了未来研究的潜在方向。项目仓库:https://github.com/hymie122/RAG-Survey。
近年来,人工智能生成内容(AIGC)引起了广泛的兴趣。各种内容生成工具被精心设计,以在不同的模态中生成多样化的对象,例如包括GPT系列[1]-[3]和LLAMA系列[4]-[6]的大型语言模型(LLM)用于文本和代码,DALL-E[7]-[9]和Stable Diffusion[10]用于图像,以及Sora[11]用于视频。"AIGC"这个词强调的是内容是由先进的生成模型而非人类或基于规则的方法产生的。这些生成模型由于采用了新型模型算法、广泛的基础模型架构和大量高质量数据集而取得了显著的性能。特别是,序列到序列的任务已从使用长短期记忆(LSTM)[12]网络转移到基于Transformer的模型[13],而图像生成任务已从生成对抗网络(GAN)[14]转移到潜在扩散模型[10]。值得注意的是,基础模型的架构最初由数百万参数[15]、[16]组成,现在已发展到包含数十亿参数[1]、[4]。这些进步进一步得到了丰富、高质量数据集[1]、[17]的支持,这些数据集提供了大量的训练示例以充分优化模型参数。
信息检索是计算机科学领域内另一个关键的应用。与生成不同,检索旨在从庞大的资源池中定位相关的现有对象。检索的最常见应用在于网络搜索引擎,主要关注文档检索任务[18]、[19]。在当今时代,高效的信息检索系统能够处理高达数十亿[20]、[21]的文档集合。除了文档外,检索也已被应用于其他模态[22]-[25]。 尽管先进的生成模型取得了显著的进展,AIGC仍面临一些众所周知的挑战,包括维护最新知识的挑战、无法融合长尾知识[26],以及泄露私有训练数据的风险[27]。提出检索增强生成(RAG)以缓解,如果不是完全解决,上述挑战,通过其可适应的数据仓库。用于检索的知识可以被概念化为非参数记忆。这种形式的记忆易于修改,能够容纳广泛的长尾知识,并且也能编码机密数据。此外,检索也可以用来降低生成成本。例如,RAG可以减小大型生成模型的大小[28],为长上下文提供支持[29],并省略某些生成步骤[30]。
典型的RAG过程如图1所示:给定一个输入查询,检索器定位并查找相关数据源,然后检索结果与生成器交互,以增强整体生成过程。检索结果可以以不同的方式与生成过程交互:它们可以作为增强输入供生成器使用[31]、[32];它们可以在生成的中间阶段作为潜在表示加入[33]、[34];它们可以以逻辑形式贡献于最终生成结果[35]、[36];它们甚至可以影响或省略某些生成步骤[30]、[37]。此外,在典型的基础RAG过程之上,也提出了许多增强方法以提高整体质量。这些增强包括针对特定组件的方法以及针对整个管道的优化。 虽然RAG的概念最初出现在文本到文本的生成中[32],但它也已被适应到各种领域,包括代码[38]-[40]、音频[41]、[42]、图像[43]-[45]、视频[46]、[47]、3D[48]、[49]、知识[50]-[52]和AI科学[53]、[54]。特别是,RAG的基本思想和过程在模态之间大体一致。然而,它需要在增强技术上进行特定的小调整,而检索器和生成器的选择则取决于特定的模态和任务。
尽管近期关于RAG的研究迅速增长,但一个涵盖所有基础、增强和应用的系统性综述显然是缺失的。对RAG基础的缺乏讨论显著削弱了这一领域研究的实际价值,使RAG的潜力没有得到充分探索。虽然大多数研究兴趣,特别是在LLM研究人员中,集中在文本生成任务中基于查询的RAG上,但认识到其他RAG基础范式也是有效的技术,并具有显著的使用和进一步发展潜力是至关重要的。对RAG应用的概述缺乏导致研究人员和从业者忽视RAG在多个模态中的进展,并且不了解如何有效地应用RAG。尽管文本生成通常被视为RAG的主要应用,我们强调RAG在其他模态的发展也在早期阶段开始,并已取得了有希望的进展。某些模态与检索技术有着丰富的历史联系,为RAG注入了独特的特征。尽管已经提出了一些关于RAG的调查,但它们主要关注于特定的方法论和任务。在本文中,我们的目标是提供一个全面的调查,以提供RAG的系统性概述。
这篇综述提供了关于RAG的全面概览,涵盖了基础、增强、应用、基准、局限性和潜在的未来方向。尽管检索器和生成器在不同的模态和任务中展现出变化,我们提炼了RAG基础的基本抽象,将应用视为源自这些抽象的适应。我们旨在为研究人员和从业者提供参考和指南,为推进RAG方法论及其相关应用提供有价值的见解。总结来说,我们的贡献如下: 我们对RAG进行了全面的回顾,并提炼了各种检索器和生成器的RAG基础抽象。 我们总结了现有RAG流程的增强,详细说明了用于实现更有效RAG系统的技术。 对于不同的模态和任务,我们调查了融合RAG技术的现有AIGC方法,展示了RAG如何为当前的生成模型做出贡献。 我们讨论了RAG的局限性和有前景的研究方向,阐明了其潜在的未来发展。
这篇综述提供了关于RAG的全面概览,涵盖了基础、增强、应用、基准、局限性和潜在的未来方向。尽管检索器和生成器在不同的模态和任务中展现出变化,我们提炼了RAG基础的基本抽象,将应用视为源自这些抽象的适应。我们旨在为研究人员和从业者提供参考和指南,为推进RAG方法论及其相关应用提供有价值的见解。总结来说,我们的贡献如下: * 我们对RAG进行了全面的回顾,并提炼了各种检索器和生成器的RAG基础抽象。 * 我们总结了现有RAG流程的增强,详细说明了用于实现更有效RAG系统的技术。 * 对于不同的模态和任务,我们调查了融合RAG技术的现有AIGC方法,展示了RAG如何为当前的生成模型做出贡献。 * 我们讨论了RAG的局限性和有前景的研究方向,阐明了其潜在的未来发展。
方法
在本节中,我们首先在AIGC的背景下介绍RAG的基础。随后,我们概述了进一步提高RAG有效性的增强方法。根据检索器如何增强生成器,我们将RAG基础范式分类为4个不同的类别,如图6所示。
在本节中,我们将介绍用于增强RAG性能的方法。我们根据增强目标将现有方法分为5个不同的组别:输入、检索器、生成器、结果和整个流程。
结论
在本文中,我们对与AIGC相关的场景中的RAG进行了全面和深入的调查,特别关注增强基础、增强措施和实际应用。我们首先系统地组织和总结了RAG的基础范式,提供了关于检索器和生成器之间互动的见解。基于构建的RAG系统,我们回顾了进一步提高RAG有效性的增强措施,包括对输入、检索器、生成器和结果的增强。为了便于跨不同领域的研究人员,我们展示了在多种模态和任务中RAG的实际应用。最后,我们还介绍了RAG的现有基准,讨论了RAG当前的局限性,并展望了有前景的未来方向。
分布式海上作战(DMO)是美国海军部(或称 DON,包括海军和海军陆战队)的作战概念,旨在利用美国海军(即海军和海军陆战队)部队在作战行动中打击对手,尤其是大国,因为对手拥有强大的能力,可以用反舰导弹和其他武器探测和攻击美国海军水面舰艇。美国国会面临的一个问题是,国会是否掌握有关 DMO 的足够信息以评估其优劣,以及美国国防部是否已根据 DMO 充分调整了其计划和预算。
作战概念是关于如何使用特定军事力量(此处指美国海军部队)开展行动,特别是在作战情况下开展行动的总体想法。作战概念可以支持实施打击特定冲突的战略或战争计划,单个军事单元(如海军舰艇和飞机)使用的战术可以反映作战概念。
美国海军作战部长的一份 2022 年文件将 DMO 称作 "海军的基础作战概念"(海军作战部长,《2022 年导航计划》,第 8 页)。美国海军司令部尚未发布关于 DMO 的详细非保密说明。海军司令部官员的声明表明,DMO 的一个关键目标是提高美国海军部队对抗大国海上反介入/区域拒止(A2/AD)系统(即探测和攻击美国海军水面舰艇和飞机的能力)的能力,从而使美国海军部队在与大国冲突期间能在大国 A2/AD 系统射程内的水域有效作战。DMO 的主要特点似乎包括以下几点:
将海军单元分散到战区内更大的区域,使敌方更难发现和瞄准海军单元,同时仍允许海军单元相互支援并集中火力打击敌方目标。
将海军的传感器和武器分散到更多的舰船和飞机上,以减少因任何一艘海军舰船或飞机被摧毁而损失的海军传感器和武器的比例(即避免 "把太多鸡蛋放在一个篮子里")。
更多地使用射程更远的武器、无人舰艇和无人飞机,以支持前两点。
利用弹性通信链路和网络技术,将由此产生的广泛分散的有人和无人舰船和飞机编织成一支协调的战斗部队,能够抵御和适应敌方对海军通信和网络的攻击。
一位观察家在撰写有关 DMO 的文章时(见下文 "其他资源 "方框中的 Filipoff)指出,"[海军]对 DMO 的解释包含几个决定性特征,这些特征在海军对这一概念的公开定义中始终占据重要地位。这些特征包括:集结和汇聚来自分布式部队的火力,使对手的目标锁定和决策复杂化,以及跨平台和跨领域的网络效应"。
美国其他军种也有在未来潜在冲突中开展各自行动的作战概念。美国空军的概念是 "敏捷战斗部署"(ACE),陆军的概念是 "多域作战"(MDO)。在美国国防部内部,海军陆战队有一个称为 "远征先进基地作战"(EABO)的概念,与 DMO 相辅相成。各军种的作战概念有一些共同点,包括更多地使用无人系统,以及利用通信和网络技术将分散的单元整合成协调的作战部队。
与美国《国防现代化条例》有关的海军采购计划包括以下几个例子:
获取射程更远武器的计划,如 "海上攻击战斧"("战斧 "巡航导弹的新型反舰变体)和远程反舰导弹(LRASM)。
大型无人水面舰艇(LUSV)将配备垂直发射系统(VLS),用于储存和发射反舰导弹和其他武器。LUSV 旨在充当有人驾驶的海军水面作战舰艇的辅助导弹库。
中型无人水面舰艇(MUSV),将配备雷达或其他传感器。中型无人水面舰艇旨在帮助形成一个分布式传感器网络,为海军行动提供支持。
轻型补给油船(TAOL)造船计划旨在建造一种新型的小型油船。轻型补给油船(TAOL)旨在提高海军向在更广阔海域以更分散方式执行任务的海军舰艇提供燃料和补给的能力。
中型登陆舰(LSM)计划旨在建造一种小型两栖舰艇。LSM 计划是实施 EABO 的核心。
美国国会对 DMO 的潜在监督问题包括但不一定限于以下方面:
国会是否从海军那里获得足够的关于DMO的信息来评估其优点?海军是否向国会提供了详细描述 DMO 的机密报告?海军是否应公布关于 DMO 的非机密描述?
美海军进行了哪些分析,导致海军采用 DMO 作为其基本作战概念?海军演习在多大程度上证实了这些分析?
DMO 是否与空军的 ACE 概念和陆军的 MDO 概念充分协调?各军种正在采取哪些措施协调其概念?
美国防部的预算和计划是否与 DMO 充分协调?国会是否有足够的关于 DMO 的信息来评估这个问题?DMO对海军的造船和武器采购计划以及相关的造船和武器制造工业基地有什么影响?
在未来 5 到 10 年内,美海军实施 DMO 的能力会在多大程度上受到海军库存远程武器数量限制的制约?根据目前海军采购新武器的计划,这种限制会以多快的速度得到缓解?
DMO 所需的通信和网络技术有哪些技术挑战和风险?DMO 是否充分考虑了战时因敌方攻击而导致网络退化的可能性?
一位观察家在撰写有关 DMO 的文章时指出:作战概念可能会被滥用,只不过是为先入为主的利益服务的举措上的保险杠贴纸。DMO 发生这种情况的风险有多大?
为了帮助实施DMO,一些观察家建议在目前没有导弹系统的舰艇上(如两栖舰或辅助舰)增加导弹系统,或为濒海战斗舰(LCS)配备射程比其目前携带的导弹更远的导弹。这些建议的相对优点是什么?
核心观点 事件:2024年2月16日,OpenAI发布文生视频模型——Sora及其技术报告《Video generation models as world simulators》。 从Sora模型看文生视频的技术路径:技术路径尚未收敛,Transformer扩展特性优势凸显。市场大多认为扩散模型是图像和视频生成领域的主流路径,但没有重视Transformer架构scaleup的能力。OpenAI技术报告指出,Sora是基于扩散模型,但更强调,Sora是一个基于Transformer架构的扩散模型,其优秀的生成能力离不开Transformer架构优秀的scaling特性。当前,为构建性能更优、效率更高的视频生成模型,已出现多种结合Diffusion Model和Transformer架构的构建方式。 从Sora模型看文生视频的最新能力(假设展示视频可以代表Sora的一般性表现):1)强大的理解能力:Sora模型不仅可以理解Prompt的内容,还能理解事物在物理世界中的存在方式,突出的语言理解能力是其能够准确生成视频的前提。2)优秀的生成能力:①长度:可生成60s视频;②复杂度:能够生成包含多个角色、多种主题、多类运动形态的复杂场景;③逼真度:能够呈现更多的视觉细节,具备更高清的画质,为用户提供逼真的视觉体验;④连贯性&一致性:可以生成同一角色的多个镜头,保持其在整个视频中的外观,在角度移动和切换情况下,人物和场景元素在三维空间中的位置关系能够保持一致的运动;⑤可控性:在某一Prompt基础上只改动一个关键词仍能生成优质的视频,具备较好的可控性。3)其他能力:图生视频,视频扩展/编辑/拼接/模拟等。 从Sora模型看文生视频的行业影响:目前OpenAI已向部分视觉艺术家、设计师和电影制作人提供访问权限,以获取专业的反馈。我们认为,以Sora为代表的视频生成模型有望给广告/设计/短视频/游戏等行业带来变化。从中短期来看,视频生成模型将更多的作为创作工具对相关行业进行赋能。
本手册旨在帮助电子战和雷达系统工程师对系统能力进行一般估计。本手册由 NAVAIR 电子战/战斗系统部主任赞助。章节包括:基本原理;天线;雷达方程;雷达与接收机特性及测试;微波/射频组件;电光红外;飞机动力学考虑;数据传输总线;词汇表;缩写和缩略语。
🌟 人工智能大模型作为技术发展的重要引擎,正推动各行各业的革命性变革。🔍 国内大模型发展迅速,中美两国在全球大模型数量上占据主导地位。🤖 百度、阿里、腾讯、华为等科技巨头纷纷推出各自的大模型产品,如“文心一言”和“通义千问”。📈 人工智能人才需求激增,国内人才缺口巨大,预计到2025年将突破1000万。🎓 国家层面的人才培养工作正在加强,新职业的认定和技能标准制定正在进行中。🔧 企业、院校和行业协会合作,共同探索产教融合的人才培养新模式。🌐 人工智能大模型技术人才培养模式正面临创新,以适应行业发展和市场需求。
这项研究的目的是调查和开发适合设计和分析低可观测无人作战飞行器(UCAV)的概念设计方法和计算工具,这些飞行器可执行从亚音速到高超音速飞行状态的各种任务,具有各种有效载荷和性能要求,以及各种操作限制。
毫无疑问,无人驾驶飞机已经改变了航空航天的许多方面,而军事应用往往引领着这些变革努力。UCAV 已成为应对未来空战所面临的技术、作战和经济挑战的潜在战略。这些挑战包括第四代战斗机机队的老化、新型先进 4+ 和第五代平台的部署、据报道当前无人飞行器的高脆弱性以及高超音速飞行器和武器的未来发展。
为了研究未来飞机的配置,克兰菲尔德大学飞机设计组的霍华德-史密斯教授于 2012 年设想了 GENUS 飞机设计环境。该框架依赖于一个具有高度模块化和灵活性的中央架构,能够使用类似的分析工具设计、分析和优化多个种类的飞机,揭示新设计的真正差异和潜在优势。
质量估计、推进、空气动力学、性能、雷达截面估计和气动热分析工具已集成到 GENUS 框架中,以研究 UCAV 的设计空间。由于获取 UCAV 和类似配置的高质量数据往往受到限制,因此无法对这些方法进行验证,也无法从中比较和生成更高保真的模型。第9.2节确定并提出了今后提高这些方法准确性的具体步骤。
本研究进行的设计空间探索包括:亚音速 UCAV 执行高-低-高任务的任务参数权衡研究、性能与当前第五代战斗机相当的 UCAV 平台的概念和初步设计、全超音速深度拦截任务权衡研究,以及执行时间紧迫的打击任务的高超音速(M ≥ 3.0)舰载 UCAV。
图 UCAV 完整的结构布置(改编自 Sleightholme)。
第 2 章简要介绍了无人飞行器的发展历史,强调了从最早的空中鱼雷到现代冲突的军事应用。随后,在本研究的背景下对 UCAV 进行了定义,并对联合行动的未来进行了简要展望。还介绍了主要的技术验证计划和当前的 UCAV 设计。本节最后回顾了设计和开发 UCAV 背后的技术挑战。
第 3 章介绍了 GENUS 飞机设计环境、其核心理念、总体结构概述、数据分层和模块之间的数据共享,最后介绍了框架内优化问题的设置;并提供了一个准多目标优化的简要示例。
第 4 章提供了集成到 GENUS 框架各分析模块中的 UCAV 设计方法的技术细节;提供了质量估计、空气动力学、推进建模和雷达截面的验证和确认。由于 UCAV 配置具有从亚音速到高超音速的广阔设计空间,因此在开发这些方法时考虑到了灵活性和可扩展性。除了典型的飞机设计分析模块外,还创建了一套特殊模块来分析非典型学科:通过物理光学近似方法增加了雷达截面估计;作为高超音速运行的一个关键方面,还包括飞行器热负荷分析和燃料热管理系统。
第 5 章介绍了典型对地打击任务(Hi-Lo-Hi)中低可观测亚音速 UCAV 配置的任务和性能权衡研究。在机翼面积不变的情况下,量化了前缘掠角、巡航马赫数、作战半径和比过剩功率对λawing UCAV配置的影响。
第 6 章介绍了为建立第五代 UCAV 设计所做的概念和初步设计工作,该设计旨在与当前的第五代战斗机和未来的第六代战斗机一起进行高度集成和协调的作战行动。这种 UCAV 的任务设计包括亚音速对地攻击剖面和有限的超音速作战能力。已对总体结构概念、发动机尺寸和集成、燃料、动力和执行系统以及起落架尺寸和航电系统设计进行了初步设计研究。
第 7 章涉及各种作战任务、有效载荷和操作要求下的超音速设计概念研究。对马赫数 2.0 的深度拦截任务(Hi-Hi-Hi)进行了研究,并对巡航和冲刺马赫数进行了作战贸易研究。随后,还介绍了航母舰载高超音速打击 UCAV 的作战贸易研究。评估了巡航马赫数、巡航高度和作战半径对重要性能参数(如到达目标时间和热管理限制)的影响。
第 8 章是主要讨论部分,总结了在各种任务和作战限制条件下各类 UCAV 的主要结果和发现。
最后,第 9 章总结了成果、结论和确定的下一步工作。
克兰菲尔德大学飞机设计组自 2012 年起开始开发 GENUS 飞机概念设计环境(122)。其名称源于生物分类学的分类方法,代表了在通用架构下设计、分析和优化各种飞机的能力,如图 3-1 所示。
图 3-1 - 适用于飞机的生物分类法
GENUS 是基于 Java 的代码,因此无需客户许可证即可在任何操作系统中运行。Java 的在线支持和开发非常广泛,有多个数值、数学、图形和后处理库可供免费使用,大大提高了框架的潜在能力,同时降低了开发成本。
图 3-2 - Java 与传统代码交互的一般程序
另一个重要特点是 Java 能够通过其 Java 本地接口 (JNI) 实现与 FORTRAN 和 C/C++ 等其他编程语言进行通信。图 3-2 显示了 Java 与传统飞机设计代码(通常用 C、C++ 和 FORTRAN 编写)之间的集成和通信过程。该功能广泛应用于 GENUS 框架的各个分析学科,以增加保真度,而无需长时间重写或独立开发复杂代码。
GENUS 架构的核心理念可概括为以下几个主要方面:
模块化: 明确区分不同的分析学科,并按层级编程。抽象类是这一功能的基础,Java 的多态性也为其提供了支持。
灵活性: 通过高度抽象化,分析技术可应用于多种飞机,而无需修改核心框架。
扩展性: 能够在分析模块中包含各种保真度级别,从经验方法到高保真数值工具。Java 的本地接口及其多态性支持这一方面。特殊模块(下文将解释)可用于添加专业分析工具。
健壮性: 一个有凝聚力的框架,依赖于经过良好测试的方法以及适当的错误和异常处理方法。
独立性: 在适当情况下,避免使用许可和依赖平台的软件。
图 3-3 - GENUS 框架的组成部分和相互关系
GENUS 框架不应被视为一个黑盒系统,只需要用户提供最少的输入;相反,GENUS 依赖于一个知识渊博的用户/设计者,以循环和建设性的方式与框架的前端和后端进行交互。这种互动利用了设计者的专业知识、直觉和假设,从而产生新的知识。图 3-3 是用户与框架互动的顶层示意图。
GENUS 核心框架由九个基本模块组成,其中包括 1. 几何 2. 任务 3. 推进规范 4. 质量分解 5. 空气动力学 6. 推进分析 7. 包装 8. 性能 9. 稳定性
所有模块都采用抽象 "GENUS模块 "的结构,如图 3-4 所示。随后,9 个基本模块中的每一个都有一个 "抽象 "模块。如图 3-5 所示,所有特定模块都是这些抽象模块的扩展和实现。
图 3-4 - 抽象 "GENUS模块 "的总体结构
图 3-5 - 性能模块的层次结构和数据流
为了分析飞机设计的非常规方面,可以在原有 Genus 模块的基础上实施一系列特殊模块。特殊模块的例子包括雷达截面分析、音爆强度、成本估算和航空热力学分析。
图 3-6 是一个框架示意图,显示了单个设计实例的启动过程。每个模块都可以根据用户的需要进行输入,然后将输入信息传递到后续模块,如连接箭头和变量所描述的信息流所示。
图 3-6 - 在 GENUS 中启动设计实例的 N2 图示例
图 3-7 显示了带有几何和体积约束、质量和燃料收敛误差以及推力和稳定性约束的优化循环的 N2 图。输入变量仅与几何、任务(估计起飞质量)和推进规范模块相对应。该图表示一个固定飞行任务(航程、速度、有效载荷......)的典型收敛优化循环。目标函数箭头来自框架域,一般代表可选择的各种目标;典型目标函数的例子包括最大起飞质量 (MTOM)、运行空重 (OEM)、总耗油量、RCS(特定视角或平均值)等。
图 3-7 - GENUS 优化设计的 N2 图示例
导读
该报告概述了未来科技趋势和创新投资机会。投资者需要关注技术进步如何重塑行业和市场,这些技术的发展和应用将为投资者提供前所未有的增长机会,同时对社会带来正面的变革。全文共计4534字,预计阅读时间9分钟
来源 | ARK INVEST(转载请注明来源)编辑 | 蒲蒲***
近日,被誉为“科技投资女王”的华尔街明星基金经理、方舟投资管理公司的首席执行官“木头姐”凯茜·伍德(Cathie Wood)带领她的ARK研究团队发布了《Big Ideas 2024》报告。自2017年以来,其团队每年发布的《Big Ideas》报告更是以极高的含金量,成为全球科技创业者与投资者的重要参考资料。 这份长达163页的报告,ARK从技术融合、人工智能、比特币、智能合约、精准治疗、多组学工具和技术、电动车、自动驾驶出租车、机器人技术、自主物流、可回收火箭和3D打印等方面对技术融合及其变革行业和经济的潜力进行了全面分析。
报告主要亮点 1、人工智能、公共区块链、多组测序、能源存储和机器人这五大技术平台正相互交融形成合力,使全球经济增速可能从过去125年平均3%加速至未来7年超过7%的水平。 2、与颠覆性创新相关的股票市值将以每年40%的速度增长,从当前占全球股市总额的16%激增至2030年占比超60%,市值从当前的约19万亿美元增长到2030年的约220万亿美元。 3、截至2030年,硬件和软件的融合可以使AI培训成本以每年75%的速度下降。到2030年,全球软件市场可能会增长10倍。 4、预计到2040年,AI领域硬件的投资规模将达到1.3万亿美元,这笔巨大的投资将推动AI软件销售额达到13万亿美元,使得软件行业的毛利率维持在75%的水平。 5、机器人出租车平台将重新定义个人出行,并在未来5-10年创造28万亿美元的企业价值,每年卖出的机器人出租车数量约为7400万辆,占汽车市场的大部分。 6、随着制造业的整合,电池成本正在下降,压低汽车的价格。电池占电动车价值的20%,电池制造商为电动汽车原始设备制造商带来的营收为每年300亿美元。 7、得益于3D打印技术,汽车生产进入了一个前所未有的领域,预计将降低汽车开发时间50%,降低模具设计验证成本97%。 8、精准疗法占新上市药物的25%,到2030年,药物的收入将增加15%,约合3000亿美元。 9、在人工智能增强型多组学技术的全面渗透下,与药物开发相关的研发效率将提高一倍。到2035年研发的实际回报率提高了10%。 10、早期检测多种癌症的血液化验已成为治疗标准,使某些年龄阶段的癌症死亡率降低了25%。在发达市场,30%的患者受益于新的诊断制度。 11、数字休闲支出应该会从实体经济中获得更大的市场份额,并在未来七年以每年19%的年复合增长率增长,从2023年的7万亿美元增至2030年的23万亿美元。 12、截至2030年,智能设备、娱乐和社交平台的收入达到5.4万亿美元,其中广告和商务收入占80%。
颠覆性技术创新平台
Big Ideas 2024 ARK的研究指出,颠覆性技术之间的融合是未来十年的重点,其中人工智能、公有区块链、多组学测序、储能和机器人技术五大技术平台,正在掀起的历史性浪潮,将重新定义这个时代。影响力远超第一次和第二次工业革命。 AI的发展速度超出了人们的预期,通用人工智能技术的发展一直在加速,从2019年预期需要80年才能推出,到2023年时该预期已经变成了8年,此前预测AI技术要到2030年才能成熟应用,但如果预测误差继续存在,也许到2026年就能实现目标。 颠覆式创新公司在全球股市的占比将从16%增加到60%以上,未来几年的年回报率可能超过40%,其市值将从今天的19万亿美元增加到2030年的220万亿美元。
人工智能
Big Ideas 2024 人工智能模型会催化前所未有的生产力繁荣,生产力到2030年翻两番,GDP的增长可能会加速,并在未来五到十年内打破纪录。 ARK指出,随着开源替代品的出现和成本的下降,AI所应用的领域将扩大,研究人员也会在AI训练和推理、硬件和模型设计方面进行创新,推理成本会以每年约 86% 的速度下降。预计到2030年,硬件和软件的融合可以使AI培训成本以每年75%的速度下降。 ARK认为到2030年,AI有潜力让知识驱动的职业中的多数任务实现自动化,从而大幅提高员工的生产力。 智能合约
Big Ideas 2024 部署在公链上的智能合约为中介机构和传统金融基础设施提供了一种全球性、自动化和可审计的替代方案。 ARK的研究指出,智能合约可以降低金融服务的成本。智能合约能够以传统金融成本的一小部分便利地促进链上资产的起源、所有权和管理。 如果金融资产以类似于互联网采用的速度迁移到区块链基础设施,并且与去中心化金融服务相关的费用率是传统金融服务的三分之一,那么智能合约可能产生逾4500亿美元的年度费用,并在2023年通过分别以78%和32%的复合年增长率创造逾5万亿美元的市值。 数字消费
Big Ideas 2024 根据ARK的研究,数字休闲支出应该会从实体经济中获得更大的市场份额,并在未来七年以每年19%的年复合增长率增长,从2023年的7万亿美元增至2030年的23万亿美元。
有五个趋势正在加速向数字休闲的转变: 1)流媒体电视正在取代有线电视。短短两年内,截至2023年7月,流媒体在整体电视消费中的份额增长了10个百分点以上,达到39%,分别超过了有线电视和广播的份额。互联网电视(CTV)广告正在以17%的复合年增长率,从2013年的250亿美元增长到2030年的730亿美元。 2)社交商务收入预计将以每年32%的年复合增长率增长,从2023年的7300亿美元增长到2030年的超5万亿美元。 3)体育博彩将继续受到在线/移动博彩合法化的推动。随着在线体育博彩在2023年激增35%DraftKings和FanDuel提供了卓越的用户体验,有助于从其他体育博彩中获得份额。 4)AI辅助视频游戏创作是游戏领域的新浪潮。人工智能会使内容创作民主化,并加速UGC的增长。Roblox已经在全球范围内提供了超过4.7亿的体验,是PC,游戏机和移动游戏总数的52倍。 5)支持AI的硬件可以重新定义个人可穿戴计算,尤其是在VR继续面临挑战的情况下。 数字钱包
Big Ideas 2024 头部垂直软件平台通过数字钱包打造一套闭环的消费体系,促进从消费者到商家、商家到员工、员工到商家的闭环交易。根据ARK的研究这些平台上的数字钱包将实现完全封闭的支付生态系统。 ARK认为,未来七年内,C2B数字钱包支付总额将以每年20%的速度增长,从2023年的约2万亿美元增长到2030年的约7万亿美元。闭环支付的占比将从4%增加到25%,Block's Square、Shopify和Toast的支付收入预测从35亿美元增加到210亿美元,年化增长率为29%。
精准医疗&多组测序发展
Big Ideas 2024 在过去的二十年里,精准治疗、CRISPR基因编辑、RNA治疗和靶向蛋白质降解的新模式已经激增。由人工智能(AI)、CRISPR基因编辑和新测序技术驱动的创新疗法增加了研发(R & D)的回报,同时使不可药物治疗的目标变得可药物治疗。 过去的十年来,生物工具和技术的数量激增,能力有了显著提高。其中有三种使能力脱颖而出:高通量蛋白质组学、人工智能和单细胞测序。 根据ARK投资研究公司的预测,越来越多的精准疗法正在成为多学科和治愈性的,其作用机制涵盖DNA,RNA蛋白质等。根据ARK的研究,专注于精准治疗的公司的企业价值在未来七年内可能会以每年28%的速度增长,从2023年的8200亿美元增长到2030年的4.5万亿美元。
电动汽车
Big Ideas 2024 随着电池成本成本的下降,将推动电动汽车(EV)价格下滑,预计2030年电动汽车将占车辆总量的95-100%,未来7年电动汽车销量将以每年33%的速度增长,从2023年的1000万辆增至2030年的7400万辆。 ARK指出,电动汽车正在从内燃机汽车手中夺走市场份额,如果持续发展,燃油车制造商可能会被迫重组和整合。
机器人
Big Ideas 2024 人工智能和硬件的融合将成为推动机器人技术的新的增长点,根据赖特定律,随着硬件和软件成本的下降,人工智能将会继续提高生产力,并为通用机器人创造新的市场机会,每年的收入超过24万亿美元。 ARK认为,工业机器人的成本随着产量每增加一倍就会下降50%,计算机视觉和深度学习的进步使机器人性能在七年内提高了33倍。协作机器人和人类可能会一起工作,将人类从繁琐的体力任务中解放出来。
自动驾驶出租车
Big Ideas 2024 人工智能的突破使得自动驾驶出租车开始彻底改变城市出行,并可能加速汽车贷款行业的解体。根据ARK的研究,机器人出租车平台可以重新定义个人出行,并在未来五到十年内创造28万亿美元的企业价值。
大语言模型和生成式AI的应用能加速自动驾驶技术的发展,其中多模态模型可以通过图像和文本训练自动驾驶车辆,将会提升系统性能;而生成式人工智能可以通过模拟训练和验证自动驾驶车辆的安全性。 同时,ARK认为,自动驾驶出租车市占率提升将颠覆美国汽车贷款行业。
自主物流
Big Ideas 2024 未来5到10年内,自主物流将把货物运输成本降低15倍。自主无人机和机器人届时将完成数百万次交付,而自主卡车运输公司记录了数千万英里,并且无需安全驾驶员。 根据ARK的研究,到2030年全球自动配送收入将达到9000亿美元,机器人和无人机的食品和包裹递送费用将达到4500亿美元,自动驾驶卡车运输收入也将达到4500亿美元。 可回收火箭
Big Ideas 2024 可重复使用的火箭大幅降低了发射成本,为商业开发外太空提供了巨大机遇,同时创造了直达设备的卫星连接等新服务。根据ARK的研究,到2030年,卫星连接的收入预计可能达到1300亿美元。 报告列举了,SpaceX公司的可重复使用火箭猎鹰9号结束了飙升的发射成本,通过重复使用一个猎鹰9号助推器19次,SpaceX将其年度发射频率提高了近60%,到2023年达到96次。
3D打印
Big Ideas 2024 未来七年内,3D打印技术的收入预计每年以约40%的速度增长,从今天的约180亿美元增长到2030年的约1800亿美元。其中3D打印技术将为汽车行业降低零部件数量和产品开发周期,为医疗行业提供新的手术技术方案,为制造业带来可循环改变方案。 报告指出,特斯拉正在试验3D打印砂模来铸造汽车车身底部,可以用一个零件代替400个零件,汽车开发时间和模具设计验证成本分别降低50%和97%。3D打印可以在每辆汽车的生产中发挥作用。 医疗领域,在一系列手术中,3D打印工具、指南和模型的性能提高了约40-50%,手术时间平均减少了约30%。
ARK认为,在AI浪潮之下所有的模式都值得重新做一遍,创新与融合,新的技术与新的商机,新的颠覆性科技与新的投资机会,都在应运而生。****
具体内容如下
Sora是一个文本到视频的生成式AI模型,由OpenAI在2024年2月发布。该模型被训练用于从文本指令生成现实或想象场景的视频,并展示了在模拟物理世界方面的潜力。基于公开的技术报告和逆向工程,本文对该模型的背景、相关技术、应用、现存挑战以及文本到视频AI模型的未来发展方向进行了全面综述。我们首先追溯Sora的发展,并研究用于构建这个“世界模拟器”的底层技术。然后,我们详细描述了Sora在从电影制作和教育到营销等多个行业的应用及潜在影响。我们讨论了需要解决的主要挑战和限制,以广泛部署Sora,例如确保安全且无偏见的视频生成。最后,我们讨论了Sora和一般视频生成模型的未来发展,以及该领域的进步如何能够启用新的人工智能交互方式,提升视频生成的生产力和创造力。
最近,NLP 大牛、HuggingFace 联合创始人 Thomas Wolf 讲座《2024年构建大型语言模型的小指南》,值得关注!
AAAI 是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的 A 类国际学术会议,在人工智能领域享有较高的学术声誉。2024年,AAAI主办地为加拿大温哥华,录用文章2342篇,录用率为23.75%。
大型语言模型(LLMs)在生成类似人类的文本方面展现出巨大潜力,众多研究已经证明了这一点。尽管它们具有显著的能力,但像ChatGPT这样的LLMs有时会在保持事实准确性或逻辑一致性方面出错。它们可能会无意中生成有害或冒犯性的内容,并且对于它们训练阶段之后发生的事件一无所知。直观地说,手头上的挑战仍然是如何有效地更新这些LLMs或纠正它们的错误,而不需要进行完全的重新训练或持续的训练过程,这两者都可能非常耗费资源和时间。为此,已经提出了针对LLMs的知识编辑的概念,它提供了一种有效的方式来修改模型的行为,特别是在特定的兴趣领域内,而不会损害其对其他输入的性能。 我们将通过定义LLMs知识编辑中涉及的任务开始本教程,并介绍评估指标和基准数据集。随后,我们将提供各种知识编辑方法的概述。最初,我们的重点将放在保留LLMs参数的方法上。这些技术通过调整模型对某些实例的输出来实现,通过将辅助网络与原始未经触动的模型集成在一起。然后我们将转向修改LLMs参数的方法,这些方法旨在改变导致不希望输出的模型参数。在整个教程中,我们旨在分享从知识编辑研究的多元化社区中获得的洞见,并介绍开源工具EasyEdit。此外,我们将深入探讨与LLMs知识编辑相关的潜在问题以及机会,目标是向社区传授有价值的见解。所有教程幻灯片将在
https://github.com/zjunlp/KnowledgeEditingPapers上可用。
Ningyu Zhang是浙江大学的副教授主管,领导有关知识图谱和自然语言处理技术的团队。他指导构建了一个名为DeepKE(在Github上有2.3K+星)的信息提取工具包。他的研究兴趣包括知识图谱和自然语言处理。他在如Nature Machine Intelligence、Nature Communications、NeurIPS、ICLR、AAAI、IJCAI、ACL、ENNLP、NAACL等顶级国际学术会议上发表了许多论文。他曾担任ACL/EMNLP 2023的领域主席,ARR行动编辑,IJCAI 2023的高级程序委员会成员,以及NeurIPS、ICLR、ICML、AAAI的程序委员会成员。 Jiachen Gu将加入加州大学洛杉矶分校作为博士后研究员。他的研究兴趣在于对话系统和基于检索的LMs的机器学习。他于2022年6月从中国科学技术大学获得博士学位。他在如ACL、ENNLP、SIGIR、CIKM、IJCAI以及IEEE/ACM Transactions on Audio Speech and Language Processing等顶级国际学术会议和期刊上发表了许多论文。他曾担任ACL、EMNLP、NAACL、AAAI、IJCAI、TASLP、TOIS的PC或审稿人。他获得了ACL 2023最佳论文荣誉提名奖、ACL 2022 DialDoc工作坊最佳论文奖和CIPSC杰出博士论文提名奖。他在DSTC7-DSTC11中取得了顶尖排名。他就对话系统发表了多次演讲。 Yunzhi Yao是浙江大学计算机科学与技术学院的博士候选人。他的研究兴趣集中在编辑大型语言模型和知识增强的自然语言处理。他曾在微软亚洲研究院担任研究实习生,由黄绍焕指导,并在阿里巴巴集团担任研究实习生。他在ACL、EMNLP、NAACL、SIGIR等会议上发表了许多论文。他是EMNLP 2023论文“编辑大型语言模型:问题、方法和机会”的第一作者,也是知识编辑框架EasyEdit的开发者之一,该框架与本教程相关。 Zhen Bi是浙江大学软件工程学院的博士候选人。他的研究兴趣集中在知识图谱、利用大型语言模型进行推理和知识增强的自然语言处理。他在ICLR、ACL、EMNLP等会议上发表了许多论文。此外,他也是知识编辑框架EasyEdit的开发者之一,该框架与本教程相关。 Shumin Deng是新加坡国立大学计算机科学系计算学院的研究员。她在浙江大学计算机科学与技术学院获得了博士学位。她的研究兴趣集中在自然语言处理、知识图谱、信息提取、神经符号推理和LLM推理。她获得了2022年浙江省杰出毕业生、2020年阿里巴巴集团学术合作杰出实习生奖。她是ACL的成员,也是中国信息处理学会青年工作委员会的成员。她曾担任EMNLP 2022信息提取研究会议主席,CoNLL 2023出版主席。她一直是许多高质量期刊的期刊审稿人,如TPAMI、TASLP、TALLIP、WWWJ、ESWA、KBS等;并担任NeurIPS、ICLR、ACL、EMNLP、EACL、AACL、WWW、AAAI、IJCAI、CIKM等的程序委员会成员。她构建了一个十亿规模的开放商业知识图谱(OpenBG),并发布了一个排行榜,吸引了数千个团队和研究人员。
无人机(UAVs)在军事和民用领域发挥着至关重要的作用。本论文的研究有助于智能控制系统(ICS)领域,特别是实现旋转翼无人飞行器(RUAV)可靠、便捷的自主控制。特别是,本论文解决了如何适应未建模动态和干扰(如在空中改变有效载荷)的难题。
无人机可以携带额外的重量,如传感器、货物,甚至被称为有效载荷的悬挂物。已经开发了许多策略来稳定不断变化的有效载荷,但这些策略都假定有效载荷是刚性的,重心(CoG)是静态和已知的。有效载荷质量及其类型在飞行过程中的变化会极大地影响无人机的动态性能,这就要求控制器进行调整,以保持令人满意的闭环性能。此外,还没有探索过在半空中从一架较大的飞机(如气象气球)上发射一组具有随机姿态的送货无人机的情况。最后,未建模的动力学和阵风等不确定因素给飞行操作带来了挑战,因此综合控制系统对于处理这些不确定因素至关重要,但对非基于模型的综合控制系统的设计和开发关注不够。
受这些研究空白的启发,本论文探讨了如何处理有效载荷在空中的 CoG 变化和姿态独立发射的控制问题。为解决这些问题并实现理想的轨迹跟踪控制,本文提出了一种新型非基于模型的综合控制系统,称为双向模糊脑情感学习(BFBEL)控制系统。所提出的控制系统融合了模糊推理、神经网络和基于强化学习的新型双向脑情感学习(BBEL)算法。所提出的 BFBEL 控制器能够从零开始快速适应,可用于控制 RUAV 的所有六自由度 (6DOF)。为扩大拟议控制器的适用性,开发了单输入-单输出(SISO)和多输入-多输出(MIMO)架构。本研究考虑的两种无人驾驶飞行器模型是四旋翼无人驾驶飞行器(QUAV)和直升机无人驾驶飞行器(HUAV)。SISO 版本的 BFBEL 控制系统被应用于 QUAV,以解决处理 CoG 和重量不同的外部有效载荷的问题。BFBEL 控制系统的 MIMO 版本应用于 HUAV,以解决在空中独立发射姿势的问题。对这两种系统都进行了模拟评估,并通过实验验证了如何处理 CoG 不确定的外部有效载荷问题。最后,在相同的控制情况下,将飞行能力和控制性能与传统的比例积分微分(PID)控制器方案进行了比较。