《利用大语言模型（LLM）优化海军陆战队经验教训学习》2025年最新103页

本文提出一个使用大型语言模型（LLM）自动处理海军陆战队战后报告（AAR）的系统，这些报告以松散结构格式提交给美海军陆战队经验教训中心（MCCLL）并存储为便携式文档格式（PDF）。方法聚焦于两个关键任务：将文本提取并结构化为标准化数据集，以及自动添加跨条令类别的元数据以支持未来检索和分析。大型语言模型（LLM）因其识别自然语言中潜在模式的能力且无需任务特定训练即可执行多样任务而独特适合此任务。该方法是与海军陆战队训练与教育司令部（TECOM）及其海军陆战队经验教训中心（MCCLL）合作开发的，该中心负责在整个部队中收集和分发机构知识。结果表明，标记过程产生概念上有效的结果，与人工生成的标记一致，同时在灵活性和透明度上提供显著改进。文本提取和结构化过程展示了潜力。然而，它尚未达到作战部署所需的保真度。本工作为在安全国防部（DoD）基础设施上本地托管大型语言模型（LLM）并现代化国防部（DoD）管理大规模非结构化文本数据的方式奠定了基础。

美海军陆战队训练与教育司令部（TECOM）与海军研究生院（NPS）合作探索自动处理战后报告（AAR）。战后报告（AAR）在单位完成训练演习或作战行动时生成。它们旨在捕获观察、经验教训以及对未来单位的建议。这些文档提交给海军陆战队经验教训中心（MCCLL）进行存储和分析。为实现高效搜索和聚合，战后报告（AAR）被分割为包含特定主题的组成部分。这些部分由三个组件构成：一个主题（问题标题）、一个讨论（背景和解释）和一个建议（建议的未来行动），并被称为主题-讨论-建议（TDR）。

当前，战后报告（AAR）处理由承包商使用专有机器学习（ML）工具进行。然而，其专有解决方案限制了透明度，抑制了对变化需求的适应性，并产生持续成本。海军陆战队训练与教育司令部（TECOM）要求一个内部控制的自动化替代方案以更好适应不断演进的组织需求。提出一个使用大型语言模型（LLM）的新型数据处理管道，以自动化战后报告（AAR）内容的提取、结构化和标记。解决方案有两个关键组件：将原始战后报告（AAR）提取并格式化为结构化主题-讨论-建议（TDR），以及为每个主题-讨论-建议（TDR）分配分类标记。在整个项目中，使用本地托管的大型语言模型（LLM）。使用本地硬件确保敏感数据受到保护并提供更大控制权。图1展示了方法概览。

过程的第一个组件是获取单位提交的以海军信函格式书写的战后报告（AAR），遵循松散格式，并提取出主题-讨论-建议（TDR）部分。这是一个具有挑战性的问题，因为战后报告（AAR）的格式各不相同。这种格式差异，即使在微小情况下，也会干扰许多模式识别算法，使得计算机极难分离主题-讨论-建议（TDR）。依赖各种大型语言模型（LLM）识别文本模式和上下文的能力将战后报告（AAR）分离为主题-讨论-建议（TDR）。为提取可用数据，开发了一个从原始便携式文档格式（PDF）提取原始文本的管道。文本段被输入到一个提示中。该提示指示大型语言模型（LLM）识别相关内容并将其重新格式化为主题-讨论-建议（TDR）的三个组件。此过程使能够自动将多样化的战后报告（AAR）格式强制转换为标准化结构。尽管此方法展示了强大的概念前景，但结果好坏参半。大型语言模型（LLM）偶尔无法识别完整的主题-讨论-建议（TDR），无法捕获主题-讨论-建议（TDR）的一个部分，或更改原始文档中的措辞。由于这些问题可能降低数据保真度，提取管道目前无法在无监督的生产环境中运行。然而，它是一个强有力的概念验证，并突出了未来改进的具体领域，特别是在模型选择方面。

第二个且更成功的组件专注于元数据标记。主题-讨论-建议（TDR）必须在多个类别上进行分类或标记，以支持海军陆战队经验教训中心（MCCLL）数据库内的搜索和聚合。基于海军陆战队和联合出版物，为每个标记开发了条令知情的定义和标准。然后，使用这些定义通过上下文学习构建提示，使大型语言模型（LLM）能够标记每个主题-讨论-建议（TDR）。通过采用这种结构化方法，建立了一个透明、可辩护且适应性强的标记过程。

与分析师分配标记的评估比较显示，系统产生匹配或概念上相邻的分类。尽管精确匹配率一般（略高于50%），但主题-讨论-建议（TDR）并非自然与标记对齐而书写；因此，可能存在多个正确标记。分析表明，即使大型语言模型（LLM）提供的标记与分析师的标记不匹配，它也可能提供正确标记。需要更多工作以确保大型语言模型（LLM）提供最符合发起方期望的标记。建议通过盲审过程进行进一步评估，即由海军陆战队员并排评估来自大型语言模型（LLM）和分析师分配的标记。此类研究将提供更严格的标记准确性度量，并可用于改进定义和提示方法。

提出一个使用大型语言模型（LLM）帮助从便携式文档格式（PDF）文档中解锁并结构化数据的系统，这在学术和作战环境中仍然极其困难。展示了使用大型语言模型（LLM）不仅从这些文档中提取和格式化文本，还将该文本数据分类和组织成适合数据库存储和用户查询的结构化格式。该过程经过改进后，可以自动化处理战后报告（AAR）以供在海军陆战队经验教训中心（MCCLL）上展示的劳动密集型任务。此过程对于使海军陆战队能够在整个部队中聚合和传播经验教训至关重要，确保单个单位获得的见解能够大规模地通知条令、规划和训练。此外，它向更高层级提供关于单位如何运作以及他们可能需要什么资源或调整以取得成功的宝贵反馈。

更一般地，工作展示了大型语言模型（LLM）将文本文档转化为结构化见解的能力，为传统方法不足的环境中的数据管理提供可扩展的解决方案。随着海军陆战队继续现代化并投资于“部队设计2030”（Force Design 2030）及相关工作，集成此类技术对于释放其机构知识的全部价值至关重要。最终，本工作为未来研究和作战工具奠定了基础，使海军陆战队及其他军种能够利用他们已拥有的机构知识库。