《推进鲁棒自主系统定位：卷积神经网络标注优化技术》最新博士论文

随着航空自主技术发展，自主空中加油（AAR）日益成为关键能力，尤其对空军打击任务而言，其可显著提升作战半径与续航能力。美军传统依赖全球定位系统（GPS）及专用通信链路的方法在GPS拒止环境中存在局限。本文通过三项互相关联的研究，提出采用卷积神经网络（CNN）与单目相机结合求解N点透视（Solve-PnP）系统的方案，用于估计目标位置与姿态。该整体系统旨在估算图像中目标的六自由度位姿（位置与方向），重点关注美国空军军机及美国海军加油锥套。系统通过合成图像训练CNN以预测目标各组件的边界框（bbox），并借助Solve-PnP算法计算六自由度位姿。

首项研究优化CNN训练流程，证实校正透视畸变及无视遮挡进行训练的重要性。第二研究拓展对不可见组件预测的概念，开发创新技术以检测并训练超出图像边缘的特征，从而提升整体位姿估计效能。第三项即最终研究将这些技术从仿真环境迁移至真实飞行测试图像。该研究利用六自由度位姿估计系统对光电（EO）与长波红外（LWIR）领域的真实图像进行伪标注，展示过滤与创建高质量真实图像伪标注的创新技术。这些发现表明该系统具备作战级自主空中加油应用潜力。

未来工作应聚焦于针对美国空军全机队进行系统训练，并开发过滤技术以降低二维边界框猜测与六自由度位姿估计中的噪声。本研究对自主空中加油领域具有关键性意义，并为机器人技术、计算机视觉及CNN研究作出贡献。通过实现强健的无GPS自主系统，本研究推动了对未来自主航空航天作战至关重要的能力发展。

关键词：实时位姿估计，YOLOv5目标检测，卷积神经网络（CNN），迁移学习，合成图像生成，N点透视（Solve-PnP）算法，伪标注

历史上，空中加油因系统成本高昂、密集编队飞行风险以及军事行动加油需求，主要由军方与政府组织实施。自动化该过程有望消除成本与风险壁垒，使非军事用户得以使用。正如Nangia[1]与Parry[2]指出，这将使轻型民用飞机通过空中加油实现更远航程与更高效率。

自主空中加油的潜在解决方案

自主空中加油（AAR）这一挑战性任务需要 degraded 信号环境中精确定位的鲁棒解决方案。当人工操控员、全球定位系统（GPS）数据与基于距离的传感器不可靠、不可用或存在风险时，这对确保航空器作战安全与效率至关重要。图像传感器若作为主要信息源并机载处理，可为此类 降级环境提供解决方案。本研究中，我们确定了标注与训练目标检测卷积神经网络（CNN）YOLOv5[3]的必要技术，以实现 Solve-PnP 算法所需的精度，将航空器位姿预测误差控制在7厘米与1度以内。这些技术有助于自动化航空器扩展自主航程，减少人工操作员执行高风险任务，从而提升飞行员安全。加油机与受油机均需实现自动化，因未来很可能双方均为自主航空器。

卷积神经网络应用于空中加油的挑战

设计作战系统时，利用典型目标检测器CNN从图像求解六自由度（6DoF）位姿会带来诸多问题：正确标注组件的几何三维中心、补偿遮挡、基于标注真实图像训练，以及权衡时效性、计算能力、传感器精度与神经网络规模。组件三维中心的二维标注失配主要有两个原因。首先是透视畸变导致边界框二维中心与投影至二维图像平面的三维物体几何中心不匹配。其次，标注物体可见部分的内在特性意味着无法保证中心点匹配。这引出了标注被遮挡物体特征（亦称组件）的问题。若未标注，CNN将无法训练以发现被遮挡特征，即使该物体大部分可见。若特征部分可见，会混淆CNN，且难以确定三维特征需可见多少比例才可判定为可见。研究一证明最好无视遮挡标注物体特征，并证实校正透视畸变可行且必要。

研究一的延伸——证明最好无视遮挡标注图像内物体特征——衍生出标注图像边缘外物体特征的概念。研究二展示一种标注技术，使CNN能够学习并检测图像边缘外的特征，提升底层位姿估计系统性能。前两项研究完全基于合成彩色图像进行，其无法完美复现真实条件或准确模拟所有类型传感器（如长波红外（LWIR）相机），造成CNN难以克服的领域差距。因此，研究三采用伪标注技术以弥合此差距。利用2023年12月飞行测试获取的真实彩色光电（EO）与真实长波红外图像，证明伪标注技术可提升CNN效能并弥合领域差距。此研究重要意义在于创造了从真实图像标注与训练CNN的能力。我们的标注技术使得能够基于作战与特定应用图像训练神经网络，无需昂贵传感器套件。

对在信号可能拒止或降级环境中有效运作系统的需求推动了本工作，强调发展替代性定位、导航与授时解决方案的重要性。2022年《国防战略》强调此需求，呼吁发展概念与能力，使军队在反介入/区域拒止环境中可靠保护高风险关键资产与人员的同时管理恶化[4]。为应对此挑战，本研究聚焦发展利用计算机视觉、人工智能（AI）与作战数据的技术，以提升航空器自主性并在降级信号环境中实现更安全高效的作战。

本论文采用与优化的位姿估计系统紧密遵循Lynch[5]的方法论。主要步骤包括：1. 在三维模型上识别组件；2. 生成合成训练图像；3. 基于合成图像训练YOLOv5 CNN；4. 使用训练后CNN推断图像中的组件；5. 应用Solve-PnP算法估计六自由度位姿。为在三维模型上识别组件，将物体的“.obj”文件加载至三维图形引擎AftrBurner[6,7]。在该引擎内，选择三维点云以定义物体上的组件。随后利用图形引擎随机化物体位置、方向、光照、背景天空盒，并生成空图像。每幅图像中，代表物体组件的点云被投影至屏幕以创建边界框（bbox）。各组件的几何中心亦投影至屏幕以校正投影畸变。详见研究一中的图3、4、5可视化这些概念。这些图像用于训练YOLOv5s[3] CNN。训练后的CNN应用于新图像以推断边界框。这些推断的边界框作为Solve-PnP算法的对应点以预测物体位姿。研究一与二展示了图像生成与标注过程的优化，重点处理透视畸变、训练中应用数据增强，并展示基于可见性的组件标注技术。研究三通过使用真实图像估计位姿在其上创建边界框来拓展此系统。

第二章包含简要背景回顾，为三项研究提供技术背景。研究一、二、三作为独立文档分别呈现于第三、四、五章。每项研究均提供针对该研究的引言与背景。