《多模态数据融合驱动系统改进：研究综述（美空军）》

近年来，源于多元数据模态的信息在工业工程与运筹学应用中日益普及。诸多研究通过无监督、有监督及半监督模式整合此类数据，既解决了异构数据融合的关键问题，亦揭示出若干待突破的开放挑战。本综述系统阐述多模态数据融合方法体系，结合制造业与医疗领域详实案例，解析早期融合、晚期融合及中期融合三类范式，并深入探讨基于分解与神经网络的两大融合框架。研究归纳各类方法的能力边界与局限，通过剖析现存挑战与潜在机遇为综述收结。

复杂系统的评估、分析与建模需依托多视角数据采集框架。该框架通过多样化仪器、传感器及实验采集数据，转化为系统认知信息。恰如鲁米寓言中暗室摸象，单台仪器仅能捕获系统局部特征；而局部信息融合可呈现完整图景。我们将单仪器采集信息定义为"数据模态"，多视角采集数据集称为"多模态数据集"。多元数据集虽可含多仪器特征，但未体现特定视角区分；多模态数据集则明确将数据组织为多视角结构，每视角至少包含一个特征。传感技术进步为多模态数据采集创造机遇，使分析突破单模态独立评估局限。本文定义"数据融合"为：集成多模态数据不同模态的过程，旨在获得超越单模态分析的系统性认知。

多数据集关联性分析始于霍特林开创性研究（Hotelling, 1936）。此后多模态数据分析方法迅猛发展：多集典型相关分析、平行因子分析（PARAFAC）及张量分解等技术于1960-70年代相继问世（Tucker, 1964; Ilarshman, 1970; Kettenring, 1971）。然初期仅化学计量学等少数领域受益。随着多模态数据集激增，制造业、医疗健康及可再生能源等领域日益关注其应用潜力。系统化分析与融合多模态数据可深化系统认知，赋能决策优化并驱动系统改进。本文定义"系统改进"为：通过数据驱动行动提升系统流程效能的实践，其增效源于更有效的描述预测模型、更可靠的异常检测方法或更精准可解释的特征提取。典型应用包括：系统预测领域通过部件剩余寿命预测优化维护排程；医疗健康领域融合医学影像与患者数据提升疾病诊断精度；可再生能源领域利用能耗数据优化能源管理；农业领域结合影像与气象数据实现作物产量预测与健康管理。尽管多模态数据分析效益显著，如何利用模态间相似性与差异性仍存认知局限。数据异构性（维度/结构差异）、尺度差异、分辨率波动、精度浮动、模态冲突及冗余等挑战，严重制约多模态分析发展。

本文将多模态数据融合算法归为两类：
（1）非神经网络类（聚焦分解技术）：含张量数据分析、因子分析及广义主成分分析等，适用于样本量小于变量数的场景；
（2）神经网络类：采用多层融合架构的深度神经网络。前者称"基于分解的融合算法"，后者称"基于神经网络的算法"。两类算法均含三种融合路径：
（1）早期融合（低层融合）
（2）晚期融合（高层融合）
（3）中期融合
不同应用领域倾向不同路径：医疗健康领域晚期融合更普遍（Zhang & Ma, 2012; Suk等, 2017; Khasha等, 2019; Liu等, 2020），系统监测与预测领域则倾向早期融合（Liu等, 2013; Liu & Huang, 2014; Liu等, 2015; Fang等, 2017; Chehade等, 2018; Song & Liu, 2018）。

早期融合仅利用预测变量（自变量）信息。其可作为主模型预处理的融合任务，亦可作为纯无监督任务生成跨模态特征。特征预处理旨在组合原始特征生成含互补信息的新特征，输入监督模型训练。无监督早期融合则聚焦跨模态特征组合以识别潜在模式，或生成融合多模态信息的可视化结果（如组合医学影像生成互补信息图）（He等, 2010; Moin等, 2016; Rajalingam & Priya, 2017）。主成分回归是典型早期融合：主成分分析（PCA）提取特征后预测输出值。

晚期融合即决策层融合。各模态经独立建模后，基于模态重要性、组合适配性（需选择逐元求和/Brentan等, 2017、加权平均/Kahou等, 2016、双线性积/Chen & Irwin, 2017等）、噪声水平等因素融合预测结果。经典案例如集成学习（Yokoya等, 2017; Sagi & Rokach, 2018; Samareh等, 2018）与深度晚期融合（Simonyan & Zisserman, 2014; Kahou等, 2016; Wu等, 2016; Ramachandram & Taylor, 2017）。

中期融合在模型训练中整合多模态特征，同步利用预测变量（自变量）与响应变量（因变量）。此类方法将融合直接嵌入训练过程，以优化目标（精度/检出率等）决策融合方式。偏最小二乘法（PLS）是典型中期融合，其以监督方式提取融合特征以最优解释输出（Zhao等, 2012）。张量回归则是另一案例，可从多源张量提取特征估计输出（Gahrooei等, 2020）。深度学习架构亦可设计中期融合（Karpathy等, 2014）。

为阐明三类融合逻辑，以设备剩余寿命（RUL/失效时间TTF）预测为例：某旋转机械通过振动传感器（A）、噪声传感器（B）与红外热像仪（C）监测状态。
• 早期融合（图1a）聚焦生成融合信号的潜变量用于建模预测。如先对合并数据集PCA，再利用主成分得分构建TTF预测模型。

• 晚期融合（图1b）分别建立传感器A/B/C的独立模型预测yA/yB/yC，再通过均值或中位数融合为最终预测。

• 中期融合（图1c）在训练中同步融合多传感器模态共享信息，同时优化TTF预测参数。

另以医疗案例说明：某研究医院收集脑疾病患者与健康对照者的三类神经影像——结构磁共振成像（sMRI）、功能磁共振成像（fMRI）及脑磁图（MEG）。
• 早期融合（图1a）可用独立成分分析（ICA）识别脑网络/结构潜变量（f），提取特征预测疾病严重度（g）。

• 晚期融合（图1b）对各影像类型独立建模预测yA/yB/yC，通过均值融合为综合预测值。

• 中期融合（图1c）在训练中（如融合群套索）同步整合多影像信息，构建疾病严重度预测模型。

贡献与论文结构

本文综述前述两类融合算法（分解基/神经网络基）。每类算法聚焦近年发展的多模态融合方法，重点解析工业工程（IE）应用（如医疗健康与预测领域）。现有其他多模态数据分析综述（Atrey等, 2010; Khaleghi等, 2013; Lahat等, 2015）各有侧重：Atrey等（2010）关注多媒体分析融合技术，按规则基、分类基、估计基分类传统方法（线性模型/SVM/熵最大化/卡尔曼滤波等）。本文在应用领域与算法覆盖上均与之不同。Khaleghi等（2013）从信息论视角综述多传感器融合，聚焦低层融合框架应对数据缺陷、相关性、矛盾性及异质性挑战（概率论/模糊集/可能性/粗糙集/D-S证据理论）。该文虽深入解析融合挑战形式化定义，但未提供实用算法指导（尤其对IE领域）。Lahat等（2015）聚焦基于分解的早期融合（ICA/典型分析/张量分析）。本文相较有三重拓展：