Deteriorating civil infrastructure requires automated inspection techniques overcoming limitations of visual assessment. While Ground Penetrating Radar and Infrared Thermography enable subsurface defect detection, single modal approaches face complementary constraints radar struggles with moisture and shallow defects, while thermography exhibits weather dependency and limited depth. This paper presents a multi modal attention network fusing radar temporal patterns with thermal spatial signatures for bridge deck delamination detection. Our architecture introduces temporal attention for radar processing, spatial attention for thermal features, and cross modal fusion with learnable embeddings discovering complementary defect patterns invisible to individual sensors. We incorporate uncertainty quantification through Monte Carlo dropout and learned variance estimation, decomposing uncertainty into epistemic and aleatoric components for safety critical decisions. Experiments on five bridge datasets reveal that on balanced to moderately imbalanced data, our approach substantially outperforms baselines in accuracy and AUC representing meaningful improvements over single modal and concatenation based fusion. Ablation studies demonstrate cross modal attention provides critical gains beyond within modality attention, while multi head mechanisms achieve improved calibration. Uncertainty quantification reduces calibration error, enabling selective prediction by rejecting uncertain cases. However, under extreme class imbalance, attention mechanisms show vulnerability to majority class collapse. These findings provide actionable guidance: attention based architecture performs well across typical scenarios, while extreme imbalance requires specialized techniques. Our system maintains deployment efficiency, enabling real time inspection with characterized capabilities and limitations.


翻译:不断恶化的民用基础设施需要克服视觉评估局限性的自动化检测技术。虽然探地雷达和红外热成像技术能够实现地下缺陷检测,但单模态方法面临互补性限制:雷达受水分和浅层缺陷影响,而热成像则存在天气依赖性和探测深度有限的问题。本文提出一种多模态注意力网络,通过融合雷达时序模式与热成像空间特征来实现桥面板分层检测。我们的架构引入了用于雷达处理的时序注意力机制、用于热成像特征的空间注意力机制,以及通过可学习嵌入实现跨模态融合,从而发现单个传感器无法检测的互补缺陷模式。我们通过蒙特卡洛dropout和学习方差估计实现不确定性量化,将不确定性分解为认知不确定性和偶然不确定性,以支持安全关键决策。在五个桥梁数据集上的实验表明,在平衡至中度不平衡数据条件下,我们的方法在准确率和AUC指标上显著优于基线模型,相比单模态和基于拼接的融合方法实现了实质性提升。消融研究证明跨模态注意力机制带来的性能增益远超模态内注意力,而多头注意力机制实现了更好的校准效果。不确定性量化降低了校准误差,通过拒绝不确定案例实现了选择性预测。然而,在极端类别不平衡情况下,注意力机制表现出对多数类主导的脆弱性。这些发现提供了可操作的指导:基于注意力的架构在典型场景下表现良好,而极端不平衡情况需要专门技术。我们的系统保持了部署效率,能够实现具有明确能力边界和局限性的实时检测。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员