Deteriorating civil infrastructure requires automated inspection techniques overcoming limitations of visual assessment. While Ground Penetrating Radar and Infrared Thermography enable subsurface defect detection, single modal approaches face complementary constraints radar struggles with moisture and shallow defects, while thermography exhibits weather dependency and limited depth. This paper presents a multi modal attention network fusing radar temporal patterns with thermal spatial signatures for bridge deck delamination detection. Our architecture introduces temporal attention for radar processing, spatial attention for thermal features, and cross modal fusion with learnable embeddings discovering complementary defect patterns invisible to individual sensors. We incorporate uncertainty quantification through Monte Carlo dropout and learned variance estimation, decomposing uncertainty into epistemic and aleatoric components for safety critical decisions. Experiments on five bridge datasets reveal that on balanced to moderately imbalanced data, our approach substantially outperforms baselines in accuracy and AUC representing meaningful improvements over single modal and concatenation based fusion. Ablation studies demonstrate cross modal attention provides critical gains beyond within modality attention, while multi head mechanisms achieve improved calibration. Uncertainty quantification reduces calibration error, enabling selective prediction by rejecting uncertain cases. However, under extreme class imbalance, attention mechanisms show vulnerability to majority class collapse. These findings provide actionable guidance: attention based architecture performs well across typical scenarios, while extreme imbalance requires specialized techniques. Our system maintains deployment efficiency, enabling real time inspection with characterized capabilities and limitations.


翻译:日益恶化的民用基础设施需要克服视觉评估局限性的自动化检测技术。虽然探地雷达和红外热成像技术能够实现亚表面缺陷检测,但单模态方法面临互补性制约:雷达受水分和浅层缺陷影响,而热成像则存在天气依赖性和探测深度有限的问题。本文提出一种多模态注意力网络,通过融合雷达时间模式与热成像空间特征实现桥面板剥离检测。该架构引入时间注意力机制处理雷达数据,空间注意力机制提取热成像特征,并采用可学习嵌入的跨模态融合方法,以发现单个传感器无法观测的互补性缺陷模式。我们通过蒙特卡洛随机丢弃和可学习方差估计实现不确定性量化,将不确定性分解为认知不确定性和偶然不确定性,以支持安全关键决策。在五个桥梁数据集上的实验表明,在平衡至中度不平衡数据条件下,本方法在准确率和AUC指标上显著优于基线模型,相较于单模态和基于拼接的融合方法实现了实质性改进。消融研究证明跨模态注意力机制能提供超越模态内注意力的关键性能提升,而多头注意力机制实现了更好的校准效果。不确定性量化降低了校准误差,通过拒绝不确定案例实现选择性预测。然而在极端类别不平衡情况下,注意力机制表现出对多数类主导的脆弱性。这些发现提供了可操作的指导:基于注意力的架构在典型场景下表现良好,而极端不平衡情况需要专门技术。本系统保持了部署效率,能够实现具备明确能力边界和局限性的实时检测。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员