Multimodal medical imaging provides complementary information that is crucial for accurate delineation of pathology, but the development of deep learning models is limited by the scarcity of large datasets in which different modalities are paired and spatially aligned. This paper addresses this fundamental limitation by proposing an Adaptive Quaternion Cross-Fusion Network (A-QCF-Net) that learns a single unified segmentation model from completely separate and unpaired CT and MRI cohorts. The architecture exploits the parameter efficiency and expressive power of Quaternion Neural Networks to construct a shared feature space. At its core is the Adaptive Quaternion Cross-Fusion (A-QCF) block, a data driven attention module that enables bidirectional knowledge transfer between the two streams. By learning to modulate the flow of information dynamically, the A-QCF block allows the network to exchange abstract modality specific expertise, such as the sharp anatomical boundary information available in CT and the subtle soft tissue contrast provided by MRI. This mutual exchange regularizes and enriches the feature representations of both streams. We validate the framework by jointly training a single model on the unpaired LiTS (CT) and ATLAS (MRI) datasets. The jointly trained model achieves Tumor Dice scores of 76.7% on CT and 78.3% on MRI, significantly exceeding the strong unimodal nnU-Net baseline by margins of 5.4% and 4.7% respectively. Furthermore, comprehensive explainability analysis using Grad-CAM and Grad-CAM++ confirms that the model correctly focuses on relevant pathological structures, ensuring the learned representations are clinically meaningful. This provides a robust and clinically viable paradigm for unlocking the large unpaired imaging archives that are common in healthcare.


翻译:多模态医学成像提供了对精确描绘病理至关重要的互补信息,但深度学习模型的发展受到不同模态配对且空间对齐的大型数据集稀缺性的限制。本文通过提出一种自适应四元数交叉融合网络(A-QCF-Net)来解决这一根本限制,该网络从完全独立且非配对的CT和MRI队列中学习一个统一的单一分割模型。该架构利用四元数神经网络的参数效率和表达能力来构建一个共享特征空间。其核心是自适应四元数交叉融合(A-QCF)模块,这是一个数据驱动的注意力模块,可实现两个流之间的双向知识迁移。通过学习动态调节信息流,A-QCF模块使网络能够交换抽象的模态特定专业知识,例如CT中可用的清晰解剖边界信息和MRI提供的细微软组织对比度。这种相互交换规范并丰富了两个流的特征表示。我们通过在非配对的LiTS(CT)和ATLAS(MRI)数据集上联合训练一个单一模型来验证该框架。联合训练的模型在CT上实现了76.7%的肿瘤Dice分数,在MRI上实现了78.3%,分别显著超过了强大的单模态nnU-Net基线5.4%和4.7%。此外,使用Grad-CAM和Grad-CAM++进行的全面可解释性分析证实,该模型正确地聚焦于相关的病理结构,确保学习到的表征具有临床意义。这为利用医疗保健中常见的大型非配对成像档案提供了一个稳健且临床可行的范式。

0
下载
关闭预览

相关内容

【KDD2024】面向课程图稀疏化的轻量级图神经网络搜索
专知会员服务
19+阅读 · 2024年6月25日
【AAAI2021】“可瘦身”的生成式对抗网络
专知会员服务
13+阅读 · 2020年12月12日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
VIP会员
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员