Cardiac image analysis remains fragmented across tasks: anatomical segmentation, disease classification, and grounded clinical report generation are typically handled by separate networks trained under different data regimes. No existing framework unifies these objectives within a single architecture while retaining generalization across imaging modalities and datasets. We introduce PULSE, a multi-task vision-language framework built on self-supervised representations and optimized through a composite supervision strategy that balances region overlap learning, pixel wise classification fidelity, and boundary aware IoU refinement. A multi-scale token reconstruction decoder enables anatomical segmentation, while shared global representations support disease classification and clinically grounded text output allowing the model to transition from pixels to structures and finally clinical reasoning within one architecture. Unlike prior task-specific pipelines, PULSE learns task-invariant cardiac priors, generalizes robustly across datasets, and can be adapted to new imaging modalities with minimal supervision. This moves the field closer to a scalable, foundation style cardiac analysis framework.


翻译:心脏图像分析目前仍分散于不同任务中:解剖分割、疾病分类以及基于临床依据的报告生成通常由在不同数据体系下训练的独立网络分别处理。现有框架尚未能在单一架构内统一这些目标,同时保持跨成像模态和数据集的泛化能力。我们提出了PULSE,这是一个基于自监督表示构建的多任务视觉-语言框架,通过复合监督策略进行优化,该策略平衡了区域重叠学习、像素级分类保真度以及边界感知IoU细化。多尺度令牌重建解码器实现了解剖分割,而共享的全局表示支持疾病分类和基于临床依据的文本输出,使得模型能够在单一架构内实现从像素到结构、最终到临床推理的过渡。与以往任务专用流程不同,PULSE学习任务不变的心脏先验知识,在数据集间具有鲁棒的泛化能力,并能以最少监督适应新的成像模态。这推动了该领域向可扩展、基础模型式的心脏分析框架迈进。

0
下载
关闭预览

相关内容

AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员