Immunohistochemical (IHC) virtual staining is a task that generates virtual IHC images from H\&E images while maintaining pathological semantic consistency with adjacent slices. This task aims to achieve cross-domain mapping between morphological structures and staining patterns through generative models, providing an efficient and cost-effective solution for pathological analysis. However, under weakly paired conditions, spatial heterogeneity between adjacent slices presents significant challenges. This can lead to inaccurate one-to-many mappings and generate results that are inconsistent with the pathological semantics of adjacent slices. To address this issue, we propose a novel unbalanced self-information feature transport for IHC virtual staining, named USIGAN, which extracts global morphological semantics without relying on positional correspondence.By removing weakly paired terms in the joint marginal distribution, we effectively mitigate the impact of weak pairing on joint distributions, thereby significantly improving the content consistency and pathological semantic consistency of the generated results. Moreover, we design the Unbalanced Optimal Transport Consistency (UOT-CTM) mechanism and the Pathology Self-Correspondence (PC-SCM) mechanism to construct correlation matrices between H\&E and generated IHC in image-level and real IHC and generated IHC image sets in intra-group level.. Experiments conducted on two publicly available datasets demonstrate that our method achieves superior performance across multiple clinically significant metrics, such as IoD and Pearson-R correlation, demonstrating better clinical relevance.


翻译:免疫组织化学(IHC)虚拟染色是一项从H&E图像生成虚拟IHC图像的任务,同时保持与相邻切片的病理语义一致性。该任务旨在通过生成模型实现形态学结构与染色模式之间的跨域映射,为病理分析提供高效且经济的解决方案。然而,在弱配对条件下,相邻切片之间的空间异质性带来了显著挑战。这可能导致不准确的一对多映射,并生成与相邻切片病理语义不一致的结果。为解决此问题,我们提出了一种新颖的用于IHC虚拟染色的非平衡自信息特征迁移方法,命名为USIGAN,该方法在不依赖位置对应关系的情况下提取全局形态语义。通过移除联合边缘分布中的弱配对项,我们有效减轻了弱配对对联合分布的影响,从而显著提升了生成结果的内容一致性和病理语义一致性。此外,我们设计了非平衡最优传输一致性(UOT-CTM)机制和病理自对应(PC-SCM)机制,以构建H&E与生成IHC在图像层面、以及真实IHC与生成IHC图像集在组内层面的相关矩阵。在两个公开数据集上进行的实验表明,我们的方法在多个具有临床意义的指标(如IoD和Pearson-R相关性)上均取得了优越性能,展现了更好的临床相关性。

0
下载
关闭预览

相关内容

国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员