Fundus images are essential for the early screening and detection of eye diseases. While deep learning models using fundus images have significantly advanced the diagnosis of multiple eye diseases, variations in images from different imaging devices and locations (known as domain shifts) pose challenges for deploying pre-trained models in real-world applications. To address this, we propose a novel Fundus On-the-fly Test-Time Adaptation (FunOTTA) framework that effectively generalizes a fundus image diagnosis model to unseen environments, even under strong domain shifts. FunOTTA stands out for its stable adaptation process by performing dynamic disambiguation in the memory bank while minimizing harmful prior knowledge bias. We also introduce a new training objective during adaptation that enables the classifier to incrementally adapt to target patterns with reliable class conditional estimation and consistency regularization. We compare our method with several state-of-the-art test-time adaptation (TTA) pipelines. Experiments on cross-domain fundus image benchmarks across two diseases demonstrate the superiority of the overall framework and individual components under different backbone networks. Code is available at https://github.com/Casperqian/FunOTTA.


翻译:眼底图像对于眼部疾病的早期筛查与检测至关重要。尽管基于眼底图像的深度学习模型已显著推动了多种眼疾的诊断进展,但不同成像设备与采集地点导致的图像差异(即域偏移)为预训练模型在实际应用中的部署带来了挑战。为此,我们提出了一种新颖的眼底图像即时测试时适应框架(FunOTTA),该框架能有效将眼底图像诊断模型泛化至未见过的环境,即使在强域偏移下仍表现稳健。FunOTTA通过在执行内存库动态消歧的同时最小化有害的先验知识偏差,实现了稳定的适应过程。我们还在适应阶段引入了新的训练目标,使分类器能够通过可靠的类条件估计与一致性正则化,逐步适应目标域模式。我们将本方法与多种先进的测试时适应流程进行了比较。在两个疾病的跨域眼底图像基准测试上的实验表明,该整体框架及其各组件在不同骨干网络下均表现出优越性。代码已发布于 https://github.com/Casperqian/FunOTTA。

0
下载
关闭预览

相关内容

【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员