Image restoration (IR) aims to recover clean images from degraded observations. Despite remarkable progress, most existing methods focus on a single degradation type, whereas real-world images often suffer from multiple coexisting degradations, such as rain, noise, and haze coexisting in a single image, which limits their practical effectiveness. In this paper, we propose an adaptive multi-degradation image restoration network that reconstructs images by leveraging decoupled representations of degradation ingredients to guide path selection. Specifically, we design a degradation ingredient decoupling block (DIDBlock) in the encoder to separate degradation ingredients statistically by integrating spatial and frequency domain information, enhancing the recognition of multiple degradation types and making their feature representations independent. In addition, we present fusion block (FBlock) to integrate degradation information across all levels using learnable matrices. In the decoder, we further introduce a task adaptation block (TABlock) that dynamically activates or fuses functional branches based on the multi-degradation representation, flexibly selecting optimal restoration paths under diverse degradation conditions. The resulting tightly integrated architecture, termed IMDNet, is extensively validated through experiments, showing superior performance on multi-degradation restoration while maintaining strong competitiveness on single-degradation tasks.


翻译:图像恢复(IR)旨在从退化观测中重建清晰图像。尽管已取得显著进展,现有方法大多专注于单一退化类型,而真实世界图像常遭受多种共存退化(如单幅图像中同时存在雨雾、噪声与雾霾),这限制了其实际效能。本文提出一种自适应多重退化图像恢复网络,通过利用解耦的退化成分表征来指导路径选择以重建图像。具体而言,我们在编码器中设计了退化成分解耦模块(DIDBlock),通过融合空域与频域信息实现退化成分的统计分离,增强对多重退化类型的识别能力并使其特征表征相互独立。此外,我们提出融合模块(FBlock),利用可学习矩阵整合所有层级的退化信息。在解码器中,我们进一步引入任务适配模块(TABlock),该模块基于多重退化表征动态激活或融合功能分支,从而在不同退化条件下灵活选择最优恢复路径。由此构建的紧密集成架构(称为IMDNet)经过大量实验验证,在多重退化恢复任务中表现出优越性能,同时在单一退化任务中保持强劲竞争力。

0
下载
关闭预览

相关内容

面向低光照图像增强的扩散模型
专知会员服务
14+阅读 · 10月11日
【KDD2024】面向课程图稀疏化的轻量级图神经网络搜索
专知会员服务
18+阅读 · 2024年6月25日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
面向低光照图像增强的扩散模型
专知会员服务
14+阅读 · 10月11日
【KDD2024】面向课程图稀疏化的轻量级图神经网络搜索
专知会员服务
18+阅读 · 2024年6月25日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员