图像恢复是低级计算机视觉中的关键任务,旨在从退化图像中重建高质量图像。近年来,受先进状态空间模型 Mamba 启发而提出的 Vision Mamba 推动了该领域的发展。Vision Mamba 在以线性复杂度建模长程依赖方面表现出色,这对于图像恢复任务而言是一个重要优势。然而,尽管 Vision Mamba 在性能上具有潜力,其在低级视觉任务中仍面临一些挑战,如计算复杂度随扫描序列数量增加而增长,以及局部像素遗忘问题。 为了解决上述问题,本文提出了一种增强框架——Efficient All-Around Mamba(EAMamba)。该方法引入了一个多头选择性扫描模块(Multi-Head Selective Scan Module,MHSSM)及全向扫描机制。MHSSM 能够高效聚合多条扫描序列,从而在不增加计算复杂度和参数量的前提下提升建模能力。全向扫描策略通过多种扫描模式捕获图像的整体信息,有效缓解了局部像素遗忘的问题。

我们在多项图像恢复任务上对所提出方法进行了实证评估,包括超分辨率、去噪、去模糊和去雾等。实验结果表明,EAMamba 在保持优越性能的同时,相较于现有低级 Vision Mamba 方法实现了 31% 至 89% 的 FLOPs 减少。相关源代码已开放,详见项目主页:https://github.com/daidaijr/EAMamba。

成为VIP会员查看完整内容
5

相关内容

【CVPR2025】CoLLM:面向组合图像检索的大语言模型
【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
VILA-U:一个融合视觉理解与生成的统一基础模型
专知会员服务
21+阅读 · 2024年9月9日
【KDD2024】GeoMix:迈向几何感知的数据增强技术
专知会员服务
19+阅读 · 2024年7月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
170+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
470+阅读 · 2023年3月31日
Arxiv
24+阅读 · 2023年3月17日
Deep Face Recognition: A Survey
Arxiv
18+阅读 · 2019年2月12日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员