遥感图像超分辨率(Remote Sensing Image Super-Resolution,RSISR)是遥感图像处理中的一项关键任务,其目标是从低分辨率(Low-Resolution, LR)图像重建出高分辨率(High-Resolution, HR)图像。尽管近年来涌现出大量 RSISR 方法,但至今仍缺乏对该领域系统而全面的综述。 本文对 RSISR 相关算法进行了深入梳理与总结,涵盖方法类别、使用的数据集以及评估指标等多个方面。我们将现有方法分为有监督无监督图像质量评估三类,并深入分析各类方法的研究现状和面临的挑战,帮助研究者把握该领域的发展趋势。 我们还讨论了不同方法的优点与局限,特别指出现有方法在面对大尺度降质场景时,往往难以保持图像的细节纹理与几何结构,表现出明显的性能瓶颈。基于以上分析,本文进一步提出了未来研究的潜在方向,包括:构建领域特定的模型架构,以及制定更鲁棒的评估机制,以更好地缩小合成数据与真实遥感场景之间的差距。 关键词:遥感图像、图像超分辨率、机器学习

1. 引言

图像超分辨率(Super-Resolution, SR)旨在从低分辨率(Low-Resolution, LR)图像中重建高分辨率(High-Resolution, HR)图像【1】。作为一项基础性的计算机视觉任务,SR 在多个领域具有广泛而深远的应用,如遥感【2】、医学影像【3】和安防调查【4】等。然而,由于遥感系统在分辨率、成本、轨道高度以及传输带宽等方面的限制,遥感图像(Remote Sensing Images, RSI)往往存在空间分辨率不足的问题。尽管存在这些制约,现实应用中的遥感任务仍迫切需要高质量的高分辨率图像。因此,**遥感图像超分辨率(Remote Sensing Image Super-Resolution, RSISR)旨在通过对 LR 图像进行增强重建,以获得细节更加丰富的 HR 图像(如图 1 所示)。RSISR 技术广泛应用于土地覆盖制图【5】、农业监测【6】、灾害评估【7】、城市监控【8】**等多个实际场景。

RSISR 方法通常根据输入帧数划分为单帧方法多帧方法。单帧方法仅利用一张 LR 图像来重建 HR 图像,而多帧方法则通过融合来自不同视角或光谱波段的多张 LR 图像来提高重建精度,多帧方法能够充分利用跨时间、多视角或多传感器之间的互补信息,增强细节恢复与高频信息重建。然而,由于多时相或多源遥感影像资源的获取有限,再加上图像配准所需的高计算复杂度,导致多帧方法在实际部署中受到较大限制。例如,基于卫星的遥感应用就常常因长重访周期而难以获得多时相数据。因此,为克服这一问题,已有众多研究【10–13】聚焦于更为实用的单帧 RSISR方法。基于此考虑,本文综述将以单帧 RSISR 方法为主。

RSISR 已有三十余年的研究历史,至今已提出大量算法。如图 2 所示,近年来该领域的研究论文数量迅速增长。早期 RSISR 方法主要分为以下三类:插值方法【14,15】、变换域方法【16,17】和重建方法【18】。插值方法具有计算复杂度低、实时性强的优点,但其恢复图像的能力受限于原始 LR 图像的质量,难以保留真实结构和高频细节。相比之下,重建方法虽然能更好保留感知特性【9】,但通常存在计算开销大、依赖 LR 图像细节质量等问题。变换域方法则通过将图像变换到如小波域或稀疏表示域中进行高频增强,并重建 HR 图像。相关方法包括基于小波域【16,19】、稀疏表示【20,18,21】以及混合方法【22】等。 近年来,人工智能的快速发展推动了深度学习在 RSISR 中的广泛应用。大量基于深度学习的 RSISR 方法被提出,采用了卷积神经网络(CNN)【23,24】、生成对抗网络(GAN)【25–27】、Transformer【28–30】、Mamba【31】等模型结构。 尽管 RSISR 领域每年都有大量新算法被提出,但系统性综述文献仍较为稀缺。已有的综述大多存在以下不足:早期综述主要关注传统算法【9,14】,未能覆盖深度学习时代的新进展;部分综述仅聚焦于特定类型方法,如深度学习方法【35,36,2,38】或 GAN 方法【25】;Liu 等人在 2021 年所做的综述【34】虽然质量较高,但未涵盖 2022–2025 年的新研究成果。 因此,本文旨在弥补这一空白,提供对过去二十年来 RSISR 方法的系统、全面和深入的综述,总计引用文献超过 300 篇。我们详细总结了 RSISR 的背景知识、方法分类、近期发展趋势、数据集与评估指标等内容。本文的主要贡献如下: * 全面综述 RSISR 方法:我们回顾了过去二十年中 RSISR 算法的发展历程,包括方法、数据集和评估指标。为便于分析与比较,本文将方法分门别类,并详述代表性算法。据我们所知,这是迄今为止关于 RSISR 方法最全面的综述。 * 系统总结发展特征与挑战:基于对 300 多篇文献的分析,我们梳理了当前 RSISR 方法的发展特征,指出存在的技术挑战,并预测其未来发展趋势。 * 深入讨论未来研究方向:结合文献调研与实践经验,我们对 RSISR 未来的研究前景进行了详细探讨,旨在为该领域研究者提供启发与指导,推动这一快速演进领域的进一步发展。

本文其余内容结构如下: * 第 2 节:介绍 RSISR 背景与方法分类; * 第 3、4 节:分别综述监督式与无监督式 RSISR 方法; * 第 5 节:总结近年来 RSISR 的发展特征; * 第 6 节:分析主流数据集与评估指标; * 第 7 节:讨论性能评估方法; * 第 8 节:探讨未来发展方向; * 第 9 节:总结全文。

成为VIP会员查看完整内容
6

相关内容

组合图像检索的全面综述
专知会员服务
17+阅读 · 3月2日
通往人工超智能的道路:超级对齐的全面综述
专知会员服务
38+阅读 · 2024年12月24日
大语言模型增强的知识图谱问答研究进展综述
专知会员服务
46+阅读 · 2024年10月6日
深度学习在雷达中的研究综述
专知会员服务
21+阅读 · 2024年8月15日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
知识图谱嵌入技术研究综述
专知会员服务
136+阅读 · 2022年2月5日
软件多缺陷定位方法研究综述
专知会员服务
22+阅读 · 2022年1月25日
深度对抗视觉生成综述
专知会员服务
34+阅读 · 2021年12月29日
专知会员服务
70+阅读 · 2021年8月20日
综述:基于GAN的图像翻译模型盘点
GAN生成式对抗网络
21+阅读 · 2019年9月2日
【数字孪生】数字孪生技术发展趋势与安全风险浅析
产业智能官
54+阅读 · 2019年8月28日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
一文概览用于图像分割的CNN
论智
14+阅读 · 2018年10月30日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
现代情感分析方法
算法与数学之美
14+阅读 · 2018年1月12日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
463+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
A survey on deep hashing for image retrieval
Arxiv
15+阅读 · 2020年6月10日
Arxiv
26+阅读 · 2020年2月21日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
组合图像检索的全面综述
专知会员服务
17+阅读 · 3月2日
通往人工超智能的道路:超级对齐的全面综述
专知会员服务
38+阅读 · 2024年12月24日
大语言模型增强的知识图谱问答研究进展综述
专知会员服务
46+阅读 · 2024年10月6日
深度学习在雷达中的研究综述
专知会员服务
21+阅读 · 2024年8月15日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
知识图谱嵌入技术研究综述
专知会员服务
136+阅读 · 2022年2月5日
软件多缺陷定位方法研究综述
专知会员服务
22+阅读 · 2022年1月25日
深度对抗视觉生成综述
专知会员服务
34+阅读 · 2021年12月29日
专知会员服务
70+阅读 · 2021年8月20日
相关资讯
综述:基于GAN的图像翻译模型盘点
GAN生成式对抗网络
21+阅读 · 2019年9月2日
【数字孪生】数字孪生技术发展趋势与安全风险浅析
产业智能官
54+阅读 · 2019年8月28日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
深度学习与计算机视觉任务应用综述
深度学习与NLP
50+阅读 · 2018年12月18日
一文概览用于图像分割的CNN
论智
14+阅读 · 2018年10月30日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
现代情感分析方法
算法与数学之美
14+阅读 · 2018年1月12日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员