Satellite optical images, upon their on-ground receipt, offer a distorted view of the observed scene. Their restoration, including denoising, deblurring, and sometimes super-resolution, is required before their exploitation. Moreover, quantifying the uncertainties related to this restoration helps to reduce the risks of misinterpreting the image content. Deep learning methods are now state-of-the-art for satellite image restoration. Among them, direct inversion methods train a specific network for each sensor, and generally provide a point estimation of the restored image without the associated uncertainties. Alternatively, deep regularization (DR) methods learn a deep prior on target images before plugging it, as the regularization term, into a model-based optimization scheme. This allows for restoring images from several sensors with a single network and possibly for estimating associated uncertainties. In this paper, we introduce VBLE-xz, a DR method that solves the inverse problem in the latent space of a variational compressive autoencoder (CAE). We adapt the regularization strength by modulating the bitrate of the trained CAE with a training-free approach. Then, VBLE-xz estimates relevant uncertainties jointly in the latent and in the image spaces by sampling an explicit posterior estimated within variational inference. This enables fast posterior sampling, unlike state-of-the-art DR methods that use Markov chains or diffusion-based approaches. We conduct a comprehensive set of experiments on very high-resolution simulated and real Pléiades images, asserting the performance, robustness and scalability of the proposed method. They demonstrate that VBLE-xz represents a compelling alternative to direct inversion methods when uncertainty quantification is required. The code associated to this paper is available in https://github.com/MaudBqrd/VBLExz.


翻译:卫星光学图像在接收至地面时呈现的观测场景存在失真。在利用这些图像前,需对其进行恢复处理,包括去噪、去模糊及有时所需的超分辨率重建。此外,量化恢复过程中的不确定性有助于降低误判图像内容的风险。深度学习方法已成为卫星图像恢复领域的主流技术。其中,直接反演方法需为每个传感器训练专用网络,通常仅提供恢复图像的点估计而缺乏相关不确定性信息。相比之下,深度正则化方法首先在目标图像上学习深度先验,随后将其作为正则化项嵌入基于模型的优化框架中。该方法能够使用单一网络处理多传感器图像,并可能估计相关不确定性。本文提出VBLE-xz方法,通过在变分压缩自编码器的隐空间内求解反问题实现深度正则化。我们采用免训练方式调节已训练CAE的比特率,从而自适应调整正则化强度。随后,VBLE-xz通过变分推断框架对显式后验分布进行采样,在隐空间与图像空间同步估计关键不确定性。相较于当前采用马尔可夫链或扩散模型的深度正则化方法,该方法实现了快速后验采样。我们在超高分辨率仿真及真实Pléiades图像上开展了系统实验,验证了所提方法在性能、鲁棒性和可扩展性方面的优势。实验表明,当需要不确定性量化时,VBLE-xz可作为直接反演方法的有效替代方案。本文相关代码已发布于https://github.com/MaudBqrd/VBLExz。

0
下载
关闭预览

相关内容

基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
[NeurIPS 2020] 球形嵌入的深度度量学习
专知会员服务
17+阅读 · 2020年11月8日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关资讯
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员