【ACMMM2021】谱空间卷积全色锐化

信息技术的飞速发展使得数据形式逐渐趋向高维化，例如视频数据、多/高光谱图像以及交通流量数据等。然而，高维数据往往存在分辨率低，清晰度差的问题，例如低分辨率的多光谱图像严重影响卫星对地面目标的判断和识别。特别地，遥感卫星除了能获取低分辨率的多光谱图像外，通常还能同时拍摄同地域的高分辨率的全色图像（单光谱灰度图）。我们能否利用这张高分辨率的全色图像来有效提高低分辨率多光谱图像的空间分辨率？全色锐化任务应运而生。全色锐化（Pansharpening）旨在将一张低分辨率的多光谱图像和一张高分辨率的全色图像进行融合进而获得高空间分辨率且多光谱的图像。

　　在传统的神经网络中，对于图像上采样任务通常采用反卷积或者线性插值的方法来实现，但是这些操作对需要同时考虑空间分辨率增强和光谱信息保真的Pansharpening任务并不是十分有效。本文考虑到全色锐化的特殊性，即低分辨率多光谱图像的不同光谱波段其实反应的是同一场景的地物，这启发作者探索能否利用同一像素点的不同光谱信息完成图像上采样任务。论文提出一种光谱到空间的卷积映射（SSconv），并通过卷积提取丰富的光谱信息，然后将得到的光谱特征图（Spectral feature）通过一个映射（Mapping）重新排列，进而得到信息无损的特征输出。在此基础上，本文针对Pansharpening不同分辨率输入的特点，搭建了一个多尺度U型深度学习网络结构（MUCNN），将两种不同分辨率的已知图像作为输入，所提MUCNN可充分利用其潜在的多尺度信息（详见图1）。此外，针对不同尺度的输出构造多尺度损失函数可明显提高所提方法的效果。实验结果表明在不同卫星数据集上所提方法均取得当前最优的量化指标（详见表1），模型的每个结构的有效性均得到消融实验的验证。未来，团队还试图将此方法推广到更多图像融合应用。