【CVPR2021】探索图像超分辨率中的稀疏性以实现高效推理

当前基于CNN的图像超分对所有位置同等对待，即每个位置都需要经过网络进行处理。实际上，低分辨率图像的细节缺失主要位于边缘、纹理区域，而平坦区域则较少缺失，故而赋予更少的计算量处理亦可。这就意味着现有基于CNN的图像超分方法在平坦区域存在计算量冗余问题，限制了对应方法在移动端的应用。

为解决上述问题，我们对图像超分中的稀疏性问题进行了探索，并用于改善超分网络的推理高效性。具体来说，我们设计了一种Sparse Mask SR(SMSR)学习稀疏掩码以剪枝冗余计算量。结合所提SMSR，空域掩码学习判别“重要性”区域而通道掩码学习冗余通道(即不重要区域)。因此，冗余计算空域被精确的定位并跳过，同时保持同等性能。

最后，我们通过实验证实：SMSR取得了SOTA性能，同时x2/3/4被超分的计算量降低41%、33%以及27%。

本文的主要贡献包含以下几点：

我们提出了一种SMSR动态跳过冗余计算以达成高效图像超分； 我们提出通过学习空域与通道掩码定位冗余计算，两者协同达成细粒度的冗余计算定位； 所提方法取得了SOTA性能，同时具有更好的推理效率。

paper：https://arxiv.org/abs/2006.09603

Code: https://github.com/LongguangWang/SMSR