董超大神新作MS3Conv｜多尺度卷积在图像超分中的应用探索

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AIWalker

标题&作者团队

paper: https://arxiv.org/abs/2008.00239

【Happy导语】该文是SRCNN的作者董超大神在图像超分领域的又一力作。这位大神在图像超分领域贡献了不少经典文档，比如SRCNN、FSRCNN、ESRGAN、EDVR、CResMD、RankSRGAN、TENet、AdaFM、IKC、DNI、RL-Restore、SFT等，可谓研究图像超分、图像复原领域的不可不知的大神，相应文章也是不可不读者。该文提出了一种“即插即用”MS3Conv用于图像超分，虽然本质上创新并不多，但实验分析做的还是非常不错，值得各位同学仔细研究一番。

Abstract

多尺度技术在大范围CV领域取得了成功，然而在图像超分领域却鲜少有多尺度卷积的探索应用(好像一篇多尺度卷积哦，见文末)。在这篇文章中，作者提出了一种统一的多尺度架构，并对多尺度卷积的两个因素(特征传播、跨尺度通信)进行了系统分析，并基于分析结果提出了多尺度卷积单元MS3Conv(Multi-Scale cross Scale Share-weights convolution)。

作者通过实验表明：相比标准卷积，MS3Conv可以取得更好的SR性能，同时具有更少的参数量和计算复杂度；除了定量对比外，作者还对比了MS3Conv超分的视觉效果，可以看到它可以更好的复原高频细节。

该文的贡献主要包含以下三点：

• 提出一种统一框架用于理解和设计多尺度卷积网络，它将OctConv、MSConv等统一到相同框架中并进行了对比说明；
• 基于前述所提MS3Conv进行了系统的探索，说明了MS3Conv的高效性；
• 通过定量与定性分析说明了MS3Conv的优异性能，MS3Conv有助于重建高频细节。

Method

Formulation

首先，作者从多分支角度对多尺度卷积提供了一种统一框架。为探索不同多尺度网络的区别所在，我们将多尺度特征视作多并行分支(见下图b)。

image-20200805161417491

标准卷积可以视作由“splitting、transforming、aggregating”等操作构成。从多分支网络角度出发，我们认为 分别表示对输入进行split后得到高尺度与低尺度特征，对于每个分支的输出特征 ，我们需要采用transformation函数进行处理，变换输出可以通过Add/Cat等方式进行aggregated。上述多尺度卷积的过程可以描述为：

image-20200805205412613

注： 表示同尺度卷积， 表示跨尺度卷积，跨尺度卷积往往需要搭配上采样或者下采样操作以匹配特征的空间分辨率。

看到这里，大家有没有发现，多尺度卷积均可被纳入到上述框架中，比如UNet、OctConv、MixConv，Scale-wise Convolution(ScConv)等等。与上述形式强相关的当属OctConv与ScConv两个了。下面我们就一个一个的来简单的分析一下。

UNet

我们以最简单的UNet(尺度因子为2)为例进行说明，此时上述变换可以描述为：

image-20200805205428313

从上述变换函数可以看到：UNet中不存在跨尺度特征通信。

OctConv

OctConv提出之时可谓反向剧烈，OctConv在这里可以描述成如下形式：

image-20200805162906922

OctConv的变换函数中存在尺度内部变换以及尺度间变换，同时还存在跨尺度通信。这种处理方式不会造成参数量降低，但确实会减少计算量以及内存占用。

Multi-Grid Convolution

MGConv是一种转为多尺度特征而设计的模块，它将特征分成了三个尺度，对应的变换函数描述如下：

image-20200805163126788

需要注意的是：MGConv只进行了近邻尺度的特征通信。

ScConv

ScConv是WDSR的作者提出的一种多尺度卷积，与该文存在异曲同工之妙。ScConv的流程图见下图，可以看到它与该文提到的MS3Conv是非常之相似。注：MS3Conv一文并未提到ScConv这个方法，这里是笔者添加的。

image-20200805163425366

MS3Conv

前面已经介绍了与本文比较相似的几种多尺度卷积，那么接下来将逐步引出本文的MS3Conv。

image-20200805163939812

首先，我们先看一下MS-Conv，它是一种双分支结构，且无跨尺度信息通信。MS-Conv这种改进可以降低计算复杂度，但会导致严重的性能下降。

为缓解上述问题，作者引入了跨尺度通信，这就与OctConv非常相似了。作者将这种形式称之为MS2Conv。基于MS2Conv，作者提出了一种多尺度跨尺度权值共享卷积，即MS3Conv。它的关键核心在于：保持跨尺度通信，但是进行尺度内卷积的权值共享。也就是说存在这样的关系：

作者采用1x1卷积而非3x3卷积(降低计算量)进行跨尺度通信，总而言之MS3Conv的变换函数可以描述为：

image-20200805164421739

MS3Conv与OctConv的关键区别在于：(1) 尺度内卷积参数共享与否；(2) 跨尺度卷积的kernel尺寸。

Why？

这里将从空间冗余的角度出发探索多尺度的有效性，作者以扩张卷积为例进行说明，见下图。基于扩张卷积，不同的分支具有相同的结果、不同的感受野。

image-20200805164950765

我们以最简单的多尺度表示 (注：D表示最近邻下采样，U表示最近邻上采样，W表示卷积)为例进行说明。上图bottom可以描述为 ，需要注意 是有损函数且不会改变特征的分辨率。也就是说上述多尺度表达可以描述为 与 的组合。作者同时还研究具有相同参数但扩张比例不同的双分支架构，描述为 。

下表给出了基于不同配置时MSConv的图像超分网络在BSD100上的性能对比。可以看到：感受野大小和有损下采样对于超分而言并不是非常重要，这可能与图像的空间冗余有关；权值共享也不会造成性能的下降。因此基于MS3Conv的超分网络有助于降低计算量以及内存占用。

image-20200805165645506

下图还给出了MS3Conv在超分中的视觉效果对比。可以看到基于MS3onv的超分效果更佳。

image-20200805170006059

Experiments

直接上结果咯，训练细节感兴趣的同学建议去看原文。

下表给出了不同多尺度卷积的FLOPs、参数量以及PSNR对比。相比MSConv，MS2Conv取得了0.07dB的性能提升，代价则是4GFLOPs的计算量提升。

image-20200805203132368

为验证性能提升是源自复杂度的提升还是跨尺度通信，作者进行了下图Fig5的实验，证实了MS-Conv的有效性；于此同时下表Table3给出了不同尺度数量时的性能对比，这个再一次与ScConv一文中的结果对应了起来，哈哈。

image-20200805203622838

下表给出了所提方法与其他超分方法的性能对比，可以看到，在轻量型网络方面，所提方法具有更高的性能。

image-20200805203924789

与此同时，作者还给出了将其嵌入到SRResNet与CARN中的性能对比，见下表。

image-20200805204022708

最后，作者还给出了所提方法的视觉效果对比，可以看到基于MS3Conv的超分网络具有更好的纹理复原效果。

image-20200805204206216

全文到此结束，感兴趣的同学建议去查看原文。

下载1

在CVer公众号后台回复：OpenCV书籍，即可下载《Learning OpenCV 3》书籍和源代码。注：这本书是由OpenCV发起者所写，是官方认可的书籍。其中涵盖大量图像处理的基础知识介绍，虽然API还是基于OpenCV 3.x，但结合此书和最新API，可以很好的学习OpenCV。

下载2

在CVer公众号后台回复：CVPR2020，即可下载CVPR2020 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2000+人，旨在交流顶会（CVPR/ICCV/ECCV/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI等）、SCI、EI等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer点赞和在看！