学界 | NTIRE2017夺冠论文:用于单一图像超分辨率的增强型深度残差网络

2017 年 7 月 17 日 机器之心
学界 | NTIRE2017夺冠论文:用于单一图像超分辨率的增强型深度残差网络

选自SNU

作者:Bee Lim等

机器之心编译

参与:Smith


图像超分辨率(SR)问题,尤其是单一图像超分辨率(SISR)问题,在近几十年中已经受到了广泛的研究关注。SISR 问题旨在从一个单一低分辨率图像中重构出一个高分辨率图像。通常情况下,低分辨率图像和原始的高分辨率图像可根据情境而产生变化。很多研究都假设低分辨率图像是高分辨率图像的降采样结果。最近,深度神经网络在 SR 问题中的峰值信噪比(PSNR)方面带来了很大的性能提升。然而,这种网络也在结构最优化原则(architecture optimality)中暴露了其局限性。



论文链接:http://cv.snu.ac.kr/publication/conf/2017/EDSR_fixed.pdf


摘要:近期关于超分辨率(super-resolution)的研究已经随着深度卷积神经网络(DCNN)的发展而进步了。残差学习的方法(residual learning )尤其能展现出其性能表现的提升。在本篇论文中,我们研发了一种增强型深度超分辨率网络(enhanced deep super-resolution network —— EDSR),其性能表现超越了那些当前最新型的 SR 方法。我们的模型之所以有显著的性能提升是因为我们在优化时去除了传统残差网络中的不必要模块。另一个原因就是,在使训练过程保持稳定的情况下,我们扩展了模型的规模 。我们也提出了一种新型的多尺度深度超分辨率系统(multi-scale deep super-resolution system —— MDSR)和训练方法,它可以在一个单一模型中,对升规模因子(upscaling factors)不同的超分辨率图像进行重构。这种方法在基准数据集中展现了超过当前一流方法的优越性能,并且通过赢得 NTIRE2017 超分辨率挑战赛证明了它的卓越性。


图 1:我们的单尺度 SR 方法(EDSR)与其它算法的 ×4 超分辨率结果的对比情况。


图 2 :原始 ResNet、SRResNet、和我们的残差模块的对比。


我们对比了每个网络模型(原始 ResNet、SRResNet、和我们提出的网络)的基础模块。我们在我们的网络中去除了批归一化(batch normalization)层 (Nah et al. 在他们的图像去模糊相关工作中提出的方法)。由于批归一化层使特征标准化,同时它们也去除了网络中的范围柔性(range flexibility),所以最好去除这些批归一化层。这一简单的修改可以大幅增加性能表现。


再者,GPU 的内存使用率也会显著减少(因为批归一化层会消耗与之前卷积层等量的内存)。


与 SRResNet 相比,我们没有批归一化层的基准模型,在训练过程当中大概减少了 40% 的内存使用率。因此,我们就可以创建一个更大型的模型,它在计算资源有限的情况下比传统 ResNet 有着更好的性能表现。


图 3:单尺度网络(single-scale SR network —— EDSR)结构。


我们用我们提出的图 2 中的残差模块构造了基准(单尺度 —— single-scale)模型。其结构类似于 SRResNet ,但是我们的模型在残差模块之外并没有设置 ReLU 激活层。而且,我们的基准模型也没有残差缩放层(residual scaling layers),因为我们仅仅为每一个卷积层使用了64维的特征映射。在我们最终的单尺度模型(single-scale model —— EDSR)中,我们通过设置 B = 32 ,F= 256,比例因数(scaling factor )为 0.1 对基准模型进行了扩展。模型结构如图 3 所示。


当在升采样因子(upsampling factor)为 ×3 和 ×4 的时候,我们用预训练的 ×2 网络初始化了模型参数。这一预训练方法加速了训练进程,也提升了最终的性能表现,详见图 4 。对于升采样 ×4 的情况,如果我们使用了一个预训练的 scale×2 模型(蓝线),训练就会比随机初始化的训练(绿线)收敛的更快。


图 4:在 ×4 模型(EDSR)中使用预训练 ×2 网络的结果。红线表示绿线的最优性能。使用 10 张图片用于在训练过程中进行验证。


从图 4 中的观察结果我们得出结论,多尺度情况下的超分辨率是具有相互关联性的任务。我们利用 VDSR 的尺度间相关性创建了多尺度结构,从而进一步探索了这个想法。我们设计了带有一个单一主分支的基准(多尺度 —— multi-scale)模块 ,含有 B = 16 的残差模块,所以大部分参数都可以在不同尺度间进行共享,如图 5 所示。


在我们的多尺度结构中,我们引入了尺度特定(scale-specific)的处理模块,以在多尺度下控制超分辨率。首先,预处理模块被置于网络的前端,以减少不同尺度的输入图像的变化幅度,每一个预处理模块包括两个 5×5 内核(kernels)的残值区块(residual blocks )。通过在预处理模块中采用较大的内核,我们可以使尺度特定的部分保持浅层(shallow)状态,在网络的早期阶段可以覆盖较大的接受域(receptive field)。


在模型的末端,尺度特定的升采样模块被并行放置,以进行多尺度重构。其升采样(upsampling)模块与单尺度模型中的情况相类似。

图 5:多尺度 SR 网络(multi-scale SR network —— MDSR)结构。


表 1:模型规格。


图 6:本文模型与其它方法在 ×4 超分辨率的情况下的质量比较。


图 7:我们在 NTIRE2017 超分辨率挑战赛的结果图(在未知降尺度 ×4 类别下的结果)。在这次挑战赛中,我们把训练中的 0791 到 0800 的图像排除在外以用于验证。我们没有对未知的降尺度(downscaling)类别使用几何性自集合(geometric self-ensemble)。


结论


本篇论文提出了一种增强型超分辨率算法,通过在传统 ResNet 结构中去除不必要模块,在保持模型紧凑的情况下提升了性能表现。通过采用残差缩放(residual scaling )方法来对大型模型进行稳定的训练。这里提出的单尺度模型超越了现有模型,展现出了一流的水准。


此外,作者提出的多尺度超分辨率网络降低了模型尺寸和训练时间。通过使用尺度依赖型(scale-dependent)模块和共享型主网络,我们的多尺度模型可以在一个统一框架中有效地处理不同尺度规模的超分辨率。



本文为机器之心编译,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:editor@jiqizhixin.com

广告&商务合作:bd@jiqizhixin.com


点击阅读原文,查看机器之心官网↓↓↓

登录查看更多
8

相关内容

图像超分辨率的英文名称是 Image Super Resolution。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前, 图像超分辨率研究可分为 3个主要范畴: 基于插值、 基于重建和基于学习的方法.

题目: Deep Unfolding Network for Image Super-Resolution

摘要:

基于学习的单图像超分辨率(SISR)方法不断显示出优于传统的基于模型的方法的有效性和效率,这主要是由于端到端的训练。但是,与基于模型的方法不同,基于模型的方法可以在统一的MAP(maximum a posteriori)框架下处理具有不同比例因子、模糊内核和噪声级别的SISR问题,基于学习的方法通常缺乏这种灵活性。为了解决这一问题,本文提出了一种基于学习方法和基于模型方法的端到端可训练展开网络。具体来说,通过半二次分裂算法展开映射推理,可以得到由交替求解一个数据子问题和一个先验子问题组成的固定次数的迭代。这两个子问题可以用神经模块来解决,从而得到一个端到端可训练的迭代网络。因此,所提出的网络继承了基于模型的方法的灵活性,在保持基于学习的方法的优点的同时,通过单一模型对不同尺度因子的模糊、有噪声的图像进行超分辨。大量的实验证明了所提出的深度展开网络在灵活性、有效性和可推广性方面的优越性。

成为VIP会员查看完整内容
0
12
小贴士
相关资讯
图像超分辨率网络:RCAN
极市平台
3+阅读 · 2019年8月18日
CVPR2019 | R-MVSNet: 一个高精度高效率的三维重建网络
计算机视觉life
5+阅读 · 2019年3月14日
WDSR (NTIRE2018 超分辨率冠军)【深度解析】
极市平台
6+阅读 · 2019年2月23日
SRGAN论文笔记
统计学习与视觉计算组
14+阅读 · 2018年4月12日
相关论文
Le Yang,Yizeng Han,Xi Chen,Shiji Song,Jifeng Dai,Gao Huang
5+阅读 · 3月16日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
7+阅读 · 2019年5月24日
Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference
Yao Yao,Zixin Luo,Shiwei Li,Tianwei Shen,Tian Fang,Long Quan
3+阅读 · 2019年2月27日
RAM: Residual Attention Module for Single Image Super-Resolution
Jun-Hyuk Kim,Jun-Ho Choi,Manri Cheon,Jong-Seok Lee
5+阅读 · 2018年11月29日
Self-Attention Recurrent Network for Saliency Detection
Fengdong Sun,Wenhui Li,Yuanyuan Guan
4+阅读 · 2018年8月5日
Mohammed E. Fathy,Quoc-Huy Tran,M. Zeeshan Zia,Paul Vernaza,Manmohan Chandraker
9+阅读 · 2018年3月27日
Jing Yu,Yuhang Lu,Zengchang Qin,Yanbing Liu,Jianlong Tan,Li Guo,Weifeng Zhang
3+阅读 · 2018年2月13日
Hongwei Wang,Fuzheng Zhang,Xing Xie,Minyi Guo
18+阅读 · 2018年1月30日
Rodrigo Martínez-Castaño,Juan C. Pichel,Pablo Gamallo
3+阅读 · 2018年1月11日
Anand Gupta,Hardeo Thakur,Ritvik Shrivastava,Pulkit Kumar,Sreyashi Nag
3+阅读 · 2017年11月25日
Top