ECCV 2020 | 在超分辨率中引入深度信息！ 深度图引导的零样本内在学习超分辨率算法

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文作者：lam lau

https://zhuanlan.zhihu.com/p/260748314

本文已由原作者授权，不得擅自二次转载

论文题目：Zero-Shot Image Super-Resolution with Depth Guided Internal Degradation Learning

论文链接：

https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123620256.pdf

论文代码：暂无

本文是南京理工大学发表在ECCV2020的文章，先前的引导工作是 Zero-Shot” Super-Resolution using Deep Internal Learning CVPR2018 。作者分析了之前工作的不足，因为不同的图像从高分辨率到低分辨率对应的退化函数是不一样的，并不是简单的bicubic下采样。因此作者认为可以从低分辨率图像LR中学习到一个退化函数，来帮助超分辨率的任务。

其实这个学习一个超分辨率退化函数的思想在别的文章早就出现过，如jinjin Gu大佬的文章——blind sr with iterative kernel correction，将退化模拟成一个乘以K再下采样的问题。只通过低分辨率的图像学习一个模糊的kernel，来帮助超分任务。只是在这里咱们知道的信息只有这一张低分辨率的图像，没有其他信息了（因为要完成零样本的学习）。那么怎么来只通过这一张低分辨率的图像学习一个退化函数呢？

然后本文重点来了，引入深度信息！

we exploit the depth information, naturally indicating the scales of local image patches, of an image to extract the unpaired high/low-resolution patch collection to train our network.

深度信息在超分中并不是没有出现过，xuaner zhang（也是个大佬，哈哈）的zoom to learn 不就是通过zoom图像收集高低分辨率的样本么？远处的图像是低分辨率的，近的图像是高分辨率的。好，问题差不多解决了哈哈哈。

（如图，近的是HR，远的是LR）

思想的问题解决了，接下来就是技术（tech）方面了。让我们直接杀到Appoach！

3.1 如何用深度信息

作者先把图像从RGB转到YCBCR，然后对于每个patch（估计是用了划窗的patch？），计算C的值，对比度。对比度低的，说明图像细节信息少，可能比较平滑，去掉，不用于训练。Ymax and Ymin denote the 99% and 1% value of the Y channel。公式如下：

然后对于深度图，作者算出了一个全局的平均深度，来作为一个阈值区分近的和远的地方，也就是LR和HR。这里的H和W是整张图像的H和W。D是每一个点的深度值。

最后高于这个阈值就是远的地方，低于的就是近的地方，就是那么简单有效！

3.2 网络结构和训练方法

经过一顿操作，我们在一张图上搜出了好多高分辨（HR）和低分辨（LR）的不配对图像，接下来就是把LR——>HR和HR——>LR这两个网络训练好。这部分老司机都很熟悉，不就是CycleGAN么，对哈哈哈。

训练策略上，作者先用真的LR来得到假的HR，训练LR——>HR，然后remap回来。（3）和（4）用真的HR来训同理。

(1) our SRN maps the LR patches to the fake HR patches, learning to super-resolve the images;
(2) the synthesized HR patches are remapped back to their LR patches through DSN;
(3) we map the HR image patches to the fake LR counterparts using DSN, simulating the image degradation during the imaging process;
(4) the simulated LR patches is then regenerated back to their HR patches through SRN.
Our bi-cycle training consists of two closed processing cycles: in the first cycle, step (1) and (2), we map the real LR patches to fake HR patches and then remap the synthesized fake HR patches back to LR patches; and in the second cycle, step (3) and (4), we map the real HR patches to fake LR patches and then remap the generated fake LR patches back to HR patches.

4 和别的工作的不同

第四节作者说了一下自己的工作和SelfExSR，ZSSR和KernelGAN的不同。KernelGAN的退化函数是从别的地方学出来的，不属于内在学习（internal learning）

以后写论文的时候要注意，特别是第一次被人认为自己工作和别人很相似被拒的，这部分要写，而且要写清楚一点。

5 实验

作者用了四个数据集：NYU depth V2 [20], B3DO [9], Xtion of SUN RGBD [25] and Urban100 [8] dataset。其中前三个有深度图，后一个没有深度图，因此需要用现成的网络预测一个深度图，再做。而且，这些个数据集都是没有gt（参考图像）的，因此需要用一些无参考评价指标，NIQE和PI。（其实这些无参考的指标比较玄学...）

训练策略上，作者用了RMSprop，不是很懂为啥不用Adam，emmm。

放实验结果：Urban100的数据结果作者木有提供。

放图片结果：作者说RCAN过平滑了，失去了detail。然后kernelgan的结果产生了太多的伪影。ZSSR在高频纹理上blur了。他们的方法（最后一个）刚刚好。

对比实验部分，作者对比了选LR-HR patch的策略（深度图引导选 vs 瞎选）和3.2节的训练策略。

Last 我自己的总结

文章的做法还是很聪明的，引入深度信息，挖掘单个图像的高分部分和低分部分。其实这个思想是不是可以用在别的任务当中呢？例如去反射时是不是一个图像中有反射部分和无反射的部分？我们引入什么信息来区分它们来提取内部的patch进行训练？

有一点不足就是这个需要全焦图像，要不然后面的LR模糊的厉害就没法整，也很难预测深度信息。远的图像也不只是因为LR降质，还有可能是模糊啊，噪声啊好多别的（文章中作者说了JPEG压缩），但是其实这个方法在一定程度也能cover这些问题吧。

推荐阅读：

GitHub：超分辨率最全资料集锦

下载2

后台回复：CVPR2020，即可下载代码开源的论文合集

后台回复：ECCV2020，即可下载代码开源的论文合集

重磅！CVer-超分辨率 微信交流群已成立

扫码添加CVer助手，可申请加入CVer-超分辨率 微信交流群

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如超分辨率+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加群

▲长按关注我们

整理不易，请给CVer点赞和在看！