EnlightenGAN：不需要成对训练数据也能实现夜景增强

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

作者：埃里克不吃香菜

https://zhuanlan.zhihu.com/p/70230047

本文已授权，未经允许，不得二次转载

EnlightenGAN: Deep Light Enhancement without Paired Supervision

arXiv：https://arxiv.org/abs/1906.06972

code：https://github.com/yueruchen/EnlightenGAN

最近一年来，夜景模式逐渐成为各大手机厂商的标配，从google pixel3到oppo，xiaomi，huawei，夜景拍摄逐渐成为人们的刚需。

易烊千玺代言huawei夜景模式广告

尽管传统方法在亮度增强上已经有了不错的效果（例如直方图均衡化，Retinex），此类算法缺乏对context信息的处理，限制了最终效果的提升。基于data-driven同时又学习prior knowledge的深度学习方法更加吸引我们。然而，训练data-driven方法同时要求我们拥有更多的成对数据。如何解决收集和制作大批量成对数据的难题极大的阻碍了深度学习方法应用于实际场景当中。

本文中提出了应用于无监督学习的低光图像增强算法。具体而言，作者在实验中发现由pre-trained VGG model构成的perceptual loss对光照信息并不敏感，于是构建了perceptual loss和adversarial loss对抗的损失函数。perceptual loss成功地约束了图片除光照以外的特征信息，而GAN loss帮助模型学习了生成更加逼进真实光照的图像。区别于CycleGAN，EnlightenGAN并未使用cycle consistency的结构来约束模型稳定性，只需要one-path architecture就能训练，节省了训练复杂性。

Two-path GAN vs. One-path GAN

除此之外。无监督学习相比于监督性学习引入了更多的不稳定性，作者加入了self-regularized attention和global-local discriminator模块来提高模型对于细节特征的处理，具体结构如下。

同时，本文采用了第三方用户评测和non-referenced metric来对模型进行比较

最后，由于无监督训练带来的便利性，EnlightenGAN可以随意地更换数据集来实现领域适配。例如，当我们想将模型应用到条件恶劣的自动驾驶数据集中时，我们可以仅改变低光训练数据为自动驾驶场景（Berkeley Deep Drive）的低光数据，正常光数据依旧使用先前数据，由于模型在训练时已经适配自动驾驶数据集的环境，训练的模型相比于未适配模型有了显著的提升（最右列是适配的模型），对比倒数第二列和传统算法，适配后的模型既能做到亮度的提升，也减小了artifacts。

CVer学术交流群

扫码添加CVer助手，可申请加入CVer-目标检测交流群、图像分割、目标跟踪、人脸检测&识别、OCR、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶和剪枝&压缩等群。一定要备注：研究方向+地点+学校/公司+昵称（如目标检测+上海+上交+卡卡）

▲长按加群

▲长按关注我们

麻烦给我一个在看！