【泡泡图灵智库】SIDD：用于智能手机降噪算法的数据集（CVPR）

泡泡图灵智库，带你精读机器人顶级会议文章

标题：A High-Quality Denoising Dataset for Smartphone Cameras

作者：Abdelrahman Abdelhamed,Stephen Lin,Michael S. Brown

来源：CVPR2018

编译：颜青松

审核：李永飞

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

        大家好，今天带来的文章是：SIDD：用于智能手机降噪算法的数据集，该文章发表于CVPR2018。

       过去十年中，摄影技术已经发生了翻天覆地的变化，从最开始的专业数码单镜反光相机(DSLR)，变成了更简单的智能手机上的傻瓜相机。由于光圈和传感器的大小，智能手机会比单反产生更多的噪声。为解决此问题，一些学者开始研究智能手机相机的降噪问题。不过针对该问题，业界内仍旧缺少具有高质量真值（噪声较少）的数据集。

      为此，本文提出了一套系统的方法来从原始噪声影像估计无噪声的真值数据。基于此方法，本文提出了一套用于智能手机相机降噪研究的数据集SIDD(Smartphone Image Denoising Dataset)。SIDD使用5种具有代表性的手机拍摄了大概10个场景中共30000张在不同光照条件下的带噪声的影像，还有对应的“无噪声”的真实影像。

     本文在SIDD上测试了一些降噪算法，并得到了一些结论。同时，本文也发现利用SIDD数据集训练的基于CNN的降噪模型能够比用低ISO数据集训练的模型具有更好的降噪效果。

主要贡献

        1）提出了一套用于建立智能手机相机降噪数据集的算法流程，并在此基础上建立了一个用于智能手机相机降噪算法的数据集SIDD，该数据集包含约30000张影像，为降噪算法的研究提供了基础；

        2）分析和验证了本文数据集的可靠性，测试了一些目前常用的降噪算法在本文数据集山上的表现，同时发现使用SIDD训练的CNN降噪模型效果更好。

算法流程

图1：图一展示了SIDD建立的全过程。首先需要采集数据，然后去除错误像素和错误影像，接写来对影像进行对齐，最后生成“无噪声”的真实影像。

错误像素改正

       错误像素会给真实数据的估计带来较大的影响，因此首先需要对错误像素进行改正。本文的思路是在同一个场景下拍摄500张影像，然后在起平均图片上分析错误像素，最后通过插值的方式对错误像素进行改正。

图2：展示了本文错误像素改正的过程。（a)是在低亮度情况下采集的高噪声的影像；（b)是(a)中的一个区域，可以发现有明显的噪声；(c)展示了一些错误像素；(d)则是改正错误后的结果。

外点影像剔除

      虽然影像的采集都是在控制外部环境的情况下拍摄的，然而由于场景亮度和相机曝光等等硬件因素的影响下，获取影像的亮度还是会有略微差异。因此本文计算采集影像的平均亮度来剔除掉亮度差异较大的影像，从而保证影像亮度的稳定性。

影像对齐

      由于智能手机相机的光学稳像（OIS）功能不可禁止，因此拍摄的序列影像之间并不能完全对齐。本文通过使用基准点的方式来将这些影像进行对齐。

图3：（b)和(c)展示了Apple iPhone 7和Google Pixel的对齐平移量。

鲁邦平均图像估计

     当图片经过对齐后，就需要通过平均的方式来获取平均图像。比较简单直接的思路是滤除掉过暗和过亮的像素，然后进行平均值的计算。本文在此基础上使用了一种更加鲁邦的均值计算思路，即基于WLS算法进行了改进，从而得到了更优的效果。

图4：对比了本文数据集与DND数据集的结果，可以发现本文的数据集在真实数据集上具有更低的噪声。

主要结果

     为平均SIDD数据集的质量，本文做了两个实验。一个实验是利用本文数据集平均一些降噪算法的效果；一个是对比SIDD训练的CNN模型和低ISO数据训练的降噪模型。

算法性能评价

图5：展示了一些算法在本文数据集上的表现情况，其中绿色、蓝色和红色分别代表排名第一、第二和第三的算法。算法性能的评价指标主要有 PSNR和SSIM，但是由于所有算法在SSIM上性能差异不大，本文主要使用PSNR作为评价指标。

模型性能比较

图6：展示了利用本文数据训练的CNN模型在经过几次迭代后的去噪能力。不难发现，本文的算法在真实噪声数据集上取得了最优的效果。

结论

      本文提出了一个专门针对智能手机降噪的数据集SIDD，给相关研究提供了基础数据，也必定会推动相关研究的进一步发展。

Abstract

  The last decade has seen an astronomical shift from
imaging with DSLR and point-and-shoot cameras to imaging with smartphone cameras. Due to the small aperture and sensor size, smartphone images have notably more noise than their DSLR counterparts. While denoising for smartphone images is an active research area, the research community currently lacks a denoising image dataset representative of real noisy images from smartphone cameras with high-quality ground truth.

  We address this issue in this paper with the following contributions. We propose a systematic procedure for estimating ground truth for noisy images that can be used to benchmark denoising performance for smartphone cameras. Using this procedure, we have captured a dataset – the Smartphone Image Denoising Dataset (SIDD) – of ~30,000 noisy images from 10 scenes under different lighting conditions using five representative smartphone cameras and generated their ground truth images.

  We used this dataset to benchmark a number of denoising algorithms. We show that CNN-based methods perform better when trained on our high-quality dataset than when trained using alternative strategies, such as low-ISO images used as a proxy for ground truth data.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com