深度学习的图像修复

2019 年 3 月 28 日 AI研习社

本文为 AI 研习社编译的技术博客,原标题 :

Image Inpainting with Deep Learning

作者 | Tarun Bonu

翻译 | 许毅         

校对 | 邓普斯•杰弗        审核 | 酱番梨       整理 | 立鱼王

原文链接:

https://medium.com/jamieai/image-inpainting-with-deep-learning-dd8555e56a32

注:本文的相关链接请访问文末二维码

机器能够产生幻觉。机器这样的能力可以帮助我们开发一些技术,例如图像修复。


  什么是图像修复?

修复指的是恢复图像损失的部分并且基于背景信息将它们重建的技术。它指的是在视觉输入的指定区域中填充缺失数据的过程。在数字世界中,它指的是应用复杂算法以替代图像数据中缺失或者损坏部分。

在数字效果图像复原,图像编码和传输的应用中,图像修复已经被广泛地研究。


给定上面的图像,我们怎么样填补缺失的信息呢?想象我们正在建造一个填补元件的系统。系统该如何做呢?人类的大脑该如何做呢?我们需要使用哪种类型的数据呢?这些都是我们需要思考的问题以解决图像修复这样的问题。

有两种类型的信息需要关注:

  • 情景信息

  • 感知信息


  传统修复

传统上,图像修复可以使用基于扩散方法来处理,这种方法将局部结构传播到位置部分,或者基于示例的方法,每一次构建缺失部分的一个像素点(块)同时保持和周围像素点的一致性。

当缺失部分很大时,这些方法会失效,因此需要一个额外的部件提供合理的想象力(来自机器的幻觉)。这些附加的信息可能是由自然图像的高阶模型提供,例如由深度神经网络计算的那些。


  应用深度神经网络实现

在这个方法中,我们依赖预训练神经网络的幻觉来填补图像中的大洞。深度神经网络使用监督图像分类。在监督图像分类中,每个图像都有一个特定的标签,并且神经网络通过一连串的基本操作运算来学习图像到标签之间的映射。当在巨大的数据集(数百万张带有成千个的标签的图像)上被训练后,神经网络具有卓越的分类表现并且偶尔可以超越人类的准确率。实施一个判别式预训练的神经网络来指导图像重建,其中神经网络的最后一层在图像修复问题中被直接运用。


判别式预训练的神经网络

极大值问题:

让我们考虑极大化:

max Iˆ Nl( ˆI) subject to ˆIΩ = IΩ

N —训练网络

I — 图像缺失部分

I —需要恢复的部分

Ω the subset of R2 (R squared, contains known part of the image)

我们的目标是恢复Ω(用Ωc表示)补码中的像素。上述问题利用分类器的先验知识重建缺失的部件Ωc,在训练阶段可能会看到数以百万计的图像。

正则化策略

Total Variation (TV) norm 是一种在保留边缘等重要细节的同时,去除不良细节的策略。Total Variation (TV) norm由于具有保边性,在反问题如去噪、超分辨率等中被广泛用作正则化器。


   不同技术的比较

  • 原始图像被特意标出来检验性能。

  • 扩散会导致边缘丢失。

  • [5]是一种示例性方法,它并不能有效地重建损坏的图像。

  • 深度学习神经网络正确地使图形的形状完整。深度网络的幻想性和正则化的结合完成了有效的图像恢复。

其他结果

 (1)

 (2)

(3)

 (4)

想要继续查看该篇文章相关链接和参考文献?

点击底部【阅读原文】即可访问:

https://ai.yanxishe.com/page/TextTranslation/1564


AI求职百题斩 · 每日一题


每天进步一点点,长按扫码参与每日一题!



点击阅读原文,查看更多内容↙

登录查看更多
21

相关内容

图像修复(英语:Inpainting)指重建的图像和视频中丢失或损坏的部分的过程。例如在博物馆中,这项工作常由经验丰富的博物馆管理员或者艺术品修复师来进行。数码世界中,图像修复又称图像插值或视频插值,指利用复杂的算法来替换已丢失、损坏的图像数据,主要替换一些小区域和瑕疵。
最新《医学图像深度语义分割》综述论文
专知会员服务
94+阅读 · 2020年6月7日
基于深度学习的表面缺陷检测方法综述
专知会员服务
83+阅读 · 2020年5月31日
【文献综述】图像分割综述,224篇参考文献,附58页PDF
专知会员服务
115+阅读 · 2019年6月16日
基于深度学习的超分辨率图像技术一览
极市平台
17+阅读 · 2019年8月24日
已删除
将门创投
5+阅读 · 2019年8月19日
基于显著性的图像分割
AI研习社
7+阅读 · 2019年4月21日
使用《Deep Image Prior》来做图像复原
AI研习社
7+阅读 · 2019年3月2日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
实用:用深度学习方法修复医学图像数据集
新智元
5+阅读 · 2018年5月4日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
资源 | 一文读懂深度学习(附学习资源)
AI100
14+阅读 · 2017年11月30日
Deep Learning for Deepfakes Creation and Detection
Arxiv
6+阅读 · 2019年9月25日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Foreground-aware Image Inpainting
Arxiv
4+阅读 · 2019年1月17日
Arxiv
5+阅读 · 2018年10月11日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
VIP会员
相关资讯
基于深度学习的超分辨率图像技术一览
极市平台
17+阅读 · 2019年8月24日
已删除
将门创投
5+阅读 · 2019年8月19日
基于显著性的图像分割
AI研习社
7+阅读 · 2019年4月21日
使用《Deep Image Prior》来做图像复原
AI研习社
7+阅读 · 2019年3月2日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
实用:用深度学习方法修复医学图像数据集
新智元
5+阅读 · 2018年5月4日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
资源 | 一文读懂深度学习(附学习资源)
AI100
14+阅读 · 2017年11月30日
相关论文
Deep Learning for Deepfakes Creation and Detection
Arxiv
6+阅读 · 2019年9月25日
Neural Image Captioning
Arxiv
5+阅读 · 2019年7月2日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Foreground-aware Image Inpainting
Arxiv
4+阅读 · 2019年1月17日
Arxiv
5+阅读 · 2018年10月11日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Top
微信扫码咨询专知VIP会员