SFFAI12预告（上）| 图像/人脸补全问题的前世今生（附精选论文荐读）

关注文章公众号

回复"人脸补全"获取本主题精选论文

SFFAI12预告

图像/人脸补全问题的前世今生

近年来，图像补全问题在应用深度学习技术的条件下已经实现了较好的补全效果，甚至于人眼也难以分辨。故而，该技术也已经成为图像补全问题上的一个研究热点。同时，如何修改对抗生成网络以使其更好的适应图像补全问题以及如何针对人脸补全这一子问题来构造更有效的生成模型已经得到了越来越多的关注。此次分享将简单介绍图像及人脸补全方法的历史发展，并在最后介绍我们在人脸补全问题上的一些工作。

 SPOTLIGHT 

前深度学习时代的图像补全方法

深度学习时代图像补全方法的发展

我们在人脸补全问题上的最近的工作

基于人脸几何信息理解的人脸补全与编辑

分享嘉宾

宋林森：中科院自动化所的一名2018级的研究生，是智能感知与计算研究中心的一员。本科毕业于北京科技大学。目前的主要研究方向为图像补全特别是人脸补全。

论文共读

本期SFFAI12将开辟一个新的现场交流版块——论文共读。

在嘉宾的主题分享结束后，我们将邀请大家共同研读与本期主题相关的精选论文。五星论文会重点讨论，四星论文也会有所涉及。

本次推荐的6篇论文，是分享嘉宾宋林森同学精选出来的。（本公众号对话窗口回复“人脸补全”，获取精选论文下载链接）

你可以先仔细阅读，并带着问题来现场交流呦😊

Free-Form Image Inpainting with Gated Convolution

🌟🌟🌟🌟🌟

该文章介绍的是针对有不规则遮挡的图片的补全的问题，是在NVIDIA的Partial Convolution方法上改进的方法。同时这篇文章提出的Gated Convolution方法还可以手动地输入sketch(几何形状信息)信息来指导图片的补全。最终，Gated Convolution方法不仅取得了比Partial Convolution更好的补全结果，同时可以依据手动输入的几何信息获得更丰富的输出补全图像。

Image Inpainting for Irregular Holes Using Partial Convolutions

🌟🌟🌟🌟

该文章将卷积操作进行了一定的修改，使之更加适合图像补全的任务。之前的图像补全的做法都是先将缺失部分使用白色像素/随机的像素填上，再使用包含普通的卷积操作的GAN将之生成为补全图像。实际上，把填充的白色/随机像素与真实的像素使用同样的方法卷积是不合理的，文中提出的Partial Convolution就是将这两种像素进行区分处理的一种较好的方法。

Semi-parametric Image Synthesis

🌟🌟🌟🌟

该文章将参数的方法与非参数的方法结合起来了用于从语义分割图到自然图片的生成，因此被称之为semi-parametric image synthesis (SIMS). 在实际的做法中，将建立一个image segment的数据库，非参数方法的部分就是从这一个数据库中找到匹配的片段放入layout中进行拼接；第二步是在拼接后的图片将拼接缝隙进行补全填充，这一步是通过网络完成的。

Mutual Information Neural Estimation

🌟🌟🌟🌟

文章主要是将mutual information与深度神经网络结合起来了。其目的是解决GAN的mode collapse问题，改进bi-directional adversarial model以及改进information bottleneck。文中通过增加mutual information约束来实现上述目的，并且证明了该下界约束是可求导反传，一致收敛的作为理论上的保证。

Progressive Growing of GANs for Improved Quality, Stability, and Variation

🌟🌟🌟🌟

该文章提出了一种训练GAN的方法，可以使得GAN的训练更加稳定，并且减少训练的时间，主要的思想就是不断的增加generator与discriminator的网络的层数使得GAN生成分辨率越来越高的图像。最终甚至可以生成1024*1024的高清图像。

Self-Attention Generative Adversarial Networks

🌟🌟🌟🌟

该文章是对于GAN的一个改进，系GAN的原作者的文章。在GAN中存在这样的一个问题：对于在空间上分离的区域的相似的纹理处理的不好，文中举例：例如一只狗的不同的脚在图片的空间上是分开的，但是这些脚有不同的纹理，在生成的时候出于卷积操作处理的时候是卷积核的区域，所以它更擅长生成空间上位置接近的纹理。文中提出的Self-attention+GAN的方法的attention将会对feature maps有对应的attention来关注类似的纹理，从而克服空间上的障碍。

报名须知

时间

2018年12月9日（周日）下午2:00 -- 4:00

地点

中国科学院自动化研究所

报名方式

点击下方原文链接 或 扫描二维码报名

活动名额

1. 为确保小范围深入交流，本次活动仅接受30 位用户入场（不收取任何费用）；

2. 活动采取审核制报名，我们将根据用户研究方向与当期主题的契合度进行筛选，通过审核的用户将收到确认邮件；

3. 如您无法按时到场参与活动，请于活动开始前 24 小时在AIDL微信公众号后台留言告知，留言格式为放弃报名 + 报名电话。无故缺席者，将不再享有后续活动的报名资格。

SFFAI招募

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树（AI Knowledge Tree），通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前，衷心期待和感谢您的支持与奉献！