来玩变脸啊！逆天神器！OpenAI可逆生成模型Glow逆袭GAN！

温馨提示

京东X机器人挑战赛火热招募参赛项目，您的团队或身边有技术相近有意向报名的科研团队和企业，可以转发给他们，感谢大家支持。大赛总奖金高达200万元，其中一等奖50万元。除了赛事奖励，京东还将提供项目孵化基金、就业绿色通道等一系列后续资源。点击以下二维码识别，详情请参看和转发此链接。

☟

 

图像生成在 GAN 和 VAE 诞生后得到了很快的发展，现在围绕 GAN 的论文十分火热。在计算机视觉顶会 CVPR 2018 上甚至有 8% 的论文标题中包含 GAN！

生成模型只能受限于 GAN 和 VAE 吗？近日著名人工智能研究组织OpenAI另辟蹊径，发布了其最新工作成果——Glow，一种基于流的生成模型。

玩法一：用Glow与其他人脸图像融合，毫无违和感啊！

你最想上传谁和谁的照片？

玩法二：用Glow模型控制人脸图像属性

加了胡子的Hinton，笑容调到最高，看起来更加硬朗！

Glow的作者在此之前已经基于流的生成模型提出过NICE [1] 和 RealNVP [2]，Glow 是在这两个模型基础上加入可逆 1 x 1 卷积进行的扩展。

Glow可以使用相对较少的数据，快速生成高清的逼真图像，具有GAN和VAE所不具备的精确操作潜在变量、需要内存少等优势。

Glow支持高效采样，并且可以自动学习图像中的属性特征，比如人的五官。

下图是使用Glow操纵两名研究人员面部图像的属性。模型在训练的时候并没有给出眼睛、年龄等属性标签，但Glow自己学习了一个潜在空间，其中某些方向对应胡须密度，年龄，发色等属性的变化(真是机智啊，可以用来预测自己留胡子好不好看了)

人脸混合过度的效果十分流畅：

下图使用30,000个高分辨率面部数据集进行训练后，Glow模型中的样本可以冒充真人照片了！你能看出下图是否是真人吗？

再放大来看，这个效果至少是不输给GAN的：

Glow模型生成一个256 x 256的样本，在NVIDIA1080 Ti GPU上只需要大约130ms。使用 reduced-temperature模型采样结果更好，上面展示的例子是温度0.7的结果。

Glow模型

Glow 的模型框架：

Glow实验

实验最初是比较 Glow 和 RealNVP，反转操作上 NICE 采用反转，RealNVP 采用固定随机排列，Glow 采用可逆 1 × 1 卷积，并且耦合方式也影响实验的效果，文章比较了加性耦合层和仿射耦合层的性能差距。通过在 CIFAR-10 数据集的平均负对数似然（每维度的比特）来衡量不同操作的差距，其中所有模型都经过 K = 32 和 L = 3 的训练，实验效果如下图：

可以从上图看出，Glow 采用的方法都取得了较小的平均负对数似然，这说明了在实验上是优于其他几个模型的。

为了验证 RealNVP 和Glow 整体的框架下的差距，实验进一步扩展，比较了CIFAR-10，ImageNet 和 LSUN 数据集上两者的差距，在相同预处理下得到的结果如下：

正如上面表格所显示的，模型在所有数据集上实现了显着的改进。 

在高分辨率图像的生成上，Glow 使用了 CelebA-HQ 数据集，数据集包含 3 万张高分辨率的图片。在高分辨率下，多尺度的丰富可能会让得到的潜在变量具有更多的图像细节。试验中采用了退火算法来优化实验，在退火参数 T=0.7 时候，合成的随机样本如下图：

可以看到合成的图像质量和合理性都比价高，为了对潜在变量插值生成图像，实验以两组真实图片为依据，插值中间的过渡，生成的结果如下：

从上图能看出整体的过渡还是相当顺畅的，这也是Glow 在潜在变量精确推断的优势所在，这样的实验结果也是让人惊喜的！

为了生成更多含语义的图像，文章利用了一些标签来监督训练，对于不同人脸属性合成的图像如下：

退火模型对提高生成也是很重要的环节，文章对比了不同退火参数 T 下的实验效果，合理的 T 的选择对于实验效果还是很重要的。

为了说明模型深度（多尺度）的意义，文中对比了 L=4 和 L=6 的效果，可以看出多尺度对于整体模型的意义很大。

训练基于流的生成模型操纵属性的简单代码：

最后再来一波蜜汁变脸，没看够的朋友戳文末视频吧~

论文链接：

https://d4mucfpksywv.cloudfront.net/research-covers/glow/paper/glow.pdf

项目代码（TensorFlow）：

https://github.com/openai/glow

[1]. NICE: Non-linearindependent components estimation" Laurent Dinh, David Krueger, YoshuaBengio. ArXiv 2014.

[2]. Density estimationusing Real NVP. Ding et al, 2016.

推荐阅读

访问访谈

工程院院士 蔡鹤皋丨北航教授 文力丨深醒科技 袁培江丨深之篮 魏建仓丨 大然科技  张春松

企业报道

一飞智控丨深醒科技丨发那科丨柔宇科技丨优傲机器人丨宇树科技丨臻迪科技丨iRobot

前沿技术

①工业  缝纫机器人丨无人智能采矿机器人丨中国饺子生产线自动化车间丨MIT 建筑机器人 

②服务  索尼机器狗 Aibos丨叠衣机器人 FoldiMate丨日本 骑自行车机器人丨有触觉机械手 LUKE丨达芬奇机器人丨机器人乐队丨空中飞车丨日本护理机器人合集

③特种  丰田人形机器人丨水下机器人 探索号丨俄罗斯人形机器人 FEDOR丨美国重型机械 Guardian GT丨波士顿动Atlas 360度后空翻丨中国四足机器人 Laikago丨北理工 四轮足机器人丨佛罗里达研究院 “机械鸵鸟|大然  变胞机器人

④仿生  3D打印 仿生机器人 丨东京大学 流汗人形机器人丨柔性电池丨哈佛 柔软肌肉丨哈佛 RoboBee

往期讲座

英特尔 宋继强博士 | 中民国际 刘国清丨陈小平教授 |驭势科技 姜岩丨浙大 熊蓉教授|长江学者 孙立宁丨上海大学 无人艇专家团|新松总裁 曲道奎丨北航 王田苗教授|863专家 李铁军教授丨北邮 刘伟教授|清华 邓志东教授丨清华 孙富春教授|天津大学博导 齐俊桐丨哈工大 杜志江教授|长江学者 王树新丨甘中学教授 | 硅谷创客 赵胜

温馨提示

意向合作，文章转载， 均可联系堂博士

商务合作：13810423387（同微信）

内容合作：15611695072（同微信）