头像神器!照片一键秒转简笔画,清华刘永进等CVPR 19 Oral研究 | 在线可玩

2019 年 6 月 16 日 量子位
铜灵 发自 凹非寺
量子位 出品 | 公众号 QbitAI

现在,只需一键,就能将你的照片转化成简笔画。

清华大学和英国卡迪夫大学的研究人员提出了一种名为APDrawingGAN系统,随意输入一张人脸照片,系统输出黑白人物线条画。

看一下具体效果。

这有三张女性头像,经过APDrawingGAN处理后,这些照片成为了手绘风:

男性头像也Hold住:

目前,研究人员已经将这个研究做成了名为“AI肖像画大师”小程序,进入小程序就能在线试玩。

量子位亲自上手,实测了这个小程序。输入一张DeepMind VQ-VAE二代模型生成的人物假脸:

大约一秒钟后,这张假脸的简笔画版就出来了:

似乎发现了一个可以用来快速生成头像的神器啊~

这项研究来自清华大学和英国卡迪夫大学,成为今年的CVPR 19的口头报告。

独立损失项

在论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs中,研究人员揭秘了这个头像生成神器的原理。

在这项研究中,研究人员提出了一个层次化的GAN模型, GAN每个层次的输出都由独立损失项控制。

研究人员提出了一个损失函数,里面包含四种损失项,包括一种新型DT(距离变换)损失、局部变换损失、对抗损失和像素级损失。

整个生成流程如下图所示:

对抗损失负责辨别图像真假,像素损失驱动合成图像更逼真,局部变换损失负责将额外限制加至中间输出上。

在这四种损失中,距离变换损失(DT损失)起到了重要作用。

在此前的照片转简笔化的研究中,经常出现生成图与原图不能完全对应,让线条之间有些错位的问题。想要解决这个bug,就需要DT损失亲自出马了。

研究人员解释说,这种损失能包容微小错位,从而惩罚更严重的无法对应问题。

至于模型的训练数据,研究人员自制了一个包含140张人脸照片与对应画像的数据集,命名为APDrawings,用来训练模型。

研究人员进行了一系列实验,与此的相似研究进行了效果对比。

在上图中,从左到右依次为人类照片、人类手绘肖像、Gatys、CycleGAN、Pix2Pix和APDrawingGAN的生成结果,红框代表此前其他研究生成效果的瑕疵。

对比来看,APDrawingGAN的生成效果线条最流畅,其艺术肖像风格化效果最好。

除了视觉效果的对比,研究人员还对比了CycleGAN、Pix2Pix和APDrawingGAN在FID评估指标下的得分。

测评结果显示,APDrawingGAN的FID得分最低,仅为62.14,表现最佳,而CycleGAN的得分87.82最高。

最后,研究人员找来73名志愿者,每位志愿者依次从两种算法生成的作品中选择质量最高的一幅,认为APDrawingGAN效果最好的概率为71.39%。

作者团队

这项研究的作者共有四人,分别是清华大学的Ran Yi 、Yong-Jin Liu(刘永进)和英国卡迪夫大学的Yu-Kun Lai和Paul L. Rosi。

一作Ran Yi目前是清华大学计算机科学的在读博士生。2012年,Ran Yi被清华电子工程系录取,2016年在清华本科毕业。

刘永进(Yong-Jin Liu)是清华计算机系长聘教授,博士生导师,人机交互与媒体集成研究所所长。刘教授还是国家杰出青年基金获得者、国家优秀青年基金获得者,入选教育部新世纪人才计划。

此前,Ran Yi和刘永进还推出过将照片转化成新海诚《你的名字》画风的CartoonGAN,

 左列为输入的照片,右列为CartoonGAN生成的新海诚画风的图像

Yu-Kun Lai现为卡迪夫大学计算机科学与信息学院的Reader(准教授),从本科到博士均在清华就读。

Paul L. Rosin是卡迪夫大学计算机科学与信息学的教授,南开大学“外专千人计划”教授。此前,曾担任Computer Graphics Forum国际期刊编委,Computational Aesthetics 2015国际会议主席。

传送门

论文APDrawingGAN: Generating Artistic Portrait Drawings from Face Photos with Hierarchical GANs地址:

https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf


小程序|全类别AI学习教程

AI社群|与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

   喜欢就点「在看」吧 ! 


登录查看更多
18

相关内容

专知会员服务
108+阅读 · 2020年6月26日
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
34+阅读 · 2020年6月17日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
31+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
能生成逼真图像的不只有 GAN
机器学习算法与Python学习
8+阅读 · 2019年6月6日
【学界】实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN
GAN生成式对抗网络
14+阅读 · 2018年6月20日
Arxiv
5+阅读 · 2018年5月16日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
11+阅读 · 2018年1月18日
VIP会员
相关VIP内容
专知会员服务
108+阅读 · 2020年6月26日
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
34+阅读 · 2020年6月17日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
28+阅读 · 2020年5月19日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
31+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
Top
微信扫码咨询专知VIP会员