遇见未来/从前的你......

前一阵子火爆朋友圈的变脸小程序，让很多人看到自己衰老后的样子，提前遇见“老”的自己，又能让人回到“小不点”的年代，回忆幼时的容颜。这是什么神奇技术呢？快来get一下吧~

预知你的颜值走向（图片来源于网络）

使用计算机图像处理技术，预测某人未来和过去人脸图像的方法称为人脸老化/去龄化。

人脸老化/去龄化在公安刑侦、数字娱乐、美容整形等方面具有非常广泛的应用，其中备受关注的一项应用，是寻找丢失的儿童，通过孩子小时的照片，模拟长大后的样子，能够为寻找失踪儿童提供重要线索。

尽管人脸老化/去龄化技术应用广泛，成为当下学者关注和研究的热点，但这一领域的研究仍然面临诸多挑战，实际应用效果有待进一步提升。

我们使用深度网络方法，在保证生成人脸真实性的基础上，进一步提升重建人脸质量。

人脸老化/去龄化的高质量图像生成模型

作者：宋昊泽,吴小俊

单位：江南大学

引用格式：宋昊泽, 吴小俊. 人脸老化/去龄化的高质量图像生成模型[J]. 中国图象图形学报, 2019, 24(4): 592-602.

[DOI: 10.11834/jig.180272】

目前，人脸老化/去龄化效果最好的模型之一——对抗自编码网络(CAAE)（Zhang等，2017），生成的人脸不仅可信度高，而且进行大年龄跨度的老化/去龄化时，仍能保持较好的效果。CAAE虽然能够生成年龄准确的人脸图像，但是结果存在分辨率较低、人工鬼影噪声严重（生成人脸器官扭曲）等问题，难以满足实际应用中越来越高的质量需求。

创新点

在CAAE图像域变换的工作原理上，提出一种人脸老化/去龄化的高质量图像生成模型(HQGM)。改进和创新之处有：

1.  将CAAE中的对抗生成网络(GAN)（Goodfellow等，2014）替换成边界平衡对抗生成网络(BEGAN)（Berthelot等，2018），BEGAN在人脸领域生成的图像不仅有很好的视觉效果，而且有更高的分辨率；

2. 添加了的图像梯度差损失函数（Mathieu等，2018），使生成图像具有更多真实图像的边缘轮廓等高频信息；

3. 为去除人工鬼影噪声，增加人脸特征信息和纹理信息，添加了基于VGG-FACE网络模型（Qawaqneh等，2018）的人脸特征损失函数。

实验结果

实验使用UTKface、FGnet和Morph数据集，经过训练，每幅测试图像分别生成10幅不同年龄的图像。与CAAE相比，HQGM可以有效去除人工鬼影噪声，峰值信噪比高3.2 dB，结构相似性高0.06，提升显著。

实验训练100个周期的结果如下图所示。图中第一行为输入图像，红框为明显的实验对比图。每组图左侧为CAAE方法结果，右侧为本文HQGM方法结果。

图 HQGM与CAAE模型对比实验结果

结论及展望

HQGM使用CAAE的方法进行以年龄为条件的图像域变化，并从三方面对生成图像的图像质量进行提高，经直接观察和图像质量量化对比，三方面的改进均对图像质量有着实质性的作用。相比于CAAE模型，HQGM生成的图像人脸特征信息和纹理信息更加丰富，提升效果明显。

但是生成图像的纹理信息与真实的人脸高清图像仍有差距。未来工作方向：

1. 需要尝试更好的生成模型，替代本文BEGAN嵌入到解码器的结构，生成更加清晰的人脸图像。

2. 使用更多有效的损失函数，使老化的人脸具有更多皱纹等纹理信息。

作者简介

 

宋昊泽，硕士研究生，主要研究方向为深度学习，图像处理，对抗生成网络结构。E-mail: haoze_song_jnu@163.com

 

吴小俊，江南大学二级教授、博导、科研院院长，从事模式识别与人工智能方面的研究，2006年教育部新世纪优秀人才、江苏省333工程领军人才。

E-mail：xiaojun_wu_jnu@163.com

参考文献

Zhang Z F, Song Y, Qi H R. Age progression/regression by conditional adversarial autoencoder[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 4352-4360. [DOI: 10.1109/CVPR.2017.463] 

Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: ACM, 2014: 2672-2680.

Berthelot D, Schumm T, Metz L. BEGAN: boundary equilibrium generative adversarial networks[EB/OL].

[2018-04-23].https://arxiv.org/pdf/1703.10717.pdf.  

Mathieu M, Couprie C, LeCun Y. Deep multi-scale video prediction beyond mean square error[EB/OL].

[2018-04-23].https://arxiv.org/pdf/1511.05440.pdf.

Qawaqneh Z, Mallouh A A, Barkana B D. Deep convolutional neural network for age estimation based on VGG-face model[EB/OL].

[2018-04-23].https://arxiv.org/pdf/1709.01664.pdf.                                                                                            

输入一张照片，便输出一个人的一生,

宛如坐上岁月时光机，

带我们一瞬看未来，一眼忆过往。

人生行走，时光如水，

不顾深浅，无论冷暖，

愿你以梦为马，岁月当歌，

愿你走出半生，归来少年。

编辑：韩小荷

指导/审核：梧桐君

中国图象图形学报 | 订阅号

戳 “阅读原文”可以查阅全文