最新《生成式对抗网络GAN逆转》综述论文，22页pdf

2021 年 1 月 20 日 专知

GAN逆转化的目的是将给定的图像逆映射到预先训练好的GAN模型的潜在空间，以便由生成器从反代码忠实地重建图像。GAN逆映射作为一种新兴的连接真实和虚假图像领域的技术，在使预先训练好的GAN模型如StyleGAN和BigGAN用于真实图像编辑应用中起着至关重要的作用。同时，GAN逆转化也为GAN的潜在空间的解读以及如何生成逼真的图像提供了思路。在本文中，我们对GAN逆转化进行了概述，并重点介绍了它最近的算法和应用。我们涵盖了GAN逆转化的重要技术及其在图像恢复和图像处理中的应用。我们进一步阐述了未来方向的一些趋势和挑战。

https://www.zhuanzhi.ai/paper/8a6100aa9aacbe624aae09afc4308355

生成对抗网络(GAN)框架是一种深度学习架构，可以估计数据点是如何在概率框架[1]、[2]中生成的。它由两个相互作用的神经网络组成:一个生成器G和一个鉴别器D，它们通过对抗过程共同训练。G的目标是合成与真实数据相似的假数据，D的目标是区分真实数据和假数据。通过对抗性的训练过程，生成器G可以生成与真实数据分布相匹配的假数据。近年来，GANs被应用于图像翻译[3]、[4]、[5]、图像处理[6]、[7]、[11]0到图像恢复[9]、[10]、[11]、[12]、[13]等众多任务。

许多GAN模型，如PGGAN [14]， BigGAN[15]和StyleGAN[16]，[17]，已经被开发用于从随机噪声输入合成高质量和多样性的图像。近年来的研究表明，GANs在图像生成过程中有效编码了中间特征[18]和潜在空间[19]、[20]、[21]中丰富的语义信息。这些方法可以通过改变潜在代码来合成具有不同属性的图像，如老化、表情、光方向等。然而，由于GANs缺乏推理功能和编码器，这种对潜在空间的操作只适用于GANs生成的图像，并不适用于任何给定的真实图像。

相比之下，GAN反转的目标是将给定的图像反演回预先训练好的GAN模型的潜在空间。然后，图像发生器就可以从反码中忠实地重建出来。由于GAN逆转化是连接真实和虚假图像域的关键，因此在[17]、[20]、[21]、[23]、[24]、[25]、[26]、[27]、[28]等领域取得了重大进展。GAN反演使得在现有训练过的GAN的潜在空间中发现的可控方向适用于真实的图像编辑，而不需要特别的监督或昂贵的优化。如图1所示，在将真实图像倒置到潜在空间后，我们可以沿着一个特定的方向改变其代码来编辑图像的相应属性。GAN反演作为一个将生成对抗网络与可解释机器学习技术相结合的快速发展的领域，不仅提供了一种灵活的替代图像编辑框架，而且有助于揭示深层生成模型的内在机制。

在这篇文章中，我们提出了一个全面的GAN逆向转化方法，重点是算法和应用。据我们所知，这项工作是对快速增长的GAN反转的第一次调查，并有以下贡献。首先，我们提供了一个全面和系统的回顾，以及深刻的分析，在GAN倒置的所有方面的层次和结构。其次，我们对GAN反转方法的性质和性能进行了比较总结。第三，我们讨论了挑战和有待解决的问题，并确定了未来研究的趋势。