生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中,我们进行了一个全面的综述,在GANs的设计和优化解决方案提出,以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题,然后根据关键研究问题提出新的分类结构解决方案。根据分类,我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后,在已有研究成果的基础上,提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN),最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因,因为它不能足够快地在模式间混合。另一个生成模型,变分自动编码器(VAE),使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点,并在难以处理的概率计算的近似过程中体验复杂性。此外,这些生成模型是通过最大化训练数据可能性来训练的,其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外,在高维空间中,从马尔可夫链进行的采样是模糊的,计算速度慢且不准确。

为了解决上述问题,Goodfellow等人提出了生成对抗网(GANs),这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型,它利用反向传播来进行训练,以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注,因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型,它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率,以确定生成的数据是来自真实的数据分布,还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策,直到纳什均衡。G可以从真实分布中生成采样后的图像,而D无法区分这两组图像。为了更新G和D,由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说,GANs设计和优化的三个主要组成部分如下:(i) 网络结构,(ii) 目标(损失)函数,(iii)优化算法。

对多模态数据建模的任务,一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图,结果由使用均方误差(MSE)的基本机器学习模型实现,该模型在像素空间(即,导致图像模糊)和GANs所获得的结果,从而驱动重构向自然图像流形方向发展。由于GANs的这一优势,它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好,例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功,但是由于D和G训练的不平衡,使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外,如果D可以很容易的区分出真假图像,那么D的梯度就会消失,当D不能提供梯度时,G就会停止更新。近年来,对于模式崩溃问题的处理有了许多改进,因为G产生的样本基于少数模式,而不是整个数据空间。另一方面,引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后,提出了几种稳定训练的方法。

近年来,GANs在自然图像的制作方面取得了突出的成绩。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案,本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类,我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献:

  • GAN新分类法。在本研究中,我们确定了每个设计和优化技术中的关键研究问题,并提出了一种新的分类法,根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。

  • GAN全面的调研。根据分类法,我们提供了对各种解决方案的全面审查,以解决GANs面临的主要挑战。对于每一种类型的解决方案,我们都提供了GANs变体及其关系的详细描述和系统分析。但是,由于广泛的GANs应用,不同的GANs变体以不同的方式被制定、训练和评估,并且这些GANs之间的直接比较是复杂的。为此,我们进行了必要的比较,总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。

成为VIP会员查看完整内容
0
57

相关内容

尽管生成式对抗网络(GAN)的历史并不长,但它已被广泛地研究和用于各种任务,包括其最初的目的,即合成样品的生成。然而,将GAN用于具有不同神经网络结构的不同数据类型,由于其在训练方面的局限性,使得模型很容易出现混乱。这种臭名昭著的GAN训练是众所周知的,并已在许多研究中提出。因此,为了使GAN的训练更加稳定,近年来提出了许多正则化方法。本文综述了近年来引入的正则化方法,其中大部分是近三年来发表的。具体地说,我们关注的是那些可以被普遍使用的方法,而不管神经网络体系结构如何。根据其运算原理将其分为若干组,并分析了各方法之间的差异。此外,为了提供使用这些方法的实际知识,我们调研了在最先进的GANs中经常使用的流行方法。此外,我们还讨论了现有方法的局限性,并提出了未来的研究方向。

成为VIP会员查看完整内容
0
31

题目: Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions

简介:

生成对抗网络(GANs)是一类新型的深度生成模型,最近受到了广泛的关注。 GAN隐式地学习图像,音频和数据上的复杂和高维分布。然而,由于网络架构的不适当设计,目标函数的使用和优化算法的选择,在GAN的训练中存在主要挑战,即模式崩溃,不收敛和不稳定性。最近,为了解决这些挑战,已经基于重新设计的网络体系结构,新的目标函数和替代的优化算法,研究了几种用于GAN更好设计和优化的解决方案。据我们所知,没有现有的调查特别关注这些解决方案的广泛而系统的开发。在这项研究中,我们对为解决GAN挑战而提出的GAN设计和优化解决方案的进步进行了全面的调查。我们首先确定每种设计和优化技术中的关键研究问题,然后提出一种新的分类法,以根据关键研究问题构建解决方案。根据分类法,我们对每种解决方案中提出的不同GAN变体及其关系进行了详细讨论。最后,基于所获得的见解,我们提出了这个快速发展领域中充满希望的研究方向。

成为VIP会员查看完整内容
0
25

虽然生成对抗网络在图像合成任务中取得了巨大的成功,但众所周知,它们很难适应不同的数据集,部分原因是训练过程中的不稳定性和对超参数的敏感性。这种不稳定性的一个普遍接受的原因是,当真实和虚假分布的支持没有足够的重叠时,从鉴别器到发生器的梯度变得不具信息性。本文提出了多尺度梯度生成对抗网络(MSG-GAN),这是一种简单而有效的技术,通过允许梯度流从鉴别器到发生器在多个尺度上流动来解决这个问题。该技术为高分辨率图像合成提供了一种稳定的方法,并作为常用的渐进生长技术的替代。结果表明,MSG-GAN在不同大小、分辨率和域的多种图像数据集上,以及不同类型的丢失函数和结构上都稳定收敛,且具有相同的固定超参数集。与最先进的GAN相比,在我们尝试的大多数情况下,我们的方法都能与之媲美或超越其性能。

成为VIP会员查看完整内容
0
9

题目: Anomalous Instance Detection in Deep Learning: A Survey

摘要:

深度学习(DL)容易受到分布不均匀和对抗性示例的影响,从而导致不正确的输出。为了使DL更具有鲁棒性,最近提出了几种方法:异常检测技术来检测(并丢弃)这些异常样本。本研究试图为基于DL的应用程序异常检测的研究提供一个结构化的、全面的概述。我们根据现有技术的基本假设和采用的方法为它们提供了一个分类。我们讨论了每个类别中的各种技术,并提供了这些方法的相对优势和劣势。我们在这次调查中的目标是提供一个更容易并且更好理解的技术,这项技术是在这方面已经做过研究的,且属于不同的类别的。最后,我们强调了在DL系统中应用异常检测技术所面临的未解决的研究挑战,并提出了一些具有重要影响的未来研究方向。

成为VIP会员查看完整内容
0
27

深度学习(DL)容易受到分布外出和对抗性样本的影响,从而导致不正确的输出。为了使DL更健壮,最近提出了几种后方法异常检测技术来检测(并丢弃)这些异常样本。本研究试图为基于DL的应用程序异常检测的研究提供一个结构化的、全面的综述。我们根据现有技术的基本假设和采用的方法为它们提供了一个分类。我们讨论了每个类别中的各种技术,并提供了这些方法的相对优势和劣势。我们在这次调查中的目标是提供一个更容易,但更好地理解技术属于不同的类别,在这方面的研究已经做了。最后,我们强调了在DL系统中应用异常检测技术所面临的未解决的研究挑战,并提出了一些具有重要影响的未来研究方向。

成为VIP会员查看完整内容
0
40

图神经网络是解决各种图学习问题的有效的机器学习模型。尽管它们取得了经验上的成功,但是GNNs的理论局限性最近已经被揭示出来。因此,人们提出了许多GNN模型来克服这些限制。在这次调查中,我们全面概述了GNNs的表达能力和可证明的强大的GNNs变体。

成为VIP会员查看完整内容
0
47

【导读】生成式对抗网络(Generative Adversarial Networks,GANs)作为近年来的研究热点之一,受到了广泛关注,每年在机器学习、计算机视觉、自然语言处理、语音识别等上大量相关论文发表。密歇根大学Jie Gui博士等人近期发布了《A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications》,包括28页pdf,这篇综述论文对460余篇论文进行了尝试从算法,理论和应用的角度对各种GANs方法进行叙述。

【摘要】生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GANs变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GANs方法进行叙述。首先,详细介绍了大多数GANs算法的动机,数学表示形式和结构。此外,GANs已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次,研究了与GANs相关的理论问题。第三,说明了GANs在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GANs未来的开放性研究问题。

1. 概述

对抗生成网络已经成为了一个研究热点。深度学习领域的传奇人物Yann LeCun 在Quora上发帖称:“GANs是过去10年机器学习领域最有趣的想法。”从谷歌学术上可以发现,有大量和GANs相关的论文。例如,2018年大约有11800篇关于GANs的论文。也就是说,2018年,每天大约有32篇论文,每小时有超过一篇论文与GANs有关。GANs有两部分组成:生成器和判别器。这两个模型都由神经网络实现,该系统可以将数据从一个空间映射到另一个空间。生成器尝试捕获真实数据的分布,以生成新的数据。鉴别器通常是一个二进制分类器,要求尽可能准确地从真实的例子中鉴别出生成的例子。GANs的优化是一个最大最小优化问题。优化终止于一个鞍点,该鞍点相对于生成器是最小值,相对于鉴别器是最大值。也就是说,当优化达到Nash equilibrium的目标时,这时可以认为生成器捕获了真实数据的真实分布。本文和先前的关于GANS的综述之间的区别主要有以下几点: 1)GANs的具体应用:将GANs用于诸如图像合成和编辑,音频增强和合成等具体领域。 2)关于GANs的综合评述:最早关于GANs的相关综述是Wang et al.整理的,该论文主要介绍了2017年以前GANs 的发展进程。Z.Wang所作的“Generative adversarial networks: A survey and taxonomy”主要介绍了GANs在计算机视觉领域中的各种变体以及变体的损失函数。

到目前为止,本文是第一个从算法,理论和应用的角度为GANs提供一个全面的综述,并且介绍了GANs的最新的进展。再者,我们不仅关注GANs在图像处理和计算机视觉上的应用,而且关注了GANs在诸如自然语言处理和其他如医疗领域等相关领域中的序列数据上的应用。

2.章节内容

  • 章节1:论文摘要和介绍
  • 章节2:介绍相关工作
  • 章节3-5:分别从算法,理论和应用的角度介绍GCNs
  • 章节6:对开放性问题进行探讨
  • 章节7:总结

3. 各种相关的GANs算法

在章节3中,我们首先介绍原始的GANs。然后介绍各种具有代表性的变体和GANs的训练,评估方式以及任务驱动的GANs(如下图所示)。

GAN代表性算法

4. GANs的具体应用

GANs是一个强有力的生成式模型,该模型可以用一个随机向量生成看起来完全和真实样例一样的数据。训练过程中我们既不需要明确的知道真实数据的分布也不需要任何数学假设。基于GANs的显著优势,GANs被广泛应用于图像处理,计算机视觉和序列数据上(具体见下表)。

5. GANs的开放研究问题

  • 离散数据GAN GANs for discrete data
  • New Divergences
  • 不确定性估计 Estimation uncertainty
  • 理论 Theory
  • 其他
成为VIP会员查看完整内容
0
44
Top