题目: Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions

简介:

生成对抗网络(GANs)是一类新型的深度生成模型,最近受到了广泛的关注。 GAN隐式地学习图像,音频和数据上的复杂和高维分布。然而,由于网络架构的不适当设计,目标函数的使用和优化算法的选择,在GAN的训练中存在主要挑战,即模式崩溃,不收敛和不稳定性。最近,为了解决这些挑战,已经基于重新设计的网络体系结构,新的目标函数和替代的优化算法,研究了几种用于GAN更好设计和优化的解决方案。据我们所知,没有现有的调查特别关注这些解决方案的广泛而系统的开发。在这项研究中,我们对为解决GAN挑战而提出的GAN设计和优化解决方案的进步进行了全面的调查。我们首先确定每种设计和优化技术中的关键研究问题,然后提出一种新的分类法,以根据关键研究问题构建解决方案。根据分类法,我们对每种解决方案中提出的不同GAN变体及其关系进行了详细讨论。最后,基于所获得的见解,我们提出了这个快速发展领域中充满希望的研究方向。

成为VIP会员查看完整内容
0
48

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Generative Adversarial Networks (GANs): An Overview of Theoretical Model, Evaluation Metrics, and Recent Developments

摘要:

统计信号处理和机器学习中最重要的挑战之一是如何获得一个生成模型,它可以生成大规模数据分布的样本,例如图像和演讲。生成式对抗网络(GAN)是解决这一问题的有效方法。GANs提供了一种适当的方法来学习深层表示,而不需要广泛使用标记的训练数据。该方法无需对概率密度函数进行精确建模就能生成大量数据,引起了计算机视觉领域众多研究者的关注。在GANs中,生成模型是通过同时训练生成器和鉴别器网络的竞争过程来估计的。生成器学习生成可信的数据,鉴别器学习将生成器生成的虚假数据与真实数据样本区分开来。鉴于近年来GANs的快速发展及其在各个领域的应用,有必要对这些网络进行准确的研究。本文在介绍GAN的主要概念和理论的基础上,对两种新的深层生成模型进行了比较,并对文献中使用的评价指标和GANs面临的挑战进行了说明。此外,最引人注目的GAN架构被分类和讨论。最后,讨论了计算机视觉的基本应用。

成为VIP会员查看完整内容
0
28

生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中,我们进行了一个全面的综述,在GANs的设计和优化解决方案提出,以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题,然后根据关键研究问题提出新的分类结构解决方案。根据分类,我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后,在已有研究成果的基础上,提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN),最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因,因为它不能足够快地在模式间混合。另一个生成模型,变分自动编码器(VAE),使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点,并在难以处理的概率计算的近似过程中体验复杂性。此外,这些生成模型是通过最大化训练数据可能性来训练的,其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外,在高维空间中,从马尔可夫链进行的采样是模糊的,计算速度慢且不准确。

为了解决上述问题,Goodfellow等人提出了生成对抗网(GANs),这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型,它利用反向传播来进行训练,以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注,因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型,它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率,以确定生成的数据是来自真实的数据分布,还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策,直到纳什均衡。G可以从真实分布中生成采样后的图像,而D无法区分这两组图像。为了更新G和D,由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说,GANs设计和优化的三个主要组成部分如下:(i) 网络结构,(ii) 目标(损失)函数,(iii)优化算法。

对多模态数据建模的任务,一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图,结果由使用均方误差(MSE)的基本机器学习模型实现,该模型在像素空间(即,导致图像模糊)和GANs所获得的结果,从而驱动重构向自然图像流形方向发展。由于GANs的这一优势,它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好,例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功,但是由于D和G训练的不平衡,使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外,如果D可以很容易的区分出真假图像,那么D的梯度就会消失,当D不能提供梯度时,G就会停止更新。近年来,对于模式崩溃问题的处理有了许多改进,因为G产生的样本基于少数模式,而不是整个数据空间。另一方面,引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后,提出了几种稳定训练的方法。

近年来,GANs在自然图像的制作方面取得了突出的成绩。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案,本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类,我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献:

  • GAN新分类法。在本研究中,我们确定了每个设计和优化技术中的关键研究问题,并提出了一种新的分类法,根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。

  • GAN全面的调研。根据分类法,我们提供了对各种解决方案的全面审查,以解决GANs面临的主要挑战。对于每一种类型的解决方案,我们都提供了GANs变体及其关系的详细描述和系统分析。但是,由于广泛的GANs应用,不同的GANs变体以不同的方式被制定、训练和评估,并且这些GANs之间的直接比较是复杂的。为此,我们进行了必要的比较,总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。

成为VIP会员查看完整内容
0
129

随着深度学习在视觉、推荐系统、自然语言处理等诸多领域的不断发展,深度神经网络(DNNs)在生产系统中得到了广泛的应用。大数据集的可用性和高计算能力是这些进步的主要因素。这些数据集通常是众包的,可能包含敏感信息。这造成了严重的隐私问题,因为这些数据可能被滥用或通过各种漏洞泄露。即使云提供商和通信链路是可信的,仍然存在推理攻击的威胁,攻击者可以推测用于训练的数据的属性,或者找到底层的模型架构和参数。在这次调查中,我们回顾了深度学习带来的隐私问题,以及为解决这些问题而引入的缓解技术。我们还指出,在测试时间推断隐私方面的文献存在空白,并提出未来可能的研究方向。

成为VIP会员查看完整内容
0
29

主题: GANs in computer vision: Introduction to generative learning

主要内容: 在这个综述系列文章中,我们将重点讨论计算机视觉应用程序的大量GANs。具体地说,我们将慢慢地建立在导致产生性对抗网络(GAN)进化的思想和原则之上。我们将遇到不同的任务,如条件图像生成,3D对象生成,视频合成。

目录:

  • 对抗学习
  • GAN(生成对抗网络)
  • 条件生成对抗网
  • 基于深度卷积
  • 生成对抗网络的无监督表示学习
  • Info GAN: Info最大化生成对抗网的表征学习

一般来说,数据生成方法存在于各种各样的现代深度学习应用中,从计算机视觉到自然语言处理。在这一点上,我们可以用肉眼生成几乎无法区分的生成数据。生成性学习大致可分为两大类:a)变分自编码器(VAE)和b)生成性对抗网络(GAN)。

成为VIP会员查看完整内容
0
44

题目: A Survey on Edge Intelligence

简介:

边缘智能是指一组连接的系统和设备,用于在靠近基于人工智能捕获数据的位置进行数据收集,缓存,处理和分析。边缘智能的目的是提高数据处理的质量和速度,并保护数据的隐私和安全性。尽管最近出现,从2011年到现在,这个研究领域在过去五年中显示出爆炸性增长。在本文中,我们对有关边缘智能的文献进行了全面的调查。我们首先根据与拟议和部署的系统有关的理论和实践结果,确定边缘智能的四个基本组成部分,即边缘缓存,边缘训练,边缘推理和边缘卸载。然后,我们通过检查四个组成部分每个的研究结果和观察结果,来对解决方案的状态进行系统的分类,并提出一种分类法,其中包括实际问题,采用的技术和应用目标。对于每个类别,我们从采用的技术,目标,性能,优点和缺点等方面详细阐述,比较和分析文献。本调查文章全面介绍了边缘智能及其应用领域。此外,我们总结了新兴研究领域的发展和当前的最新技术,并讨论了重要的开放性问题以及可能的理论和技术解决方案。

成为VIP会员查看完整内容
0
62

简介: 生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GAN变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GAN方法进行叙述。首先,详细介绍了大多数GAN算法的动机,数学表示形式和结构。此外,GAN已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GAN方法的共性和差异。其次,研究了与GAN相关的理论问题。第三,说明了GAN在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GAN未来的开放研究问题。

目录:

成为VIP会员查看完整内容
0
39

最近一期的计算机顶级期刊ACM Computing Surveys (CSUR)出版,涵盖最新的GANs综述论文,146篇参考文献, 本文的作者来自首尔大学数据科学与人工智能实验室的师生,研究方向为深度学习和机器学习。本综述论文介绍了GAN的原理和应用。

生成对抗网络(GAN)在机器学习领域受到广泛关注,因为它们有可能学习高维,复杂的实际数据分布。具体而言,它们不依赖于关于分布的任何假设,并且可以以简单的方式从潜在空间生成真实样本。这种强大的属性使GAN可以应用于各种应用,如图像合成,图像属性编辑,图像翻译,领域适应和其他学术领域。在本文中,作者从各个角度探讨GAN的细节。此外,作者还解释了GAN如何运作以及最近提出的各种目标函数的基本含义。然后,作者将重点放在如何将GAN与自动编码器框架相结合。最后,作者列举了适用于各种任务和其他领域的GAN变体,适用于那些有兴趣利用GAN进行研究的人。

成为VIP会员查看完整内容
How Generative Adversarial Networks and Their Variants Work An Overview.pdf
0
50

Generative adversarial networks (GANs) have been extensively studied in the past few years. Arguably the revolutionary techniques are in the area of computer vision such as plausible image generation, image to image translation, facial attribute manipulation and similar domains. Despite the significant success achieved in computer vision field, applying GANs over real-world problems still have three main challenges: (1) High quality image generation; (2) Diverse image generation; and (3) Stable training. Considering numerous GAN-related research in the literature, we provide a study on the architecture-variants and loss-variants, which are proposed to handle these three challenges from two perspectives. We propose loss and architecture-variants for classifying most popular GANs, and discuss the potential improvements with focusing on these two aspects. While several reviews for GANs have been presented, there is no work focusing on the review of GAN-variants based on handling challenges mentioned above. In this paper, we review and critically discuss 7 architecture-variant GANs and 9 loss-variant GANs for remedying those three challenges. The objective of this review is to provide an insight on the footprint that current GANs research focuses on the performance improvement. Code related to GAN-variants studied in this work is summarized on https://github.com/sheqi/GAN_Review.

0
10
下载
预览

Quantum machine learning is expected to be one of the first potential general-purpose applications of near-term quantum devices. A major recent breakthrough in classical machine learning is the notion of generative adversarial training, where the gradients of a discriminator model are used to train a separate generative model. In this work and a companion paper, we extend adversarial training to the quantum domain and show how to construct generative adversarial networks using quantum circuits. Furthermore, we also show how to compute gradients -- a key element in generative adversarial network training -- using another quantum circuit. We give an example of a simple practical circuit ansatz to parametrize quantum machine learning models and perform a simple numerical experiment to demonstrate that quantum generative adversarial networks can be trained successfully.

0
3
下载
预览
小贴士
相关VIP内容
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
62+阅读 · 2020年3月30日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
50+阅读 · 2019年10月19日
相关资讯
【综述】生成式对抗网络GAN最新进展综述
专知
39+阅读 · 2019年6月5日
已删除
将门创投
5+阅读 · 2019年4月15日
万字综述之生成对抗网络(GAN)
PaperWeekly
23+阅读 · 2019年3月19日
生成对抗网络的最新研究进展
AI科技评论
4+阅读 · 2019年2月6日
生成对抗网络的研究进展与趋势
中国计算机学会
15+阅读 · 2018年11月14日
十种主流GANs,我该如何选择?
AI前线
9+阅读 · 2017年11月21日
GANs正在多个层面有所突破
大数据文摘
3+阅读 · 2017年10月24日
【简介】生成式对抗网络简介
GAN生成式对抗网络
7+阅读 · 2017年9月16日
相关论文
Recent Advances and Challenges in Task-oriented Dialog System
Zheng Zhang,Ryuichi Takanobu,Minlie Huang,Xiaoyan Zhu
13+阅读 · 2020年3月19日
Generative Adversarial Networks: A Survey and Taxonomy
Zhengwei Wang,Qi She,Tomas E. Ward
10+阅读 · 2019年6月4日
GAN Dissection: Visualizing and Understanding Generative Adversarial Networks
David Bau,Jun-Yan Zhu,Hendrik Strobelt,Bolei Zhou,Joshua B. Tenenbaum,William T. Freeman,Antonio Torralba
11+阅读 · 2018年12月8日
Deep Learning for Generic Object Detection: A Survey
Li Liu,Wanli Ouyang,Xiaogang Wang,Paul Fieguth,Jie Chen,Xinwang Liu,Matti Pietikäinen
7+阅读 · 2018年9月6日
Huiting Hong,Xin Li,Mingzhong Wang
4+阅读 · 2018年5月21日
Minhyeok Lee,Junhee Seok
4+阅读 · 2018年5月1日
Pierre-Luc Dallaire-Demers,Nathan Killoran
3+阅读 · 2018年4月30日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Stylianos I. Venieris,Alexandros Kouris,Christos-Savvas Bouganis
3+阅读 · 2018年3月15日
Chengyuan Zhang,Lin Wu,Yang Wang
10+阅读 · 2018年1月4日
Top