简介: 生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GAN变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GAN方法进行叙述。首先,详细介绍了大多数GAN算法的动机,数学表示形式和结构。此外,GAN已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GAN方法的共性和差异。其次,研究了与GAN相关的理论问题。第三,说明了GAN在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GAN未来的开放研究问题。

目录:

成为VIP会员查看完整内容
0
39

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】来自加州大学圣地亚哥分校《计算机视觉中的领域自适应》中生成式对抗网络GAN介绍

成为VIP会员查看完整内容
0
66

题目: Generative Adversarial Networks (GANs): An Overview of Theoretical Model, Evaluation Metrics, and Recent Developments

摘要:

统计信号处理和机器学习中最重要的挑战之一是如何获得一个生成模型,它可以生成大规模数据分布的样本,例如图像和演讲。生成式对抗网络(GAN)是解决这一问题的有效方法。GANs提供了一种适当的方法来学习深层表示,而不需要广泛使用标记的训练数据。该方法无需对概率密度函数进行精确建模就能生成大量数据,引起了计算机视觉领域众多研究者的关注。在GANs中,生成模型是通过同时训练生成器和鉴别器网络的竞争过程来估计的。生成器学习生成可信的数据,鉴别器学习将生成器生成的虚假数据与真实数据样本区分开来。鉴于近年来GANs的快速发展及其在各个领域的应用,有必要对这些网络进行准确的研究。本文在介绍GAN的主要概念和理论的基础上,对两种新的深层生成模型进行了比较,并对文献中使用的评价指标和GANs面临的挑战进行了说明。此外,最引人注目的GAN架构被分类和讨论。最后,讨论了计算机视觉的基本应用。

成为VIP会员查看完整内容
0
28

题目: Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions

简介:

生成对抗网络(GANs)是一类新型的深度生成模型,最近受到了广泛的关注。 GAN隐式地学习图像,音频和数据上的复杂和高维分布。然而,由于网络架构的不适当设计,目标函数的使用和优化算法的选择,在GAN的训练中存在主要挑战,即模式崩溃,不收敛和不稳定性。最近,为了解决这些挑战,已经基于重新设计的网络体系结构,新的目标函数和替代的优化算法,研究了几种用于GAN更好设计和优化的解决方案。据我们所知,没有现有的调查特别关注这些解决方案的广泛而系统的开发。在这项研究中,我们对为解决GAN挑战而提出的GAN设计和优化解决方案的进步进行了全面的调查。我们首先确定每种设计和优化技术中的关键研究问题,然后提出一种新的分类法,以根据关键研究问题构建解决方案。根据分类法,我们对每种解决方案中提出的不同GAN变体及其关系进行了详细讨论。最后,基于所获得的见解,我们提出了这个快速发展领域中充满希望的研究方向。

成为VIP会员查看完整内容
0
48

主题: GANs in computer vision: Introduction to generative learning

主要内容: 在这个综述系列文章中,我们将重点讨论计算机视觉应用程序的大量GANs。具体地说,我们将慢慢地建立在导致产生性对抗网络(GAN)进化的思想和原则之上。我们将遇到不同的任务,如条件图像生成,3D对象生成,视频合成。

目录:

  • 对抗学习
  • GAN(生成对抗网络)
  • 条件生成对抗网
  • 基于深度卷积
  • 生成对抗网络的无监督表示学习
  • Info GAN: Info最大化生成对抗网的表征学习

一般来说,数据生成方法存在于各种各样的现代深度学习应用中,从计算机视觉到自然语言处理。在这一点上,我们可以用肉眼生成几乎无法区分的生成数据。生成性学习大致可分为两大类:a)变分自编码器(VAE)和b)生成性对抗网络(GAN)。

成为VIP会员查看完整内容
0
44

【导读】生成式对抗网络(Generative Adversarial Networks,GANs)作为近年来的研究热点之一,受到了广泛关注,每年在机器学习、计算机视觉、自然语言处理、语音识别等上大量相关论文发表。密歇根大学Jie Gui博士等人近期发布了《A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications》,包括28页pdf,这篇综述论文对460余篇论文进行了尝试从算法,理论和应用的角度对各种GANs方法进行叙述。

【摘要】生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GANs变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GANs方法进行叙述。首先,详细介绍了大多数GANs算法的动机,数学表示形式和结构。此外,GANs已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次,研究了与GANs相关的理论问题。第三,说明了GANs在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GANs未来的开放性研究问题。

1. 概述

对抗生成网络已经成为了一个研究热点。深度学习领域的传奇人物Yann LeCun 在Quora上发帖称:“GANs是过去10年机器学习领域最有趣的想法。”从谷歌学术上可以发现,有大量和GANs相关的论文。例如,2018年大约有11800篇关于GANs的论文。也就是说,2018年,每天大约有32篇论文,每小时有超过一篇论文与GANs有关。GANs有两部分组成:生成器和判别器。这两个模型都由神经网络实现,该系统可以将数据从一个空间映射到另一个空间。生成器尝试捕获真实数据的分布,以生成新的数据。鉴别器通常是一个二进制分类器,要求尽可能准确地从真实的例子中鉴别出生成的例子。GANs的优化是一个最大最小优化问题。优化终止于一个鞍点,该鞍点相对于生成器是最小值,相对于鉴别器是最大值。也就是说,当优化达到Nash equilibrium的目标时,这时可以认为生成器捕获了真实数据的真实分布。本文和先前的关于GANS的综述之间的区别主要有以下几点: 1)GANs的具体应用:将GANs用于诸如图像合成和编辑,音频增强和合成等具体领域。 2)关于GANs的综合评述:最早关于GANs的相关综述是Wang et al.整理的,该论文主要介绍了2017年以前GANs 的发展进程。Z.Wang所作的“Generative adversarial networks: A survey and taxonomy”主要介绍了GANs在计算机视觉领域中的各种变体以及变体的损失函数。

到目前为止,本文是第一个从算法,理论和应用的角度为GANs提供一个全面的综述,并且介绍了GANs的最新的进展。再者,我们不仅关注GANs在图像处理和计算机视觉上的应用,而且关注了GANs在诸如自然语言处理和其他如医疗领域等相关领域中的序列数据上的应用。

2.章节内容

  • 章节1:论文摘要和介绍
  • 章节2:介绍相关工作
  • 章节3-5:分别从算法,理论和应用的角度介绍GCNs
  • 章节6:对开放性问题进行探讨
  • 章节7:总结

3. 各种相关的GANs算法

在章节3中,我们首先介绍原始的GANs。然后介绍各种具有代表性的变体和GANs的训练,评估方式以及任务驱动的GANs(如下图所示)。

GAN代表性算法

4. GANs的具体应用

GANs是一个强有力的生成式模型,该模型可以用一个随机向量生成看起来完全和真实样例一样的数据。训练过程中我们既不需要明确的知道真实数据的分布也不需要任何数学假设。基于GANs的显著优势,GANs被广泛应用于图像处理,计算机视觉和序列数据上(具体见下表)。

5. GANs的开放研究问题

  • 离散数据GAN GANs for discrete data
  • New Divergences
  • 不确定性估计 Estimation uncertainty
  • 理论 Theory
  • 其他
成为VIP会员查看完整内容
0
63

Generative adversarial networks (GANs) are a hot research topic recently. GANs have been widely studied since 2014, and a large number of algorithms have been proposed. However, there is few comprehensive study explaining the connections among different GANs variants, and how they have evolved. In this paper, we attempt to provide a review on various GANs methods from the perspectives of algorithms, theory, and applications. Firstly, the motivations, mathematical representations, and structure of most GANs algorithms are introduced in details. Furthermore, GANs have been combined with other machine learning algorithms for specific applications, such as semi-supervised learning, transfer learning, and reinforcement learning. This paper compares the commonalities and differences of these GANs methods. Secondly, theoretical issues related to GANs are investigated. Thirdly, typical applications of GANs in image processing and computer vision, natural language processing, music, speech and audio, medical field, and data science are illustrated. Finally, the future open research problems for GANs are pointed out.

0
37
下载
预览

报告主题:A Geometric View of Optimal Transportation and Generative Adversarial Networks (GANs)

报告摘要:这项工作介绍了生成对抗网络(GAN)的最佳运输(OT)视图。自然数据集具有内在模式,可以概括为流形分布原理:一类数据的分布接近于低维流形。 GAN主要完成两项任务:流形学习和概率分布转换。后者可以使用经典的最佳运输方法进行。 从OT的角度来看,生成器计算最佳运输图,鉴别器计算生成的分布与实际数据分布之间的Wasserstein距离,两者都可以简化为凸几何优化过程。此外,OT理论发现了生成器和鉴别器之间的内在协作关系而不是竞争关系,以及模式崩溃的根本原因。 此外,我们提出了一种新颖的生成模型,该模型使用自动编码器进行流形学习,并使用OT映射进行分布转换。 AE-OT模型提高了理论上的严格性和透明度,还提高了计算的稳定性和效率,尤其是消除了模式崩溃。实验结果验证了我们的假设,并证明了我们提出的模型的优势。

邀请嘉宾:顾险峰,清华大学计算机系学士,哈佛大学博士,师承国际著名数学大师丘成桐先生。现为美国纽约州立大学石溪分校计算机系终身教授,曾获美国NSFCAREER奖,中国海外杰青,“华人菲尔兹奖”-晨兴应用数学金奖等。顾险峰教授团队将微分几何、代数拓扑、黎曼面理论,偏微分方程与计算机科学相结合,创立跨领域学科“计算共形几何”,并广泛应用于计算机图形学,计算机视觉,三维几何建模与可视化,无线传感网络,医学图像等领域。

PPT下载链接:
http://www.sdlcv-workshop.com/slides/talk_Geometric_GANs.pdf

成为VIP会员查看完整内容
0
8

最近一期的计算机顶级期刊ACM Computing Surveys (CSUR)出版,涵盖最新的GANs综述论文,146篇参考文献, 本文的作者来自首尔大学数据科学与人工智能实验室的师生,研究方向为深度学习和机器学习。本综述论文介绍了GAN的原理和应用。

生成对抗网络(GAN)在机器学习领域受到广泛关注,因为它们有可能学习高维,复杂的实际数据分布。具体而言,它们不依赖于关于分布的任何假设,并且可以以简单的方式从潜在空间生成真实样本。这种强大的属性使GAN可以应用于各种应用,如图像合成,图像属性编辑,图像翻译,领域适应和其他学术领域。在本文中,作者从各个角度探讨GAN的细节。此外,作者还解释了GAN如何运作以及最近提出的各种目标函数的基本含义。然后,作者将重点放在如何将GAN与自动编码器框架相结合。最后,作者列举了适用于各种任务和其他领域的GAN变体,适用于那些有兴趣利用GAN进行研究的人。

成为VIP会员查看完整内容
How Generative Adversarial Networks and Their Variants Work An Overview.pdf
0
50
小贴士
相关VIP内容
专知会员服务
66+阅读 · 2020年6月28日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
50+阅读 · 2019年10月19日
相关论文
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications
Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye
37+阅读 · 2020年1月20日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
75+阅读 · 2019年12月19日
Generative Adversarial Networks: A Survey and Taxonomy
Zhengwei Wang,Qi She,Tomas E. Ward
10+阅读 · 2019年6月4日
Huiting Hong,Xin Li,Mingzhong Wang
4+阅读 · 2018年5月21日
Minhyeok Lee,Junhee Seok
4+阅读 · 2018年5月1日
Shaohui Liu,Yi Wei,Jiwen Lu,Jie Zhou
3+阅读 · 2018年3月27日
Ngoc-Trung Tran,Tuan-Anh Bui,Ngai-Man Cheung
9+阅读 · 2018年3月23日
Joachim D. Curtó,Irene C. Zarza,Fernando De La Torre,Irwin King,Michael R. Lyu
7+阅读 · 2018年1月27日
Chaowei Xiao,Bo Li,Jun-Yan Zhu,Warren He,Mingyan Liu,Dawn Song
8+阅读 · 2018年1月15日
Lantao Yu,Weinan Zhang,Jun Wang,Yong Yu
5+阅读 · 2017年8月25日
Top