在计算机视觉领域,对抗网络(GANs)在生成逼真图像方面取得了巨大的成功。最近,基于GAN的技术在基于时空的应用如轨迹预测、事件生成和时间序列数据估算中显示出了良好的前景。虽然在计算机视觉中对GANs提出了一些评论,但没有人考虑解决与时空数据相关的实际应用和挑战。在这篇文章中,我们对GANs在时空数据方面的最新发展进行了全面的回顾。我们总结了在时空数据中流行的GAN架构,以及用GANs评估时空应用程序性能的常见做法。最后,提出了未来的研究方向,希望能对相关研究者有所帮助。

https://arxiv.org/abs/2008.08903

概述:

时空属性在交通运输(shao2017travel)、社会科学(kupilik2018spatio)、犯罪学(rumi2019crime)等各个领域都很常见,其中,传感器和大数据的激增迅速改变了时空属性。大量的时空(ST)数据需要适当的处理技术来建立有效的应用。通常,处理表格数据或图形数据的传统方法在应用于时空数据集时表现不佳。原因主要有三层(wang2019deep): (1) ST数据通常是连续空间,而表或图数据往往是离散的; (2) ST数据通常同时具有空间和时间属性,其中数据相关性较复杂,传统技术难以捕捉; (3) ST数据具有高度的自相关性,通常不像传统数据那样独立生成数据样本。

随着深度学习的普及,许多神经网络(如卷积神经网络(CNN) (krizhevsky2012imagenet),递归神经网络(RNN) (mikolov2010recurrent), Autoencoder (AE) (hinton2006 reduce),图卷积网络 (GCN) (kipf2016gcn))被提出并在ST数据建模方面取得了显著的成功。ST数据的深度学习之所以被广泛采用,是因为它在层次特征工程能力方面显示出了潜力。在本次调研中,我们关注的是深度学习领域最有趣的突破之一——生成对抗网络(GANs) (goodfellow2014generate)及其在ST数据方面的潜在应用。

GAN是一种对抗学习生成真实数据的生成模型。它由两个组件(goodfellow2014)组成:generator G和discriminator D。G捕获数据分布并从潜在变量z生成真实数据,D估计来自真实数据空间的数据概率。GAN采用了零和非合作博弈的概念,其中G和D被训练为相互竞争,直到达到纳什均衡。GAN在各领域获得了相当大的关注,包括图像(例如,图像翻译(isola2017image)超分辨率(ledig2017photo),联合图像生成(liu2016coupled),对象检测(ehsani2018segan),改变面部属性(donahue2017semantically))、视频(例如,视频一代(vondrick2016generating)),自然语言处理(例如,文本生成(lin2017adversarial),文本图像(zhang2017stackgan))。

然而,直接使用图像或视频生成并不适用于ST数据的建模,如交通流、区域降雨和行人轨迹。一方面,图像生成通常考虑输入和输出图像之间的外观,不能充分处理空间变化。另一方面,视频生成考虑了图像间的空间动态,但是,当对下一幅图像的预测高度依赖于前一幅图像时,时间变化没有得到充分考虑(saxena2019d)。因此,将GANs成功应用于ST数据需要探索新的方法。

最近,GANs开始应用于ST数据。GANs在ST数据上的应用主要包括生成去识别的时空事件(saxena2019d);jin2019crime),时间序列归责(luo2018multivariate;,轨迹预测(gupta2018;kosaraju2019), 图表示 (wang2018;bojchevski2018)等。尽管GANs在计算机视觉领域取得了成功,但将GANs应用于ST数据预测具有挑战性(saxena2019d)。例如,利用额外的信息,如景点(PoI),天气信息在以前的研究中仍然是未触及的。此外,与研究者可以依靠对生成的实例进行可视化检查的图像不同,GANs对ST数据的评估仍然是一个未解决的问题。在ST数据上采用传统的GAN评价指标(saxena2019d;esteban2017real)。

一些研究回顾了最近关于ST数据或GAN在不同领域的应用问题的文献。与从传统关系数据挖掘模式相比,建模ST数据特别具有挑战性,因为除了实际测量之外,它还具有空间和时间属性。Atluri等人(atluri2018spatio)回顾了ST数据建模的流行问题和方法。提供了不同类型ST数据的分类、定义和描述数据实例的方法,以确定实际应用程序中任何类型ST数据的相关问题。他们还列出了通常研究的ST问题,并回顾了处理不同ST类型的独特属性的问题。Want等人(wang2019deep)回顾了将深度学习应用于ST数据挖掘任务的最新进展,并提出了一个利用深度学习模型解决ST数据建模问题的流程。Hong等人(hong2019生成)从不同的角度解释了GANs,并列举了常用的用于多任务的GAN变体。在(pan2019recent)中讨论了GANs的最新进展,Wang et al. (wang2019生)提出了一种用于计算机视觉领域的GANs分类。特别是,Yi等人(yi2019生)回顾了GANs在医学成像中的最新进展。

然而,上述工作回顾了ST数据建模问题或GANs在计算机视觉领域的最新进展。尽管许多研究者(saxena2019d;esteban2017real;gupta2018social;luo20192;已经用GANs对ST数据进行建模,在这个领域还没有相关的调查来解决在ST数据应用中使用GANs的潜力。本文第一次全面概述了ST数据中的GANs,描述了GANs有希望的应用,并确定了在不同ST相关任务中成功应用尚需解决的一些挑战。

成为VIP会员查看完整内容
0
36

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

近年来,生成式对抗网络(generative adversarial nets, GAN)迅速发展,已经成为当前机器学习领域的主要研究方向之一。GAN来源于零和博弈的思想,其生成器和鉴别器对抗学习,获取给定样本的数据分布,生成新的样本数据。对GAN模型在图片生成、异常样本检测和定位、文字生成图片以及图片超分辨率等多方面进行了大量的调查研究,并在这些GAN的应用所取得的实质性进展进行了系统的阐述。对GAN的提出背景与研究意义、理论模型与改进结构,以及其主要应用领域进行了总结。通过对GAN在各方面的应用分析,对GAN的不足以及未来发展方向进行综述。

http://dziy.cbpt.cnki.net/WKA/WebPublication/paperDigest.aspx?paperID=76215a4a-3131-4b6e-9afd-1af245c41ff1

成为VIP会员查看完整内容
0
61

生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中,我们进行了一个全面的综述,在GANs的设计和优化解决方案提出,以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题,然后根据关键研究问题提出新的分类结构解决方案。根据分类,我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后,在已有研究成果的基础上,提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN),最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因,因为它不能足够快地在模式间混合。另一个生成模型,变分自动编码器(VAE),使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点,并在难以处理的概率计算的近似过程中体验复杂性。此外,这些生成模型是通过最大化训练数据可能性来训练的,其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外,在高维空间中,从马尔可夫链进行的采样是模糊的,计算速度慢且不准确。

为了解决上述问题,Goodfellow等人提出了生成对抗网(GANs),这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型,它利用反向传播来进行训练,以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注,因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型,它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率,以确定生成的数据是来自真实的数据分布,还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策,直到纳什均衡。G可以从真实分布中生成采样后的图像,而D无法区分这两组图像。为了更新G和D,由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说,GANs设计和优化的三个主要组成部分如下:(i) 网络结构,(ii) 目标(损失)函数,(iii)优化算法。

对多模态数据建模的任务,一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图,结果由使用均方误差(MSE)的基本机器学习模型实现,该模型在像素空间(即,导致图像模糊)和GANs所获得的结果,从而驱动重构向自然图像流形方向发展。由于GANs的这一优势,它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好,例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功,但是由于D和G训练的不平衡,使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外,如果D可以很容易的区分出真假图像,那么D的梯度就会消失,当D不能提供梯度时,G就会停止更新。近年来,对于模式崩溃问题的处理有了许多改进,因为G产生的样本基于少数模式,而不是整个数据空间。另一方面,引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后,提出了几种稳定训练的方法。

近年来,GANs在自然图像的制作方面取得了突出的成绩。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案,本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类,我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献:

  • GAN新分类法。在本研究中,我们确定了每个设计和优化技术中的关键研究问题,并提出了一种新的分类法,根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。

  • GAN全面的调研。根据分类法,我们提供了对各种解决方案的全面审查,以解决GANs面临的主要挑战。对于每一种类型的解决方案,我们都提供了GANs变体及其关系的详细描述和系统分析。但是,由于广泛的GANs应用,不同的GANs变体以不同的方式被制定、训练和评估,并且这些GANs之间的直接比较是复杂的。为此,我们进行了必要的比较,总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。

成为VIP会员查看完整内容
0
124

【导读】生成式对抗网络(Generative Adversarial Networks,GANs)作为近年来的研究热点之一,受到了广泛关注,每年在机器学习、计算机视觉、自然语言处理、语音识别等上大量相关论文发表。密歇根大学Jie Gui博士等人近期发布了《A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications》,包括28页pdf,这篇综述论文对460余篇论文进行了尝试从算法,理论和应用的角度对各种GANs方法进行叙述。

【摘要】生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GANs变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GANs方法进行叙述。首先,详细介绍了大多数GANs算法的动机,数学表示形式和结构。此外,GANs已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次,研究了与GANs相关的理论问题。第三,说明了GANs在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GANs未来的开放性研究问题。

1. 概述

对抗生成网络已经成为了一个研究热点。深度学习领域的传奇人物Yann LeCun 在Quora上发帖称:“GANs是过去10年机器学习领域最有趣的想法。”从谷歌学术上可以发现,有大量和GANs相关的论文。例如,2018年大约有11800篇关于GANs的论文。也就是说,2018年,每天大约有32篇论文,每小时有超过一篇论文与GANs有关。GANs有两部分组成:生成器和判别器。这两个模型都由神经网络实现,该系统可以将数据从一个空间映射到另一个空间。生成器尝试捕获真实数据的分布,以生成新的数据。鉴别器通常是一个二进制分类器,要求尽可能准确地从真实的例子中鉴别出生成的例子。GANs的优化是一个最大最小优化问题。优化终止于一个鞍点,该鞍点相对于生成器是最小值,相对于鉴别器是最大值。也就是说,当优化达到Nash equilibrium的目标时,这时可以认为生成器捕获了真实数据的真实分布。本文和先前的关于GANS的综述之间的区别主要有以下几点: 1)GANs的具体应用:将GANs用于诸如图像合成和编辑,音频增强和合成等具体领域。 2)关于GANs的综合评述:最早关于GANs的相关综述是Wang et al.整理的,该论文主要介绍了2017年以前GANs 的发展进程。Z.Wang所作的“Generative adversarial networks: A survey and taxonomy”主要介绍了GANs在计算机视觉领域中的各种变体以及变体的损失函数。

到目前为止,本文是第一个从算法,理论和应用的角度为GANs提供一个全面的综述,并且介绍了GANs的最新的进展。再者,我们不仅关注GANs在图像处理和计算机视觉上的应用,而且关注了GANs在诸如自然语言处理和其他如医疗领域等相关领域中的序列数据上的应用。

2.章节内容

  • 章节1:论文摘要和介绍
  • 章节2:介绍相关工作
  • 章节3-5:分别从算法,理论和应用的角度介绍GCNs
  • 章节6:对开放性问题进行探讨
  • 章节7:总结

3. 各种相关的GANs算法

在章节3中,我们首先介绍原始的GANs。然后介绍各种具有代表性的变体和GANs的训练,评估方式以及任务驱动的GANs(如下图所示)。

GAN代表性算法

4. GANs的具体应用

GANs是一个强有力的生成式模型,该模型可以用一个随机向量生成看起来完全和真实样例一样的数据。训练过程中我们既不需要明确的知道真实数据的分布也不需要任何数学假设。基于GANs的显著优势,GANs被广泛应用于图像处理,计算机视觉和序列数据上(具体见下表)。

5. GANs的开放研究问题

  • 离散数据GAN GANs for discrete data
  • New Divergences
  • 不确定性估计 Estimation uncertainty
  • 理论 Theory
  • 其他
成为VIP会员查看完整内容
0
61

最近一期的计算机顶级期刊ACM Computing Surveys (CSUR)出版,涵盖最新的GANs综述论文,146篇参考文献, 本文的作者来自首尔大学数据科学与人工智能实验室的师生,研究方向为深度学习和机器学习。本综述论文介绍了GAN的原理和应用。

生成对抗网络(GAN)在机器学习领域受到广泛关注,因为它们有可能学习高维,复杂的实际数据分布。具体而言,它们不依赖于关于分布的任何假设,并且可以以简单的方式从潜在空间生成真实样本。这种强大的属性使GAN可以应用于各种应用,如图像合成,图像属性编辑,图像翻译,领域适应和其他学术领域。在本文中,作者从各个角度探讨GAN的细节。此外,作者还解释了GAN如何运作以及最近提出的各种目标函数的基本含义。然后,作者将重点放在如何将GAN与自动编码器框架相结合。最后,作者列举了适用于各种任务和其他领域的GAN变体,适用于那些有兴趣利用GAN进行研究的人。

成为VIP会员查看完整内容
How Generative Adversarial Networks and Their Variants Work An Overview.pdf
0
49
小贴士
相关资讯
【综述】生成式对抗网络GAN最新进展综述
专知
38+阅读 · 2019年6月5日
最新《生成式对抗网络GAN进展》论文
专知
82+阅读 · 2019年4月5日
万字综述之生成对抗网络(GAN)
PaperWeekly
22+阅读 · 2019年3月19日
【GAN】2018最佳生成性对抗网络GAN论文回顾与挑战
产业智能官
10+阅读 · 2019年1月21日
生成对抗网络的研究进展与趋势
中国计算机学会
15+阅读 · 2018年11月14日
[论文笔记] GAN开山之作及最新综述
专知
11+阅读 · 2017年12月19日
GAN猫的脸
机械鸡
9+阅读 · 2017年7月8日
相关论文
ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
Sudipto Mukherjee,Himanshu Asnani,Eugene Lin,Sreeram Kannan
5+阅读 · 2018年9月10日
Huiting Hong,Xin Li,Mingzhong Wang
4+阅读 · 2018年5月21日
Chen Chen,Shuai Mu,Wanpeng Xiao,Zexiong Ye,Liesi Wu,Fuming Ma,Qi Ju
6+阅读 · 2018年5月18日
Pierre-Luc Dallaire-Demers,Nathan Killoran
3+阅读 · 2018年4月30日
Chenrui Zhang,Yuxin Peng
3+阅读 · 2018年4月26日
Swami Sankaranarayanan,Yogesh Balaji,Carlos D. Castillo,Rama Chellappa
3+阅读 · 2018年4月1日
Hao Ge,Yin Xia,Xu Chen,Randall Berry,Ying Wu
3+阅读 · 2018年3月23日
Navaneeth Bodla,Gang Hua,Rama Chellappa
8+阅读 · 2018年1月17日
Jianwei Yang,Anitha Kannan,Dhruv Batra,Devi Parikh
3+阅读 · 2017年8月2日
Top