【原理】GAN的数学原理
GAN的数学推导
作者：Sherlock
来源：机器学习算法与自然语言处理
前面我们讲了一下GAN的基本思想，最近看了一下GAN的论文，又恰好看到了李宏毅老师的课程，感觉里面的数学推导很有意思，所以准备写下来以备之后查阅。
首先需要一点预备知识，KL divergence，这是统计中的一个概念，是衡量两种概率分布的相似程度，其越小，表示两种概率分布越接近。 对于离散的概率分布，定义如下
对于连续的概率分布，定义如下
根据我们之前讲的内容，我们要做的事情就如下图所示
我们想要将一个随机高斯噪声z通过一个生成网络G得到一个和真的数据分布
其中的参数
我们从真实数据分布
我们想要做的事情就是找到 θ∗来最大化这个似然估计
而 PG(x;θ)如何算出来呢？
里面的I表示示性函数，也就是
这样我们其实根本没办法求出这个 PG(x) 出来，这就是生成模型的基本想法。
Generator G
G是一个生成器，给定先验分布 Pprior(z)我们希望得到生成分布 PG(x)，这里很难通过极大似然估计得到结果
Discriminator D
D是一个函数，来衡量 PG(x) 与 Pdata(x)之间的差距，这是用来取代极大似然估计
首先定义函数V(G, D)如下
我们可以通过下面的式子求得最优的生成模型
是不是感觉很晕，为什么定义了一个V(G, D)然后通过求max和min就能够取得最优的生成模型呢？
首先我们只考虑 maxDV(G,D)，看其表示什么含义。
在给定G的前提下，我们要取一个合适的D使得V(G, D)能够取得最大值，这就是简单的微积分。
对于这个积分，要取其最大值，我们希望对于给定的x，积分里面的项是最大的，也就是我们希望取到一个最优的 D∗最大化下面这个式子
在数据给定，G给定的前提下， Pdata(x)与PG(x) 都可以看作是常数，我们可以分别用a,b来表示他们，这样我们就可以得到如下的式子
这样我们就求得了在给定G的前提下，能够使得V(D)取得最大值的D，我们将D代回原来的V(G, D)，得到如下的结果
看到这里我们其实就已经推导出了为什么这么衡量是有意义的，因为我们取D使得V(G,D)取得max值。
这个时候这个max值是由两个KL divergence构成的，相当于这个max的值就是衡量 PG(x)与Pdata(x)的差异程度，所以这个时候，我们取
就能够取到G使得这两种分布的差异性最小，这样自然就能够生成一个和原分布尽可能接近的分布。
同时这样也摆脱了计算极大似然估计，所以GAN本质是改变了训练的过程。
欢迎访问我的知乎专栏：深度练丹
博客地址：https://sherlockliao.github.io/2017/06/20/gan_math/
☞ 【学界】清华朱军团队探索DNN内部架构，采用对抗性例子监督网络生成及错误
☞ 【几何图景】GAN的几何图景：样本空间的Morse流，与鉴别网络D为何不可能真正鉴别真假
☞ 【应用】生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
☞ 【从头开始GAN】Goodfellow开山之作到DCGAN等变体
☞ 【智能自动化学科前沿讲习班第1期】上海交大倪冰冰副教授：面向图像序列的生成技术及应用初探
☞ 【智能自动化学科前沿讲习班第1期】University of Central Florida 的Guojun Qi:LS-GAN
☞ 【智能自动化学科前沿讲习班第1期】微软秦涛主管研究员：从单智能体学习到多智能体学习
☞ 【智能自动化学科前沿讲习班第1期】王坤峰副研究员：GAN与平行视觉
☞ 【原理】十个生成模型(GANs)的最佳案例和原理 | 代码+论文
☞ 【教程】经得住考验的「假图片」：用TensorFlow为神经网络生成对抗样本
☞ 【模型】基于深度学习的三大生成模型：VAE、GAN、GAN的变种模型
☞ 【大会】还记得Wasserstein GAN吗？不仅有Facebook参与，也果然被 ICML 接收
☞ 【学界】邢波团队提出contrast-GAN：实现生成式语义处理
☞ 【专栏】阿里SIGIR 2017论文：GAN在信息检索领域的应用
☞ 【学界】康奈尔大学说对抗样本出门会失效，被OpenAI怼回来了！
☞ 警惕人工智能系统中的木马、病毒 ——深度学习对抗样本简介
☞ 【生成图像】Facebook发布的LR-GAN如何生成图像？这里有一篇Pytorch教程
☞ 【智能自动化学科前沿讲习班第1期】国立台湾大学（位于中国台北）李宏毅教授：Anime Face Generation
☞ 【变狗为猫】伯克利图像迁移cycleGAN，猫狗互换效果感人
☞ 【论文】对抗样本到底会不会对无人驾驶目标检测产生干扰？又有人发文质疑了
☞【智能自动化学科前沿讲习班第1期】王飞跃教授：生成式对抗网络GAN的研究进展与展望
☞【专栏】基于对抗学习的生成式对话模型的坚实第一步 ：始于直观思维的曲折探索
☞ 【重磅】平行将成为一种常态：从SimGAN获得CVPR 2017最佳论文奖说起
☞ 【最新】OpenAI:3段视频演示无人驾驶目标检测强大的对抗性样本！
☞ 【论文】CVPR 2017最佳论文出炉，DenseNet和苹果首篇论文获奖
☞ 【深度学习】解析深度学习的局限性与未来，谷歌Keras之父「连发两文」发人深省
☞ 苹果重磅推出AI技术博客，CVPR合成逼真照片论文打响第一枪
☞ 【Ian Goodfellow 五问】GAN、深度学习，如何与谷歌竞争
☞ 【巨头升级寡头】AI产业数据称王，GAN和迁移学习能否突围BAT垄断？
☞ 【高大上的DL】BEGAN: Boundary Equilibrium GAN
☞ 【最详尽的GAN介绍】王飞跃等：生成式对抗网络 GAN 的研究进展与展望
☞ 【最全GAN变体列表】Ian Goodfellow推荐：GAN动物园
☞ 【DCGAN】深度卷积生成对抗网络的无监督学习，补全人脸合成图像匹敌真实照片
☞ 【开源】收敛速度更快更稳定的Wasserstein GAN(WGAN)
☞ 【Valse 2017】生成对抗网络（GAN）研究年度进展评述
☞ 【开源】谷歌新推BEGAN模型用于人脸数据集：效果惊人！
☞ 【深度】Ian Goodfellow AIWTB开发者大会演讲：对抗样本与差分隐私
☞ 论文引介 | StackGAN: Stacked Generative Adversarial Networks
☞ 【纵览】从自编码器到生成对抗网络：一文纵览无监督学习研究现状
☞ 【论文解析】Ian Goodfellow 生成对抗网络GAN论文解析
☞ 【推荐】条条大路通罗马LS-GAN：把GAN建立在Lipschitz密度上
☞【Geometric GAN】引入线性分类器SVM的Geometric GAN
☞ 【GAN for NLP】PaperWeekly 第二十四期 --- GAN for NLP
☞ 【Demo】GAN学习指南：从原理入门到制作生成Demo
☞ 【学界】伯克利与OpenAI整合强化学习与GAN：让智能体学习自动发现目标
☞ 【人物 】Ian Goodfellow亲述GAN简史：人工智能不能理解它无法创造的东西
☞ 【DCGAN】DCGAN：深度卷积生成对抗网络的无监督学习，补全人脸合成图像匹敌真实照片
☞ 带你理解CycleGAN，并用TensorFlow轻松实现
☞ PaperWeekly 第39期 | 从PM到GAN - LSTM之父Schmidhuber横跨22年的怨念
☞ 【CycleGAN】加州大学开源图像处理工具CycleGAN
☞ 【SIGIR2017满分论文】IRGAN：大一统信息检索模型的博弈竞争
☞ 【贝叶斯GAN】贝叶斯生成对抗网络（GAN）：当下性能最好的端到端半监督/无监督学习
☞ 【贝叶斯GAN】贝叶斯生成对抗网络（GAN）：当下性能最好的端到端半监督/无监督学习
☞ 【GAN X NLP】自然语言对抗生成：加拿大研究员使用GAN生成中国古诗词
☞ ICLR 2017 | GAN Missing Modes 和 GAN
☞ 【学界】CMU新研究试图统一深度生成模型：搭建GAN和VAE之间的桥梁
☞ 【专栏】大漠孤烟，长河落日：面向景深结构的风景照生成技术
☞ 【开发】最简单易懂的 GAN 教程：从理论到实践（附代码）
☞ 【论文访谈】求同存异，共创双赢 - 基于对抗网络的利用不同分词标准语料的中文分词方法
☞ 【LeCun论战Yoav】自然语言GAN惹争议：深度学习远离NLP？
☞ 【争论】从Yoav Goldberg与Yann LeCun争论，看当今的深度学习、NLP与arXiv风气
☞ 【观点】Yoav Goldberg撰文再回应Yann LeCun：「深度学习这群人」不了解NLP(附各方评论)
☞ PaperWeekly 第41期 | 互怼的艺术：从零直达 WGAN-GP
☞ 【谷歌 GAN 生成人脸】对抗创造新艺术风格，128 像素扩展到 4000
☞ 【原理】只知道GAN你就OUT了——VAE背后的哲学思想及数学原理
相关内容
微信扫码咨询专知VIP会员