GAN的数学原理

2017 年 9 月 2 日 算法与数学之美

  GAN的数学推导  

作者:Sherlock

来源:机器学习算法与自然语言处理


前面我们讲了一下GAN的基本思想,最近看了一下GAN的论文,又恰好看到了李宏毅老师的课程,感觉里面的数学推导很有意思,所以准备写下来以备之后查阅。

首先需要一点预备知识,KL divergence,这是统计中的一个概念,是衡量两种概率分布的相似程度,其越小,表示两种概率分布越接近。 对于离散的概率分布,定义如下

对于连续的概率分布,定义如下

根据我们之前讲的内容,我们要做的事情就如下图所示


我们想要将一个随机高斯噪声z通过一个生成网络G得到一个和真的数据分布差不多的生成分布

其中的参数是网络的参数决定的,我们希望找到 使得和尽可能接近。




Maximun Likelihood Estimation

我们从真实数据分布 里面取样m个点,,根据给定的参数我们可以计算如下的概率 ,那么生成这m个样本数据的似然(likelihood)就是


我们想要做的事情就是找到