【干货】面向深度学习研究者的概率分布基础教程（附代码），庆熙大学| Tae Hwan Jung

简介： 本文由Github用户graykode发布的概率分布基础教程，包括伯努利分布、高斯分布、狄利克雷分布等13种概率分布介绍与代码，主要针对用Python库进行深度学习研究的人员。

内容介绍： 分布概率与特征：

均匀分布（连续）
- 均匀分布在[a，b]上具有相同的概率值
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py
伯努利分布（离散）
- 不考虑先验概率p(x)的伯努利分布。因此，如果我们优化到最大似然，将容易过拟合
- 利用二值交叉熵对二值分类进行分类。它的形式类似于取伯努利分布的负对数
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py
二项分布（离散）
- 参数n和p的二项分布是n个独立实验序列中成功次数的离散概率分布。
- 二项分布是通过指定预先选择的数目来考虑先验概率的分布
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py
Multi-伯努利分布，分类分布（离散）
- 多伯努利分布称为分类分布，是一个大于2的概率
- 交叉熵具有相同的形式，就像取多个伯努利分布的负对数
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py
多项式分布（离散）
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py
Beta分布（连续）
- Beta分布与二项分布和伯努利分布是共轭的
- 利用共轭性，我们可以更容易地利用我们所知道的先验分布来获得后验分布
- 当Beta分布满足特殊情况（alpha=1，Beta=1）时，与均匀分布相同。
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py
狄利克雷分布（连续）
- 狄利克雷分布与多项分布共轭
- 如果K=2，变为Beta分布
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py
Gamma分布（连续）
- 如果Gamma(a，1)/Gamma(a，1)+Gamma(b，1)与β(a，b)相同，则Gamma分布为β分布
- 指数分布和卡方分布是Gamma分布的特例
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py
指数分布（连续）
- 指数分布是在Alpha为1时的Gamma分布的特殊情况
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py
高斯分布（连续）
- 高斯分布是非常常用的连续值概率分布
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py
正态分布（连续）
- 正态分布是标准高斯分布，均值=0，方差=1
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py
卡方分布（连续）
- 具有k自由度的卡方分布是k个独立标准正态随机变量平方和的分布
- 卡方分布是Beta分布的特例
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py
Student-t 分布（连续）
- T型分布是对称的、钟形的，如正态分布，但具有较重的尾部，这意味着更容易产生远离其平均值的值
- 代码：https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py