​概率1——计数

2017 年 7 月 3 日 深度学习探索 丁寅

概率


 

概率论研究随机事件。它源于赌徒的研究。赌博中有许多随机事件,比如投掷一个骰子,是否只凭运气呢?

赌徒逐渐发现随机事件的规律。投掷两个骰子是常见的赌博游戏。如果重复很多次,那么总数为2的次数会比总数7的次数少。这就是赌徒把握到的规律:尽管我无法预知事件的具体结果,但我可以了解每种结果出现的可能性。这是概率论的核心。

“概率”到底是什么?这在数学上还有争议。“频率派”认为概率是重复尝试多次,某种结果出现的次数在尝试的总次数的比例。“贝叶斯派”认为概率是主观信念的强弱。幸好,这些争议并不影响我们在日常生活中使用“概率”哲学。天气预报的降雨概率为80%时,很多人会因此带上伞。报纸会分析一场球赛某支球队的赢球概率,如果最终赢球概率为10%的球队取胜,那么球迷会感到惊讶,这毕竟是小概率事件。

要知道某个结果的概率并不容易。上面分析球队的赢球概率,要考虑许多因素。投一个骰子,有6种可能的结果。许多原因会影响到结果,比如撒子是否均匀,比如掷撒子的人是否有技巧偏向。只有在骰子绝对均匀,且没有作弊,每种结果出现的概率才相同。否则的话,根本无法给结果一个确定的概率值。因此,为了能从数学上给结果分配一个概率,我们往往会给随机事件增加一些假设条件。这些条件有理想化的成份,但并不至于偏离现实。比如,我们说掷撒子,撒子均匀,掷的人也没有什么特殊手法,并由此推断每种结果出现的可能相同。那么,其中任意一个结果出现的概率为1/6。

 

 

基本计数原理


 

上面我们谈到了“等概率”的假设。如果每种结果出现的概率相同,那么给结果分配概率的任务就变得简单一些。在计算这种概率时,我们只需要等概率的结果的总数,就可以知道每种结果的概率。比如掷一个撒子会有6种结果,如果等概率,那么每个结果的概率为1/6。对于一些复杂的情况,就需要使用到计数技巧。

 

计数的基本原理叙述如下:

如果一个实验可以分为m个步骤,每个步骤分别有n1,n2,...,nm种可能,那么总共会有

 

n1×n2×...×nm

 

种可能的结果。

 

基本技术原理的核心是“分步”。对于简单的一个步骤的事情,我们能比较直接的分辨结果的总数。比如生一个孩子的性别,比如一个硬币的正反,比如一个撒子的结果。当一个随机事件是多个步骤复合而成的,而每个步骤又都是随机的,那么分布可以简化问题的复杂性。想像一个餐厅,有三个窗口,分别卖三种饮料,五种菜和两种主食。每个学生在每个窗口限选一种,那么学生的餐饮配套会有3x5x2共30种可能的结果。如果每个窗口的师傅都很随意霸道,随手给学生一样东西,那么我们甚至于可以假设等概率条件,每种餐饮拍套出现的概率为1/30。

(当然,作为学生,会抗议这样的“随机”食堂吧?)

 

基本计数原理的应用并不局限于概率论。在程序员进行算法分析时,无形中使用的就是进行计数。比如嵌套循环,外循环需要M步,内循环需要N步,那么总共进行操作的次数是MxN次。可以说,计数是“离散数学”非常重要的一个组成部分;而离散数学,正是计算机专业的核心数学课程。

基本计数原理是思考的起点。现实中的情况往往会更多变些。特别是当我们“分布”的动作都是作用于同一个群体时,会相对复杂。我们分类了解以下情形:

 

有序的重复抽样


 

考虑下面的两个问题:

  • 一个骰子连续掷2次,所有可能的结果有多少个?

  • 一个彩票可选6个号,每个号可以是0到9,共有多少个可能的结果?

我们可以看到,这一类的抽样结果是由多次抽样构成的。每次抽样的样本,在下一次也可能出现。比如骰子第一次为1,第二次还可能为1。这叫做重复抽样 (或者说有放回的抽样,sampling with replacement)。在骰子的例子中,每次抽样的可能出现的结果都有6种。

样本出现的次序影响结果。比如(1,2)(1,2)和(2,1)(2,1)是两个不同结果。

 

从数学上来说,如果进行m次有放回的抽样,每次抽样都有n种可能。如果最终结果有序,那么将有

nm

 种可能。

 

 如果每种结果的出现概率相同,那么对于其中的某个具体结果来说,它出现的概率P=1/36P=1/36。

 

有序的非重复抽样


 

考虑下面两个问题:

  • 从4个人中,挑出2个人分别担任队长和副队长,有多少种可能?

  • 从10们课种,挑选3门,分别放入周一、周三、周五的课表,有多少种可能?

 

可以看到,这样的抽样是没有重复的。某一次抽样的样本在此后不会出现,前面一个步骤的动作减少了后面一个步骤的选择,这叫做非重复抽样。在非重复的前提下,每次抽样可能的结果数递减,比如从4个人中选一个作为队长,那么副队长只能从3个人中选择。

同样,结果是有序的。A担任队长,B担任副队长,与A担任副队长,B担任队长,是两个不同结果。

 

有序的非重复抽样又叫做排列(permutation)。从数学上来说,从n个样品中挑选m个,放入m个位置,将有

n×(n1)×...×(nm+1)n×(n−1)×...×(n−m+1)

种可能。如果我们使用阶乘(factorial)运算符,那么结果可以表示为:

 

 

 

 

其中,n!=1×2×...×(n1)×n

 

无序的非重复抽样


 

考虑下面的问题:

  • 从4个人中抽出2个人,有多少种可能?

  • 从一副扑克中抽3张牌,有多少种可能?

 

在上面的问题中,每次抽样同样是非重复的。但这里,抽样结果是无序的。比如说,抽出"Lee"和"Tom",以及抽出"Tom"和"Lee",是同一个结果。这样的抽样方式叫做组合(combination)。

 

m个样品有m!m!种排列方式。如果是从n个样品中抽取m个作为组合,所有的这m!m!种排序方式应该看做一种。因此,有

 

 

种可能结果。我们可以用下面的方式记录组合:

 

 

                       

可以看到,从4个中挑选2个,有6种可能的组合。这是排列的一半。

 

组合的问题可以进一步延伸。比如,将9个球分为1, 3, 5个的三堆,有多少种方式?这相当于从9个球中抽取1个,再从剩下的8个球中抽取3个,最后剩下的5个为一堆。可以证明,结果为:

 

  

 类似的,将n个球分为n1,n2,...,nm个的堆,其中n=n1+n2+...+nm。将有:

 

 

种可能。

 

无序的重复抽样


 

考虑下面的问题:

  • 刮奖彩票有4种奖品。购买3张彩票的话,有多少种中奖可能?

 

在上面的每次抽样中,都是重复抽样,即抽出后有放回。比如刮奖中,可以多次刮到同一奖品。我们在一个表中记录结果:


台灯 手表 电脑 汽车
可能1 3 0 0 0
可能2 2 0 1 0
可能3 0 1 1 1

可以看到,我们实际上是将3张彩票分成4份,每份的数目不定(0)(≥0)。

 

这与下面的问题类似,将5个相同物品放入三个不同的容器中:

 

 

我们用2个黑色分隔物,来将5个相同的物品分为3堆。比如这里,将物品分为(0, 2, 3)的结果。

从7个位置中挑选2个作为分割物的位置,共有

   

种可能。

 

概括来讲,从n个样品中,无序的重复抽样m次,有



种可能。  

 

总结


 

基本计数原理

排列

组合

 

出处:http://www.cnblogs.com/vamei

 


登录查看更多
0

相关内容

本话题关于日常用语「概率」,用于讨论生活中的运气、机会,及赌博、彩票、游戏中的「技巧」。关于抽象数学概念「概率」的讨论,请转 概率(数学)话题。
【干货书】用于概率、统计和机器学习的Python,288页pdf
专知会员服务
281+阅读 · 2020年6月3日
最新《机器学习理论初探》概述
专知会员服务
42+阅读 · 2020年5月19日
专知会员服务
61+阅读 · 2020年3月4日
【强化学习】深度强化学习初学者指南
专知会员服务
178+阅读 · 2019年12月14日
浅谈贝叶斯和MCMC
AI100
14+阅读 · 2018年6月11日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
强化学习——蒙特卡洛方法介绍
论智
12+阅读 · 2018年6月3日
生活中处处的贝叶斯
算法与数学之美
4+阅读 · 2018年2月19日
干货 | 一文搞懂极大似然估计
AI100
6+阅读 · 2017年12月3日
从概率论到多分类问题:综述贝叶斯统计分类
机器之心
12+阅读 · 2017年9月28日
酒鬼漫步的数学——随机过程 | 张天蓉专栏
知识分子
10+阅读 · 2017年8月13日
基于LDA的主题模型实践(二 )MCMC--吉布斯采样
机器学习深度学习实战原创交流
24+阅读 · 2015年9月17日
Knowledge Distillation from Internal Representations
Arxiv
4+阅读 · 2019年10月8日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
4+阅读 · 2018年3月23日
VIP会员
相关资讯
浅谈贝叶斯和MCMC
AI100
14+阅读 · 2018年6月11日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
强化学习——蒙特卡洛方法介绍
论智
12+阅读 · 2018年6月3日
生活中处处的贝叶斯
算法与数学之美
4+阅读 · 2018年2月19日
干货 | 一文搞懂极大似然估计
AI100
6+阅读 · 2017年12月3日
从概率论到多分类问题:综述贝叶斯统计分类
机器之心
12+阅读 · 2017年9月28日
酒鬼漫步的数学——随机过程 | 张天蓉专栏
知识分子
10+阅读 · 2017年8月13日
基于LDA的主题模型实践(二 )MCMC--吉布斯采样
机器学习深度学习实战原创交流
24+阅读 · 2015年9月17日
Top
微信扫码咨询专知VIP会员