2020 无人驾驶(4)

self_drive.jpeg

极大似然估计

简单说一下似然估计，这个在机器学习中也是一个重要理论。其实也可以这样理解，我们还是通过一个例子进行说明解释，首先我们认为小事件 100 个球其中蓝球 99 个红球 1 个，然后计算蓝球或红球的概率分别是 99% 和 1%，这就是传统经典概率。100 球直到其中有红球也有蓝球，知道蓝球不是 99 个就是 1 个，也就是我们已经知道概率分布为红球或蓝球可能有种是 99 个球，另一个颜色球就是 1 个，在这种情况下，我们从任取一个球，发现是蓝色的球。根据我们看到结果就可以推测分布情况为蓝球 99% 而红球 1%，这就是极大似然概率理论解释。

$P(状态|观测) = \eta P(观测|状态)P(状态)$

状态和观测

这里我们通常将观测看作结果而将状态看作原因，因为有了原因才有结果，也就是存在真实温度我们才能进行测量得到测量值，测量值是真实温度状态的一种观测到状态的反映。后验概率由果推因，也就是我们观测到测量值后推测得到测量的原因。例如我们测量得到结果为 30.5 度，那么能够产生 30.5 度测量值的原因概率是多少，也就是当测量值为 30.5 度真实值是 31 概率是多少、是 32 概率多少，是 30 度概率是多少。

似然概率是由因推果，衡量哪一个原因最有可能导致这个结果的概率。

$后验概率 \begin{cases} P(状态_1|观测)\\ P(状态_2|观测) \end{cases}$

$先验概率 \begin{cases} P(观测｜状态_1)\\ P(观测｜状态_2) \end{cases}$

连续随机变量的贝叶斯公式

$P(X < x | Y = y) = \frac{P(Y=y|X < x)P(X <x)}{P(Y=y)}$

其中 X < x 作为条件概率看起来好像有点奇怪也没法求解，而且分母也是 0 如果不知道分母为什么为 0 需要看一看随机变量的概率密度。贝叶斯公式无法直接运用于连续随机变量，可以利用化积分为求和对公式进行化简，因为积分本质就是无数个无穷小相加的结果。

$X < x$ 可以转化为 $\sum_{u \rightarrow -\infty}^x X = u$ 所以我们就可以得到
$P(X<x|Y=y) = \sum_{u = -\infty}^x P(X=u|Y=y) = \sum_{u = -\infty}^x \frac{P(Y=y|X=u)P(X=u)}{P(Y=y)}$

因为如果有一定概率密度知识，大家都知道现在公式是分母和分子都是 0，因为都是求连续函数某一点概率，其实也不是这样，应该是无穷小，趋近于 0 而不是 0 那么两个趋近于 0 的数相除可能不是 0 ，所以我们可以反过来将无穷小写成极限的形式。

$\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{P(y < Y < y + \epsilon|X=u)P(u < X < u + \epsilon)}{P(u < Y < u + \epsilon)}$

$\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{(f_{Y|X}(\xi_1|u)\epsilon)(f_X(\xi_2)\epsilon)}{f_Y(\xi_3)\epsilon}$

这里需要简单解释一下，我们将 Y 随机变量取值变为从 y 到 y 加上一个非常小 $\epsilon$ 来表示，同理 X 随机变量取值也变为从 u 到 u 加上 $\epsilon$ 的区间，这样一来就不存在分母和分子同时为 0 然后我们可以用积分方式表示 $P(y < Y < y + \epsilon|X=u)$ 也就是 $\int_y^{y + \epsilon} f_{Y|X}(y|u)dy$ 然后用中值定理改写公式为了 $(f_{Y|X}(\xi_1|u)\epsilon)$

$\begin{aligned} \xi_1 \in (y,y+\epsilon)\\ \xi_2 \in (u,u+\epsilon)\\ \xi_3 \in (y,y+\epsilon)\\ \end{aligned}$

$\lim_{\epsilon \rightarrow 0} \sum_{u = -\infty}^x \frac{f_{Y|X}(y|u)f_X(u)}{f_Y(y)} \epsilon$