极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,是求估计的另一种方法,最大概似是1821年首先由德国数学家高斯(C. F. Gauss)提出,但是这个方法通常被归功于英国的统计学家罗纳德·费希尔(R. A. Fisher) 它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,... ,若在一次试验中,结果A出现了,那么可以认为实验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。一般说来,事件A发生的概率与某一未知参数theta有关, theta取值不同,则事件A发生的概率P(A/theta)也不同,当我们在一次试验中事件A发生了,则认为此时的theta值应是t的一切可能取值中使P(A/theta)达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。

VIP内容

讲座题目

现代MDL与数据挖掘的结合--洞察力、理论和实践:Modern MDL meets Data Mining -- Insights, Theory, and Practice

讲座简介

当考虑一个数据集时,通常不知道它是如何的,因此描述或捕获其主要特征的模型应该有多复杂。通常,这些选择会被掩盖、忽略,交给领域专家处理,但在实践中,这是非常不令人满意的;领域专家不知道如何设置$k$,在选择之前选择什么,或者有多少自由度比我们做的更理想。 最小描述长度(MDL)原理能够从清晰直观的角度回答模型选择问题。简而言之,它断言最好的模型是同时压缩数据和模型的模型。在本教程中,我们不仅介绍了模型选择的基本知识,展示了基于MDL的建模的重要特性、成功的例子以及如何应用MDL解决数据挖掘问题的陷阱,还介绍了现代MDL中重要新概念的高级主题(例如,归一化最大似然(NML)、顺序NML、分解NML和MDL变化统计)和动态设置中的新兴应用。在本教程中,我们的目标是确保读者不仅掌握基本理论,而且了解如何将其付诸实践。

讲座嘉宾

Jilles Vreeken ,在赫尔姆霍兹信息安全中心领导探索性数据分析研究小组。此外,是马克斯·普朗克信息学研究所数据库和信息系统组(D5)的高级研究员,萨尔兰大学计算机科学系的教授。研究主要涉及数据挖掘和机器学习。特别是,喜欢开发理论和算法来回答关于数据的探索性问题,例如“我的数据中的因果依赖关系是什么”或“这是我的数据,告诉我需要知道什么”。为了确定什么是有价值的结构,经常采用基于信息论的有根据的统计方法。在此基础上,可以开发出高效的算法,从大量复杂的数据中提取有用的、有见地的结果。

成为VIP会员查看完整内容
0
7

最新内容

When the dimension of data is comparable to or larger than the number of data samples, Principal Components Analysis (PCA) may exhibit problematic high-dimensional noise. In this work, we propose an Empirical Bayes PCA method that reduces this noise by estimating a joint prior distribution for the principal components. EB-PCA is based on the classical Kiefer-Wolfowitz nonparametric MLE for empirical Bayes estimation, distributional results derived from random matrix theory for the sample PCs, and iterative refinement using an Approximate Message Passing (AMP) algorithm. In theoretical "spiked" models, EB-PCA achieves Bayes-optimal estimation accuracy in the same settings as an oracle Bayes AMP procedure that knows the true priors. Empirically, EB-PCA significantly improves over PCA when there is strong prior structure, both in simulation and on quantitative benchmarks constructed from the 1000 Genomes Project and the International HapMap Project. An illustration is presented for analysis of gene expression data obtained by single-cell RNA-seq.

0
0
下载
预览

最新论文

When the dimension of data is comparable to or larger than the number of data samples, Principal Components Analysis (PCA) may exhibit problematic high-dimensional noise. In this work, we propose an Empirical Bayes PCA method that reduces this noise by estimating a joint prior distribution for the principal components. EB-PCA is based on the classical Kiefer-Wolfowitz nonparametric MLE for empirical Bayes estimation, distributional results derived from random matrix theory for the sample PCs, and iterative refinement using an Approximate Message Passing (AMP) algorithm. In theoretical "spiked" models, EB-PCA achieves Bayes-optimal estimation accuracy in the same settings as an oracle Bayes AMP procedure that knows the true priors. Empirically, EB-PCA significantly improves over PCA when there is strong prior structure, both in simulation and on quantitative benchmarks constructed from the 1000 Genomes Project and the International HapMap Project. An illustration is presented for analysis of gene expression data obtained by single-cell RNA-seq.

0
0
下载
预览
Top