Tiven Wang
chevron_rightProbability chevron_rightMath

Probability - Maximum Likelihood Estimation

Google Earth
Wang Tiven August 31, 2018
425 favorite favorites
bookmark bookmark
share share

最大似然估计(maximum likelihood estimation) 是利用已知的样本的结果,在使用某个模型的基础上,反推最有可能导致这样结果的模型参数值。

举个通俗的例子:假设一个袋子装有白球与红球,比例未知,现在抽取 10 次(每次抽完都放回,保证事件独立性),假设抽到了 7 次白球和 3 次红球,在此数据样本条件下,可以采用最大似然估计法求解袋子中白球的比例(最大似然估计是一种“模型已定,参数未知”的方法)。当然,这种数据情况下很明显,白球的比例是 70% ,但如何通过理论的方法得到这个答案呢?一些复杂的条件下,是很难通过直观的方式获得答案的,这时候理论分析就尤为重要了,这也是学者们为何要提出最大似然估计的原因。

抽象理论化后的问题就是,假设抽中白球的概率为 ,在我们这个问题中那么抽中红球的概率则为 。又假设在我们的 次抽样中,抽中白球的次数为 ,抽中红球的次数为 。那么我们本次抽样的条件概率公式为

那么使此条件概率最大的参数就是最有可能的概率分布模型,那么就是说我们要求解 使此公式值最大。为了方便数学计算我们用 表示 公式重新表示为

下面我们通过求此函数的导数解函数的最大值

使用微分乘法定则 :

再由

代入公式

化简

接下来要做的就是求解

先变换一下公式为

然后

然后

现在求解此方程就等价于求解

那么

至此我们之前的例子中的白球的比例是 70% 是怎么来的从理论上就解释清楚了。

最大似然估计

我们现在再把此理论抽象到更高级别,假设理想中的概率分布模型是 ,现在进行 独立抽样的结果为 那么此结果的条件概率记为

因为此问题中要求解的是参数 所以我们定义似然

两边取 , 取 是为了将右边的乘号变为加号(根据 Ln Rules),方便求导。

此结果通常称之为对数似然。对取样个数取个平均值称为平均对数似然

最大似然估计的过程,就是找一个合适的 ,使得平均对数似然的值为最大。

正态分布的似然函数

举例,正态分布的似然函数

正态分布的公式,当 (期望) 为 0 , (方差) 为 1 时,分布称为标准正态分布:

将此正态分布函数代入似然函数得到

两边取对数(根据 Ln Rules)得

然后

假设 (期望) 为 0 ,我们求似然相对于变量 (方差) 的偏导数 (将 看作一个变量)(根据导数规则 Derivative Rules)

公式两边乘以

那么结果就是

如果加上参数

如果对 求偏导数

然后

最终

References

Similar Posts

Comments

Back to Top