参数估计：最大似然估计MLE

╰半夏微凉° 2022-07-24 10:27 309阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/51461997][blog.csdn.net_pipisorry_article_details_51461997]

# 最大似然估计MLE    #

顾名思义，当然是要找到一个参数，使得L最大，为什么要使得它最大呢，因为X都发生了，即基于一个参数发生的，那么当然就得使得它发生的概率最大。

最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做

[![L(\\theta | X) = p(X | \\theta) = \\prod\_\{x \\in X\}\{p(X = x | \\theta)\}][L_theta _ X_ _ p_X _ _theta_ _ _prod_x _in X_p_X _ x _ _theta]][L_theta _ X_ _ p_X _ _theta_ _ _prod_x _in X_p_X _ x _ _theta_L_theta _ X_ _ p_X _ _theta_ _ _prod_x _in X_p_X _ x _ _theta]

Note: p(x|theta)不总是代表条件概率；也就是说p(x|theta)不代表条件概率时与p(x;theta)等价，而一般地写竖杠表示条件概率，是随机变量；写分号p(x; theta)表示待估参数（是固定的，只是当前未知）,应该可以直接认为是p(x)，加了;是为了说明这里有个theta的参数，p(x; theta)意思是随机变量X=x的概率。在贝叶斯理论下又叫X=x的先验概率。相乘因为它们之间是独立同分布的。

MLE通常使用对数似然函数

使用log-likelihood比原始函数好的原因：

1 由于有连乘运算，通常对似然函数取对数计算简便，即对数似然函数。it's kind of analytically nice to work with log-likelihood.

2 multiplying small numbers the numerical errors start to add up and start to propagate.If we are summing together small numbers,the numerical errors are not so serious.

3 log函数是单调的，所有东西保持不变。

最大似然估计问题可以写成

[![\\hat\{\\theta\}\_\{ML\} = argmax\_\\theta L(\\theta | X) = argmax\_\\theta \\sum\_\{x \\in X\}\\log p(x|\\theta)][hat_theta_ML_ _ argmax_theta L_theta _ X_ _ argmax_theta _sum_x _in X_log p_x_theta]][hat_theta_ML_ _ argmax_theta L_theta _ X_ _ argmax_theta _sum_x _in X_log p_x_theta_hat_theta_ML_ _ argmax_theta L_theta _ X_ _ argmax_theta _sum_x _in X_log p_x_theta]

这是一个关于[![\\theta][theta]][theta_theta]的函数，求解这个优化问题通常对[![\\theta][theta]][theta_theta]求导，得到导数为0的极值点。该函数取得最大值是对应的[![\\theta][theta]][theta_theta]的取值就是我们估计的模型参数。

![SouthEast][]

### 给定观测到的样本数据，一个新的值[![\\tilde\{x\}][tilde_x]][tilde_x_tilde_x]发生的概率是 ###

求出参数值不是最终目的，最终目的是去预测新事件基于这个参数下发生的概率。

![SouthEast 1][]

Note: 注意有一个约等于，因为他进行了一个近似的替换，将theta替换成了估计的值，便于计算。that is, the next sample is anticipated to be distributed with the estimated parameters θ ˆ ML .

### 扔硬币的伯努利实验示例    ###

以扔硬币的伯努利实验为例子，N次实验的结果服从二项分布，参数为P，即每次实验事件发生的概率，不妨设为是得到正面的概率。为了估计P，采用最大似然估计，似然函数可以写作

[![\\begin\{aligned\} L &= \\log\\prod\_\{i=1\}^Np(C=c\_i|p)=\\sum\_\{i=1\}^N\\log p(C=c\_i|p) \\\\ &= n^\{(1)\}\\log p(C = 1|p) + n^\{(0)\}\\log p(C = 0|p)\\\\ &= n^\{(1)\}\\log p + n^\{(0)\}\\log (1-p) \\end\{aligned\}][begin_aligned_ L _ _log_prod_i_1_Np_C_c_i_p_sum_i_1_N_log p_C_c_i_p_ _ _ n_1_log p_C _ 1_p_ _ n_0_log p_C _ 0_p_ _ n_1_log p _ n_0_log _1-p_ _end_aligned]][begin_aligned_ L _ _log_prod_i_1_Np_C_c_i_p_sum_i_1_N_log p_C_c_i_p_ _ _ n_1_log p_C _ 1_p_ _ n_0_log p_C _ 0_p_ _ n_1_log p _ n_0_log _1-p_ _end_aligned_begin_aligned_ L _ _log_prod_i_1_Np_C_c_i_p_sum_i_1_N_log p_C_c_i_p_ _ _ n_1_log p_C _ 1_p_ _ n_0_log p_C _ 0_p_ _ n_1_log p _ n_0_log _1-p_ _end_aligned]

其中[![n^i][n_i]][n_i_n_i]表示实验结果为i的次数。下面求似然函数的极值点，有

[![\\frac\{\\partial\{L\}\} \{\\partial\{p\}\} = \\frac\{n^\{(1)\}\}\{p\} - \\frac\{n^\{(0)\}\}\{1-p\} = 0][frac_partial_L_ _partial_p_ _ _frac_n_1_p_ - _frac_n_0_1-p_ _ 0]][frac_partial_L_ _partial_p_ _ _frac_n_1_p_ - _frac_n_0_1-p_ _ 0_frac_partial_L_ _partial_p_ _ _frac_n_1_p_ - _frac_n_0_1-p_ _ 0]

得到参数p的最大似然估计值为

[![\\hat\{p\}\_\{ML\} = \\frac\{n^\{(1)\}\}\{n^\{(1)\} + n^\{(0)\}\} = \\frac\{n^\{(1)\}\}\{N\}][hat_p_ML_ _ _frac_n_1_n_1_ _ n_0_ _ _frac_n_1_N]][hat_p_ML_ _ _frac_n_1_n_1_ _ n_0_ _ _frac_n_1_N_hat_p_ML_ _ _frac_n_1_n_1_ _ n_0_ _ _frac_n_1_N]

可以看出二项分布中每次事件发的概率p就等于做N次独立重复随机试验中事件发生的概率。

如果我们做20次实验，出现正面12次，反面8次，那么根据最大似然估计得到参数值p为12/20 = 0.6。

\[[Gregor Heinrich: Parameter estimation for text analysis][Gregor Heinrich_ Parameter estimation for text analysis]\*\]

### MLE的一个最简单清晰的示例 ###

![Center][]

![Center 1][]

[皮皮blog][blog]

# 最大似然估计MLE #

能最大化已观测到的观测序列的似然的参数就是估计的参数值。

![Center 2][]

## 图钉的例子 ##

![Center 3][]

![Center 4][]

### 为不同参数theta的可能值打分并选择的一种标准    ###

![Center 5][]

### 一般情况下的MLE    ###

![Center 6][]

![Center 7][]

## 最大似然准则 ##

### 参数模型和参数空间 ###

![Center 8][]

![Center 9][]

![Center 10][]

![Center 11][]

### 似然函数的定义 ###

![Center 12][]

充分统计量

![Center 13][]

![Center 14][]

![Center 15][]

### MLE的注解 ###

MLE的缺陷：置信区间

![Center 16][]

似然函数度量了参数选择对于训练数据的影响。

![Center 17][]

似然函数的要求

![Center 18][]

\[《Probabilistic Graphical Models：Principles and Techniques》(简称PGM)\]

[皮皮blog][blog]  
from: [http://blog.csdn.net/pipisorry/article/details/51461997][blog.csdn.net_pipisorry_article_details_51461997]

ref:

[blog.csdn.net_pipisorry_article_details_51461997]: http://blog.csdn.net/pipisorry/article/details/51461997
[L_theta _ X_ _ p_X _ _theta_ _ _prod_x _in X_p_X _ x _ _theta]: http://latex.codecogs.com/gif.latex?L%28%5Ctheta%20%7C%20X%29%20=%20p%28X%20%7C%20%5Ctheta%29%20=%20%5Cprod_%7Bx%20%5Cin%20X%7D%7Bp%28X%20=%20x%20%7C%20%5Ctheta%29%7D
[L_theta _ X_ _ p_X _ _theta_ _ _prod_x _in X_p_X _ x _ _theta_L_theta _ X_ _ p_X _ _theta_ _ _prod_x _in X_p_X _ x _ _theta]: /images/20220722/71e3426b34e949a398f762fe93dfd3d0.png
[hat_theta_ML_ _ argmax_theta L_theta _ X_ _ argmax_theta _sum_x _in X_log p_x_theta]: http://latex.codecogs.com/gif.latex?%5Chat%7B%5Ctheta%7D_%7BML%7D%20=%20argmax_%5Ctheta%20L%28%5Ctheta%20%7C%20X%29%20=%20argmax_%5Ctheta%20%5Csum_%7Bx%20%5Cin%20X%7D%5Clog%20p%28x%7C%5Ctheta%29
[hat_theta_ML_ _ argmax_theta L_theta _ X_ _ argmax_theta _sum_x _in X_log p_x_theta_hat_theta_ML_ _ argmax_theta L_theta _ X_ _ argmax_theta _sum_x _in X_log p_x_theta]: /images/20220722/723ea53e7c34428688e9c8b87b810d3a.png
[theta]: http://latex.codecogs.com/gif.latex?%5Ctheta
[theta_theta]: /images/20220722/9ac40ef031b243da84fcec551b75c3d3.png
[SouthEast]: /images/20220722/7b055822aa5f4d5bbd128f25b1f7a6ef.png
[tilde_x]: http://latex.codecogs.com/gif.latex?%5Ctilde%7Bx%7D
[tilde_x_tilde_x]: /images/20220722/2e43a4024a7447da999ad2a907642e02.png
[SouthEast 1]: /images/20220722/064d7873a1804720ac0343bce3e62666.png
[begin_aligned_ L _ _log_prod_i_1_Np_C_c_i_p_sum_i_1_N_log p_C_c_i_p_ _ _ n_1_log p_C _ 1_p_ _ n_0_log p_C _ 0_p_ _ n_1_log p _ n_0_log _1-p_ _end_aligned]: http://latex.codecogs.com/gif.latex?%5Cbegin%7Baligned%7D%20L%20&=%20%5Clog%5Cprod_%7Bi=1%7D%5ENp%28C=c_i%7Cp%29=%5Csum_%7Bi=1%7D%5EN%5Clog%20p%28C=c_i%7Cp%29%20%5C%5C%20&=%20n%5E%7B%281%29%7D%5Clog%20p%28C%20=%201%7Cp%29%20+%20n%5E%7B%280%29%7D%5Clog%20p%28C%20=%200%7Cp%29%5C%5C%20&=%20n%5E%7B%281%29%7D%5Clog%20p%20+%20n%5E%7B%280%29%7D%5Clog%20%281-p%29%20%5Cend%7Baligned%7D
[begin_aligned_ L _ _log_prod_i_1_Np_C_c_i_p_sum_i_1_N_log p_C_c_i_p_ _ _ n_1_log p_C _ 1_p_ _ n_0_log p_C _ 0_p_ _ n_1_log p _ n_0_log _1-p_ _end_aligned_begin_aligned_ L _ _log_prod_i_1_Np_C_c_i_p_sum_i_1_N_log p_C_c_i_p_ _ _ n_1_log p_C _ 1_p_ _ n_0_log p_C _ 0_p_ _ n_1_log p _ n_0_log _1-p_ _end_aligned]: /images/20220722/abe4dc059b9145d391334145314b7da2.png
[n_i]: http://latex.codecogs.com/gif.latex?n%5Ei
[n_i_n_i]: /images/20220722/6c72f37da95c4a69956caba74354c763.png
[frac_partial_L_ _partial_p_ _ _frac_n_1_p_ - _frac_n_0_1-p_ _ 0]: http://latex.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%7BL%7D%7D%20%7B%5Cpartial%7Bp%7D%7D%20=%20%5Cfrac%7Bn%5E%7B%281%29%7D%7D%7Bp%7D%20-%20%5Cfrac%7Bn%5E%7B%280%29%7D%7D%7B1-p%7D%20=%200
[frac_partial_L_ _partial_p_ _ _frac_n_1_p_ - _frac_n_0_1-p_ _ 0_frac_partial_L_ _partial_p_ _ _frac_n_1_p_ - _frac_n_0_1-p_ _ 0]: /images/20220722/141ef4048da944548823e98c53023543.png
[hat_p_ML_ _ _frac_n_1_n_1_ _ n_0_ _ _frac_n_1_N]: http://latex.codecogs.com/gif.latex?%5Chat%7Bp%7D_%7BML%7D%20=%20%5Cfrac%7Bn%5E%7B%281%29%7D%7D%7Bn%5E%7B%281%29%7D%20+%20n%5E%7B%280%29%7D%7D%20=%20%5Cfrac%7Bn%5E%7B%281%29%7D%7D%7BN%7D
[hat_p_ML_ _ _frac_n_1_n_1_ _ n_0_ _ _frac_n_1_N_hat_p_ML_ _ _frac_n_1_n_1_ _ n_0_ _ _frac_n_1_N]: /images/20220722/ddd386232bba43738acb831376133664.png
[Gregor Heinrich_ Parameter estimation for text analysis]: http://download.csdn.net/detail/pipisorry/9528581
[Center]: /images/20220722/bf11757d10ff495db93e642016c22249.png
[Center 1]: /images/20220722/84369e3e52f541efb2ea14f0911a9734.png
[blog]: http://blog.csdn.net/pipisorry
[Center 2]: /images/20220722/687a90d3a06649e08ddfa89354bbc202.png
[Center 3]: /images/20220722/54ed27a42b01438ca9419766e9a9825f.png
[Center 4]: /images/20220722/8df85e21656a498fafcd897cf5b47409.png
[Center 5]: /images/20220722/bae79d27caf541e08c9b51ea3d1a037d.png
[Center 6]: /images/20220722/bf86f0ce217441a2954fb1323ea45919.png
[Center 7]: /images/20220722/aa8027fc1b90451da7736ba3eed64df7.png
[Center 8]: /images/20220722/751691e51281447f9f35245413613f35.png
[Center 9]: /images/20220722/9fade7c18fc440cb9e12058a8e6389db.png
[Center 10]: /images/20220722/45e56c1f6a3542ffb2ae4f27d96b929c.png
[Center 11]: /images/20220722/57d562634d9445a1923250910bfb14ac.png
[Center 12]: /images/20220722/67e3790458ea40638761c88e8228b4c3.png
[Center 13]: /images/20220722/4d44d7689ec142c9a2293775157953aa.png
[Center 14]: /images/20220722/65b43685bb684d76b6b6020053f41138.png
[Center 15]: /images/20220722/947a50d891c04f9c960d276f2dc8c3d2.png
[Center 16]: /images/20220722/e5178b79faa1445c8203ab9a86cfd81f.png
[Center 17]: /images/20220722/5b32fd2af22b4686a43cdf13c0660782.png
[Center 18]: /images/20220722/92356568b6664d1991295a39dfc98c92.png