参数估计：文本分析的参数估计方法

太过爱你忘了你带给我的痛 2022-07-24 12:17 181阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/51482120][blog.csdn.net_pipisorry_article_details_51482120]

文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。

# 参数估计    #

参数估计中，我们会遇到两个主要问题：（1）如何去估计参数的value。（2）估计出参数的value之后，如何去计算新的observation的概率，即进行回归分析和预测。  
首先定义一些符号：

![图片1][1]

![SouthEast][]

![SouthEast 1][]

数据集X中的所有Xi，他们是独立同分布的，因此后面求X 的概率的时候，xi可以相乘。

## 贝叶斯公式 ##

[![p(\\theta|X) = \\frac\{p(X|\\theta) \\cdot p(\\theta)\}\{p(X)\}][p_theta_X_ _ _frac_p_X_theta_ _cdot p_theta_p_X]][p_theta_X_ _ _frac_p_X_theta_ _cdot p_theta_p_X_p_theta_X_ _ _frac_p_X_theta_ _cdot p_theta_p_X]

这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即

[![posterior = \\frac\{likelihood \\cdot prior\}\{evidence\}][posterior _ _frac_likelihood _cdot prior_evidence]][posterior _ _frac_likelihood _cdot prior_evidence_posterior _ _frac_likelihood _cdot prior_evidence]

\[[概率图模型：贝叶斯网络与朴素贝叶斯网络][Link 1]\]

# 最大似然估计MLE #

\[[参数估计：最大似然估计MLE ][MLE]\]

# 最大后验估计MAP #

最大后验估计与最大似然估计相似，不同点在于估计[![\\theta][theta]][theta_theta]的函数中允许加入一个先验[![p(\\theta)][p_theta]][p_theta_p_theta]，也就是说此时不是要求似然函数最大，而是要求由贝叶斯公式计算出的整个后验概率最大，不是在整个后验概率上积分，而是搜索该分布的最大值，即

![SouthEast 2][]

![\\begin\{aligned\} \\hat\{\\theta\}\_\{MAP\} &= argmax\_\\theta \\frac\{p(X | \\theta) p(\\theta)\}\{p(X)\}\\\\ &= argmax\_\\theta p(X | \\theta)p(\\theta) \\\\ &= argmax\_\\theta \\\{L(\\theta|X) + \\log p(\\theta)\\\}\\\\ &= argmax\_\\theta \\\{\\sum\_\{x \\in X\} \\log p(x | \\theta) + \\log p(\\theta)\\\} \\end\{aligned\}][begin_aligned_ _hat_theta_MAP_ _ argmax_theta _frac_p_X _ _theta_ p_theta_p_X_ _ argmax_theta p_X _ _theta_p_theta_ _ _ argmax_theta _L_theta_X_ _ _log p_theta_ _ argmax_theta _sum_x _in X_ _log p_x _ _theta_ _ _log p_theta_ _end_aligned] ![Center][]

Note: 这里P（X）与参数![\\theta][theta]无关，因此等价于要使分子最大。

通过加上这个先验分布项，我们可以编码额外的信息，并且可以避免参数的过拟合问题。

与最大似然估计相比，现在需要多加上一个先验分布概率的对数。在实际应用中，这个先验可以用来描述人们已经知道或者接受的普遍规律。例如在扔硬币的试验中，每次抛出正面发生的概率应该服从一个概率分布，这个概率在0.5处取得最大值，这个分布就是先验分布。先验分布的参数我们称为超参数(hyperparameter)即[![p(\\theta)= p(\\theta|\\alpha)][p_theta_ p_theta_alpha]][p_theta_ p_theta_alpha_p_theta_ p_theta_alpha]，我们认为，theta也是服从一个先验分布的：alpha是他的超参数![SouthEast 3][]。

同样的道理，当上述后验概率取得最大值时，我们就得到根据MAP估计出的参数值。

![SouthEast 4][]

### 给定观测到的样本数据，一个新的值[![\\tilde\{x\}][tilde_x]][tilde_x_tilde_x]发生的概率是 ###

![SouthEast 5][]

Note: 这里积分第一项与theta无关（使用的是MAP值），所以第二项积分为1（也就是后验概率不随新来的数据变化，为1？）。

### 扔硬币的伯努利实验示例 ###

我们期望先验概率分布在0.5处取得最大值，我们可以选用Beta分布（lz：实际上选择beta分布的原因是beta分布和二项分布是共轭分布）即

[![p(p|\\alpha, \\beta) = \\frac\{1\}\{B(\\alpha, \\beta)\}p^\{\\alpha - 1\}(1-p)^\{\\beta - 1\} \\stackrel\{\\triangle\}\{=\}Beta(p|\\alpha, \\beta)][p_p_alpha_ _beta_ _ _frac_1_B_alpha_ _beta_p_alpha - 1_1-p_beta - 1_ _stackrel_triangle_Beta_p_alpha_ _beta]][p_p_alpha_ _beta_ _ _frac_1_B_alpha_ _beta_p_alpha - 1_1-p_beta - 1_ _stackrel_triangle_Beta_p_alpha_ _beta_p_p_alpha_ _beta_ _ _frac_1_B_alpha_ _beta_p_alpha - 1_1-p_beta - 1_ _stackrel_triangle_Beta_p_alpha_ _beta]

其中Beta函数展开是

[![B(\\alpha, \\beta) = \\frac\{\\Gamma(\\alpha)\\Gamma(\\beta)\}\{\\Gamma(\\alpha + \\beta)\}][B_alpha_ _beta_ _ _frac_Gamma_alpha_Gamma_beta_Gamma_alpha _ _beta]][B_alpha_ _beta_ _ _frac_Gamma_alpha_Gamma_beta_Gamma_alpha _ _beta_B_alpha_ _beta_ _ _frac_Gamma_alpha_Gamma_beta_Gamma_alpha _ _beta]

当x为正整数时

![\\Gamma(n) = (n-1)!\\,][Gamma_n_ _ _n-1]

Beta分布的随机变量范围是\[0,1\],所以可以生成normalized probability values。下图给出了不同参数情况下的Beta分布的概率密度函数

![1355540146_1316.JPG][]

我们取[![\\alpha = \\beta = 5][alpha _ _beta _ 5]][alpha _ _beta _ 5_alpha _ _beta _ 5],这样先验分布在0.5处取得最大值（观察上面的图，因为我们先验认为p约等于0.5，因此超参数a和b是相等的，我们这里选择等于5）。

现在我们来求解MAP估计函数的极值点，同样对p求导数，得到参数p的的最大后验估计值为

![\\frac\{\\partial \\hat\\theta\_\{MAP\}\}\{\\partial p\} = \\frac\{n^\{(1)\}\}\{p\}-\\frac\{n^\{(0)\}\}\{1-p\}+\\frac\{\\alpha - 1\}\{p\}-\\frac\{\\beta - 1\}\{1 - p\} = 0][frac_partial _hat_theta_MAP_partial p_ _ _frac_n_1_p_-_frac_n_0_1-p_frac_alpha - 1_p_-_frac_beta - 1_1 - p_ _ 0]后面两项是对log(p(p|alpha,beta))的求导

![SouthEast 6][]

和最大似然估计ML的结果对比可以发现结果中多了[![\\alpha -1 , \\alpha + \\beta -2][alpha -1 _ _alpha _ _beta -2]][alpha -1 _ _alpha _ _beta -2_alpha -1 _ _alpha _ _beta -2]，我们称这两者为pseudo count伪计数，这两项的作用是使总概率p向0.5拉近，因为我们的先验认为就是约等于0.5的。这样的pseudo-counts就是先验在起作用，并且超参数越大，为了改变先验分布传递的belief所需要的观察值就越多，此时对应的Beta函数越聚集，紧缩在其最大值两侧。

如果我们做20次实验，出现正面12次，反面8次，那么，根据MAP估计出来的参数p为16/28 = 0.571,小于最大似然估计得到的值0.6，这也显示了“硬币一般是两面均匀的”这一先验对参数估计的影响。

\[[主题模型TopicModel：LDA中的数学模型][TopicModel_LDA]\]

## MAP估计\*    ##

### MAP参数的敏感性以及后验概率形式的不敏感性 ###

### MAP表示独立性 ###

\[PGM原理与技术\]

## 最大后验查询的一个示例 ##

![Center 1][]

[皮皮blog][blog]

## 贝叶斯思想和贝叶斯参数估计    ##

\[ [贝叶斯思想和贝叶斯参数估计 ][Link 1]\]

## MLE,MAP和贝叶斯估计对参数估计的比较    ##

综上所述我们可以可视化MLE,MAP和贝叶斯估计对参数的估计结果如下

![1355540151_4648.JPG][]

lz：从MLE到MAP再到贝叶斯估计，对参数的表示越来越精确（由易到难，估计的value也越来越perfect），得到的参数估计结果也越来越接近0.5这个先验概率，越来越能够反映基于样本的真实参数情况。

### Why the MLE doesn’t work well? ###

While MLE is guaranteed to maximizes the probability of an observed data, we areactually interested in finding estimators that perform well on new data. A serious problemarises from this perspective because the MLE assigns a zero probability to elements thathave not been observed in the corpus. This means it will assign a zero probability to anysequence containing a previously unseen element.

from: [http://blog.csdn.net/pipisorry/article/details/51482120][blog.csdn.net_pipisorry_article_details_51482120]

ref: [Gregor Heinrich: Parameter estimation for text analysis][Gregor Heinrich_ Parameter estimation for text analysis]\*[  
][Link 2]

[参数估计（极大似然估计，极大后验概率估计，贝叶斯估计）][Link 2]\*[  
][Link 3]

[文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计][Link 3]

文本分析中的参数估计，以LDA为例，英文版：[Heinrich-GibbsLDA.pdf][]

[Reading Note : Parameter estimation for text analysis 暨LDA学习小结][Reading Note _ Parameter estimation for text analysis _LDA]

[统计学（四）：几种常见的参数估计方法][Link 4]

[blog.csdn.net_pipisorry_article_details_51482120]: http://blog.csdn.net/pipisorry/article/details/51482120
[1]: /images/20220722/cd1c9bf31245493f93e7e0a4f0cfdaed.png
[SouthEast]: /images/20220722/7eb1f4d224864066aadb72007f8e2c29.png
[SouthEast 1]: /images/20220722/ddd1fc95a67c4ebbb865300c20a5cbd0.png
[p_theta_X_ _ _frac_p_X_theta_ _cdot p_theta_p_X]: http://latex.codecogs.com/gif.latex?p%28%5Ctheta%7CX%29%20=%20%5Cfrac%7Bp%28X%7C%5Ctheta%29%20%5Ccdot%20p%28%5Ctheta%29%7D%7Bp%28X%29%7D
[p_theta_X_ _ _frac_p_X_theta_ _cdot p_theta_p_X_p_theta_X_ _ _frac_p_X_theta_ _cdot p_theta_p_X]: /images/20220722/4a5ee5384840405ba9c85a6557ab9436.png
[posterior _ _frac_likelihood _cdot prior_evidence]: http://latex.codecogs.com/gif.latex?posterior%20=%20%5Cfrac%7Blikelihood%20%5Ccdot%20prior%7D%7Bevidence%7D
[posterior _ _frac_likelihood _cdot prior_evidence_posterior _ _frac_likelihood _cdot prior_evidence]: /images/20220722/6473bf1693974b329efc949e96a88f34.png
[Link 1]: http://blog.csdn.net/pipisorry/article/details/51471222
[MLE]: http://blog.csdn.net/pipisorry/article/details/51461997
[theta]: /images/20220722/e65d8e91510f4c558ca08e23d60a6d43.png
[theta_theta]: http://private.codecogs.com/eqnedit.php?latex=%5Ctheta
[p_theta]: http://latex.codecogs.com/gif.latex?p%28%5Ctheta%29
[p_theta_p_theta]: /images/20220722/073432c7bbd24ba498135b91e71a486c.png
[SouthEast 2]: /images/20220722/de3205aa94a64f7f838597447c5fec80.png
[begin_aligned_ _hat_theta_MAP_ _ argmax_theta _frac_p_X _ _theta_ p_theta_p_X_ _ argmax_theta p_X _ _theta_p_theta_ _ _ argmax_theta _L_theta_X_ _ _log p_theta_ _ argmax_theta _sum_x _in X_ _log p_x _ _theta_ _ _log p_theta_ _end_aligned]: http://latex.codecogs.com/gif.latex?%5Cbegin%7Baligned%7D%20%5Chat%7B%5Ctheta%7D_%7BMAP%7D%20&=%20argmax_%5Ctheta%20%5Cfrac%7Bp%28X%20%7C%20%5Ctheta%29%20p%28%5Ctheta%29%7D%7Bp%28X%29%7D%5C%5C%20&=%20argmax_%5Ctheta%20p%28X%20%7C%20%5Ctheta%29p%28%5Ctheta%29%20%5C%5C%20&=%20argmax_%5Ctheta%20%5C%7BL%28%5Ctheta%7CX%29%20+%20%5Clog%20p%28%5Ctheta%29%5C%7D%5C%5C%20&=%20argmax_%5Ctheta%20%5C%7B%5Csum_%7Bx%20%5Cin%20X%7D%20%5Clog%20p%28x%20%7C%20%5Ctheta%29%20+%20%5Clog%20p%28%5Ctheta%29%5C%7D%20%5Cend%7Baligned%7D
[Center]: /images/20220722/c74b928d0a5e4e36adb89c64223bff4e.png
[p_theta_ p_theta_alpha]: http://latex.codecogs.com/gif.latex?p%28%5Ctheta%29=%20p%28%5Ctheta%7C%5Calpha%29
[p_theta_ p_theta_alpha_p_theta_ p_theta_alpha]: /images/20220722/073432c7bbd24ba498135b91e71a486c.png=%20p%28%5Ctheta%7C%5Calpha%29
[SouthEast 3]: /images/20220722/dd151034ec2d4f7b88e470f45a0fbaed.png
[SouthEast 4]: /images/20220722/f472b5a3af1341fcbd2f96d7b8a1fa51.png
[tilde_x]: http://latex.codecogs.com/gif.latex?%5Ctilde%7Bx%7D
[tilde_x_tilde_x]: /images/20220722/9aebc6adb2984b499f3616f555775cb4.png
[SouthEast 5]: /images/20220722/a8ab2b1ab5a84bbcad3ff574ea6a04ca.png
[p_p_alpha_ _beta_ _ _frac_1_B_alpha_ _beta_p_alpha - 1_1-p_beta - 1_ _stackrel_triangle_Beta_p_alpha_ _beta]: http://latex.codecogs.com/gif.latex?p%28p%7C%5Calpha,%20%5Cbeta%29%20=%20%5Cfrac%7B1%7D%7BB%28%5Calpha,%20%5Cbeta%29%7Dp%5E%7B%5Calpha%20-%201%7D%281-p%29%5E%7B%5Cbeta%20-%201%7D%20%5Cstackrel%7B%5Ctriangle%7D%7B=%7DBeta%28p%7C%5Calpha,%20%5Cbeta%29
[p_p_alpha_ _beta_ _ _frac_1_B_alpha_ _beta_p_alpha - 1_1-p_beta - 1_ _stackrel_triangle_Beta_p_alpha_ _beta_p_p_alpha_ _beta_ _ _frac_1_B_alpha_ _beta_p_alpha - 1_1-p_beta - 1_ _stackrel_triangle_Beta_p_alpha_ _beta]: /images/20220722/f0c7f7bbda4a43168ebbb0fe2682ae7f.png
[B_alpha_ _beta_ _ _frac_Gamma_alpha_Gamma_beta_Gamma_alpha _ _beta]: http://latex.codecogs.com/gif.latex?B%28%5Calpha,%20%5Cbeta%29%20=%20%5Cfrac%7B%5CGamma%28%5Calpha%29%5CGamma%28%5Cbeta%29%7D%7B%5CGamma%28%5Calpha%20+%20%5Cbeta%29%7D
[B_alpha_ _beta_ _ _frac_Gamma_alpha_Gamma_beta_Gamma_alpha _ _beta_B_alpha_ _beta_ _ _frac_Gamma_alpha_Gamma_beta_Gamma_alpha _ _beta]: /images/20220722/af4265b920b54817b4280bac16151789.png
[Gamma_n_ _ _n-1]: /images/20220722/117ac9ea0f954711abe74b25a8d27318.png
[1355540146_1316.JPG]: https://img-my.csdn.net/uploads/201212/15/1355540146_1316.JPG
[alpha _ _beta _ 5]: http://latex.codecogs.com/gif.latex?%5Calpha%20=%20%5Cbeta%20=%205
[alpha _ _beta _ 5_alpha _ _beta _ 5]: /images/20220722/40a9b7c657dc4e4f881bd740ffe32dfc.png
[frac_partial _hat_theta_MAP_partial p_ _ _frac_n_1_p_-_frac_n_0_1-p_frac_alpha - 1_p_-_frac_beta - 1_1 - p_ _ 0]: http://latex.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%5Chat%5Ctheta_%7BMAP%7D%7D%7B%5Cpartial%20p%7D%20=%20%5Cfrac%7Bn%5E%7B%281%29%7D%7D%7Bp%7D-%5Cfrac%7Bn%5E%7B%280%29%7D%7D%7B1-p%7D+%5Cfrac%7B%5Calpha%20-%201%7D%7Bp%7D-%5Cfrac%7B%5Cbeta%20-%201%7D%7B1%20-%20p%7D%20=%200
[SouthEast 6]: /images/20220722/538c38dc40a3412a8ab7e9658905b76a.png
[alpha -1 _ _alpha _ _beta -2]: http://latex.codecogs.com/gif.latex?%5Calpha%20-1%20,%20%5Calpha%20+%20%5Cbeta%20-2
[alpha -1 _ _alpha _ _beta -2_alpha -1 _ _alpha _ _beta -2]: /images/20220722/7915759f88db48d1a9952d3bdf447746.png
[TopicModel_LDA]: http://blog.csdn.net/pipisorry/article/details/42672935
[Center 1]: /images/20220722/b55ee05d964540ffb260fdc13a5b1a8c.png
[blog]: http://blog.csdn.net/pipisorry
[1355540151_4648.JPG]: https://img-my.csdn.net/uploads/201212/15/1355540151_4648.JPG
[Gregor Heinrich_ Parameter estimation for text analysis]: http://download.csdn.net/detail/pipisorry/9528581
[Link 2]: http://blog.csdn.net/u013884727/article/details/23538983
[Link 3]: http://blog.csdn.net/yangliuy/article/details/8296481
[Heinrich-GibbsLDA.pdf]: http://faculty.cs.byu.edu/~ringger/CS601R/papers/Heinrich-GibbsLDA.pdf
[Reading Note _ Parameter estimation for text analysis _LDA]: http://www.xperseverance.net/blogs/2013/03/1744/
[Link 4]: http://blog.sina.com.cn/s/blog_52510b1d01014xks.html