最大似然估计（MLE）最大后验概率（MAP）及贝叶斯公示复习

小灰灰 2022-06-17 10:58 284阅读 0赞

##  ##

统计学习方法中讲到统计学习三要素：模型策略和算法，其中策略包括经验风险最小化和结构风险最小化。

极大似然估计就是经验风险最小化的一个例子，当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。

最大后验概率估计就是结构风险最小化的一个例子，当模型是条件概率分布，损失函数是对数损失函数，模型的复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估计。

下面复习一下最大似然估计和最大后验概率。

先概括：

最大似然估计就是模型已定，求能够使得产出观测数据的概率最大的参数（这个概率是该参数下产出观测数据的概率，这个条件概率就叫似然函数，求导计算似然函数的最大值）

最大后验估计加了先验知识，求观测数据条件下概率最大的参数，与此同时参数具有先验分布（这个概率是观测值条件下的参数的概率，这个条件概率是后验概率，通过贝叶斯公式展开后将参数的先验概率也带入，最后求导计算后验概率的最大值）

（1）条件概率公式

设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：

P(A|B)=P(AB)/P(B)

（2）乘法公式

1.由条件概率公式得：

P(AB)=P(A|B)P(B)=P(B|A)P(A)

上式即为乘法公式；

2.乘法公式的推广：对于任何正整数n≥2，当P(A1A2...An-1) > 0 时，有：

P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1)

（3）全概率公式

1. 如果事件组B1，B2，.... 满足

1.B1，B2....两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;

2.B1∪B2∪....=Ω ，则称事件组 B1,B2,...是样本空间Ω的一个划分

设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则：

![953214-20160630111733843-1686464542.png][]

上式即为全概率公式（formula of total probability)

2.全概率公式的意义在于，当直接计算P(A)较为困难,而P(Bi),P(A|Bi) (i=1,2,...)的计算较为简单时，可以利用全概率公式计算P(A)。思想就是，将事件A分解成几个小事件，通过求小事件的概率，然后相加从而求得事件A的概率，而将事件A进行分割的时候，不是直接对A进行分割，而是先找到样本空间Ω的一个个划分B1,B2,...Bn,这样事件A就被事件AB1,AB2,...ABn分解成了n部分，即A=AB1+AB2+...+ABn, 每一Bi发生都可能导致A发生相应的概率是P(A|Bi)，由加法公式得

P(A)=P(AB1)+P(AB2)+....+P(ABn)

=P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(PBn)

3.实例：某车间用甲、乙、丙三台机床进行生产，各台机床次品率分别为5%，4%，2%，它们各自的产品分别占总量的25%，35%，40%，将它们的产品混在一起，求任取一个产品是次品的概率。

解：设..... P(A)=25%\*5%+4%\*35%+2%\*40%=0.0345

（4）贝叶斯公式

1.与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件Bi的概率），设B1,B2,...是样本空间Ω的一个划分，则对任一事件A（P(A)>0),有

![953214-20160630121812593-365388673.png][]

上式即为贝叶斯公式（Bayes formula)，Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,...)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)(i=1,2...)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

2.实例：发报台分别以概率0.6和0.4发出信号“∪”和“—”。由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2受到信号“∪”和“—”；又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”。求当收报台收到信号“∪”时，发报台确系发出“∪”的概率。

解：设....， P(B1|A）= (0.6\*0.8)/(0.6\*0.8+0.4\*0.1)=0.923

贝叶斯公式：

![p(\\theta|x)=\{p(x|\\theta)p(\\theta)\\over p(x)\}][p_theta_x_p_x_theta_p_theta_over p_x]

![x][] : 观察得到的数据（结果）

![\\theta][theta] : 决定数据分布的参数（原因）

![p(\\theta|x)][p_theta_x] : posterior

![p(\\theta)][p_theta] : prior

![p(x|\\theta)][p_x_theta] : likelihood

![p(x)][p_x] : evidence

**1） 最大似然估计 MLE**

给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Estimation）就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大：

![380470-20151218185339396-502244560.png][]

其中![380470-20151218185404631-1360341878.png][]就是似然函数，表示在参数![380470-20151218185443568-1206696418.png][]下出现观测数据的概率。我们假设每个观测数据是独立的，那么有

![380470-20151218185601193-496236570.png][]

为了求导方便，一般对目标取log。 所以最优化对似然函数等同于最优化对数似然函数：

![380470-20151218185756787-1031561528.png][]

举一个抛硬币的简单例子。 现在有一个正反面不是很匀称的硬币，如果正面朝上记为H，方面朝上记为T，抛10次的结果如下：

![380470-20151218190119209-2108836109.png][]

求这个硬币正面朝上的概率有多大？

很显然这个概率是0.2。现在我们用MLE的思想去求解它。我们知道每次抛硬币都是一次二项分布，设正面朝上的概率是![380470-20151218185443568-1206696418.png][]，那么似然函数为：

![380470-20151218190401865-951512282.png][]

x=1表示正面朝上，x=0表示方面朝上。那么有：

![380470-20151218190535631-411872334.png][]

求导：

![380470-20151218190605146-581761779.png][]

令导数为0，很容易得到：

![380470-20151218190658865-2065677698.png][]

也就是0.2 。

**2） 最大后验概率 MAP**

以上MLE求的是找出一组能够使似然函数最大的参数，即![380470-20151218185339396-502244560.png][]。 现在问题稍微复杂一点点，假如这个参数![380470-20151218185443568-1206696418.png][]有一个先验概率呢？比如说，在上面抛硬币的例子，假如我们的经验告诉我们，硬币一般都是匀称的，也就是![380470-20151218185443568-1206696418.png][]=0.5的可能性最大，![380470-20151218185443568-1206696418.png][]=0.2的可能性比较小，那么参数该怎么估计呢？这就是MAP要考虑的问题。 MAP优化的是一个后验概率，即给定了观测值后使![380470-20151218185443568-1206696418.png][]概率最大：

![380470-20151218191400099-882934298.png][]

把上式根据贝叶斯公式展开：

![380470-20151218191453865-1094382874.png][]

我们可以看出第一项![380470-20151218191534834-539539292.png][]就是似然函数，第二项![380470-20151218191554365-288355295.png][]就是参数的先验知识。取log之后就是：

![380470-20151218191812240-237456203.png][]

回到刚才的抛硬币例子，假设参数![380470-20151218185443568-1206696418.png][]有一个先验估计，它服从Beta分布，即：

![380470-20151218191918474-1188077948.png][]

而每次抛硬币任然服从二项分布：

![380470-20151218191957474-1172231374.png][]

那么，目标函数的导数为：

![380470-20151218192123599-751696534.png][]

求导的第一项已经在上面MLE中给出了，第二项为：

![380470-20151218192230724-363312583.png][]

令导数为0，求解为：

![380470-20151218192644412-359909545.png][]

其中，![380470-20151218192704052-728864214.png][]表示正面朝上的次数。这里看以看出，MLE与MAP的不同之处在于，MAP的结果多了一些先验分布的参数。

补充知识： Beta分布

Beat分布是一种常见的先验分布，它形状由两个参数控制，定义域为\[0,1\]

![380470-20151218193048552-330606666.png][]

Beta分布的最大值是x等于![380470-20151218193128177-1082829844.png][]的时候：

![380470-20151218193702740-1370993242.png][]

所以在抛硬币中，如果先验知识是说硬币是匀称的，那么就让![380470-20151218193318224-1806743470.png][]。 但是很显然即使它们相等，它两的值也对最终结果很有影响。它两的值越大，表示偏离匀称的可能性越小：

![380470-20151218193605146-266304364.png][]

[953214-20160630111733843-1686464542.png]: /images/20220617/c754eaf68bff485dba8352a135cb4201.png
[953214-20160630121812593-365388673.png]: /images/20220617/218aa9dfa8ab465c8e071a40ee527ef4.png
[p_theta_x_p_x_theta_p_theta_over p_x]: /images/20220617/a9173ad7154145d8b3242ddbc2827fab.png%3D%7Bp%28x%7C%5Ctheta%29p%28%5Ctheta%29%5Cover+p%28x%29%7D
[x]: /images/20220617/639484fffea54b45af74d63a7e2e80f5.png
[theta]: /images/20220617/9b5da6decc874be1b1775a464b264eb2.png
[p_theta_x]: /images/20220617/a9173ad7154145d8b3242ddbc2827fab.png
[p_theta]: /images/20220617/31ad47905679463db80b9f1795e07b30.png
[p_x_theta]: /images/20220617/aecfb0c3c3ec40eeb255f03478e1ac4d.png
[p_x]: /images/20220617/53cb6e9df3c3473bba213dd772943397.png
[380470-20151218185339396-502244560.png]: /images/20220617/0c82cf8c371741949750ab5f9eea8bed.png
[380470-20151218185404631-1360341878.png]: http://images2015.cnblogs.com/blog/380470/201512/380470-20151218185404631-1360341878.png
[380470-20151218185443568-1206696418.png]: /images/20220617/3a597748a6b54826b4ecd3fb8c911b40.png
[380470-20151218185601193-496236570.png]: /images/20220617/30371260a4ac498894053fd2eb65be67.png
[380470-20151218185756787-1031561528.png]: /images/20220617/71a49713201e4af6bda0cc27ceb36e2d.png
[380470-20151218190119209-2108836109.png]: /images/20220617/99fd0dbb357e4957a322a3b4ba2fd7ab.png
[380470-20151218190401865-951512282.png]: /images/20220617/6202555ef62c4da39a859a9960e5f95b.png
[380470-20151218190535631-411872334.png]: /images/20220617/609d8bf23d3344ccaa8058e27abd777f.png
[380470-20151218190605146-581761779.png]: /images/20220617/345baccf3319476eaa91ba549891de66.png
[380470-20151218190658865-2065677698.png]: /images/20220617/239d1176c0ec4e45af174a66214f2e12.png
[380470-20151218191400099-882934298.png]: /images/20220617/366241cf6dbd4e1dbc820600a03331e4.png
[380470-20151218191453865-1094382874.png]: /images/20220617/ed96858d53e64ce6acf5c558cd6e3ff6.png
[380470-20151218191534834-539539292.png]: http://images2015.cnblogs.com/blog/380470/201512/380470-20151218191534834-539539292.png
[380470-20151218191554365-288355295.png]: /images/20220617/121cba1cbd7a4600914d76cb8b1a6f5a.png
[380470-20151218191812240-237456203.png]: /images/20220617/37a8f3942a2e46b5b839efc526809223.png
[380470-20151218191918474-1188077948.png]: /images/20220617/f02fa3bb17b84b23983c1e9ce840eb1f.png
[380470-20151218191957474-1172231374.png]: /images/20220617/542a8f2738c747a1ac920be39f560a6f.png
[380470-20151218192123599-751696534.png]: /images/20220617/0c6c699be6db4a44919f5f4ef3588e3a.png
[380470-20151218192230724-363312583.png]: /images/20220617/fbdd01502bc842f48f8ae711e29f1ad7.png
[380470-20151218192644412-359909545.png]: /images/20220617/06118e29a84d4d9dba66768d88e94029.png
[380470-20151218192704052-728864214.png]: /images/20220617/02531ac4763140719083630f9a8522c3.png
[380470-20151218193048552-330606666.png]: /images/20220617/1cbbf2633211455a8a2617e5666273fc.png
[380470-20151218193128177-1082829844.png]: /images/20220617/7938ac293d7449e2a0b87175404c6ab1.png
[380470-20151218193702740-1370993242.png]: /images/20220617/362e5a4095c64e2d98a2f0f625954334.png
[380470-20151218193318224-1806743470.png]: /images/20220617/9ec4547d4219415199057a80cf758fbe.png
[380470-20151218193605146-266304364.png]: /images/20220617/5dce2365404241f1bc26a14e9c585437.png