极大似然估计法的理解和用途

喜欢ヅ旅行 2021-10-30 00:24 418阅读 0赞

在`机器学习`的算法中，经常看到极大似然估计的身影，不接触数学一段时间的我，对它又熟悉又陌生，还是决定系统的写一下极大似然估计的思想。  
  极大似然估计法是求`点估计`的常用方法之一。极大似然估计法是建立在已知`总体分部形式`上的估计方法。

### 1. 基本思想 ###

**思想**：在给定样本观察值的条件下，用使这组样本观察值出现概率最大的![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]参数 θ 的估计。  
可能仅凭一句话还不好理解，下面我们看一个**例子**：

设一个口袋中装有许多个白球和黑球，但不知道是黑球多还是白球多，只知道两种颜色球的数目之比是1：3。从袋中任取一球，取得黑球的概率 θ 是 1/4 或 3/4 。试通过实验来推断抽到黑球的概率 θ 取 1/4 或 3/4 哪个值更合理。  
  **解**  
  总体X服从两点分布B（1，θ），参数空间为**Θ** = \{1/4 ， 3/4\}，θ ∈ **Θ**。采用有放回抽样方式，从袋中抽取n次，每次抽取一个球，抽到黑球记为1，否则记为0，得到样本 X1，X2，…，Xn的观察值 x1，x2，…，xn，其发生的概率为

p(x1，x2，...，xn ; θ) = θ^k \*（1 - θ）^(n - k)  其中 k = x1 + x2 + ... + xn。  
为了解释极大似然估计法的原理，仅考虑n = 3的情形。给定观察值x1，x2，x3，对 θ = 1/4 和 3/4 ，分别计算样本联合分布列p（k ；θ）= p(x1，x2，x3；θ)，其结果如下：  
表n = 3时样本联合分布列

由表可知，若抽取的3个球中观察到黑球个数k=0，当θ = 1/4 时，p（0；1/4） = 27/64；而当θ = 3/4 时，p（0；3/4） =1/64。显然 p（0；1/4）> p（0；3/4），这表明使 k = 0的样本x1，x2，x3来自参数 θ = 1/4 的总体要比来自 θ = 3/4的总体的可能性更大。因而，取1/4作为 θ的估计比取3/4作为θ的估计更合理。类似地，当k=1时，同样取1/4作为θ的估计比取3/4更合理。而当k=2或3时，取3/4作为θ的估计比取1/4更合理。综上所述，参数θ的合理估计为：  
![在这里插入图片描述][20190818211731800.jpg_pic_center]

上述估计参数θ的基本思想是：对样本观察值x1，x2，…，xn，选取最优θ（x1，x2，…，xn）使得  
![在这里插入图片描述][2019081821351945.png_pic_center]  
成立，即在给定样本观察值的条件下，用使这组样本观察值出现概率**最大**的![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]参数 θ 的估计。

既然我们知道极大似然估计是寻找`发生概率最大`所对应的`θ`值，我们就看一下求解形式吧！  
  假设总体分布族为\{p（x；θ）：θ ∈ **Θ**\}，其中p（x；θ）为`概率分布列`或`密度函数`为f（x；θ）。x1，x2，…，xn是简单样本，则样本的`联合概率分布`为：

**① 离散型随机变量**：

![在这里插入图片描述][2019081821570539.png_pic_center]  
**② 连续型随机变量**：  
![在这里插入图片描述][20190818220020628.png_pic_center]  
当样本x1，x2，…，xn给定时，p（x1，x2，…，xn；θ）是参数θ的函数，称这个函数为`似然函数`，记为L(θ；x1，x2，…，xn)，或L(θ；x)，或L（θ），即

![在这里插入图片描述][20190818220359403.png_pic_center]

### 2. 求解似然函数最大值的依据 ###

最大值未必存在，但`上确界`总是存在，当最大值存在时，上确界和最大值重合。求参数θ的极大似然估计![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]，就是求使似然函数L（θ）在参数空间**Θ**上取得上确界的![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]。  
  由于lnx是x的单调增函数，因为Ln L（θ）与L（θ）在相同的点上取得`上确界`，成Ln L（θ）为`对数似然函数`。特别的，当Ln L（θ）在**Θ**上存在连续偏导数，并在**Θ**内取得最大值时，θ的极大似然函数![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]必满足方程组：  
![在这里插入图片描述][2019081822143097.png_pic_center]  
称它为似然方程组。如果似然方程组的解![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]使得上式成立，则![500fd9f9d72a605953cb04d42234349b023bba21.jpg][]就是参数θ的`极大似然估计`。

### 3. 求解步骤 ###

基于对似然函数L(θ)形式(一般为连乘式且各因式>0)的考虑，求θ的最大似然估计的一般步骤如下：

**（1）写出似然函数**  
总体X为离散型时：  
![在这里插入图片描述][20190818221847157.jpg_pic_center]  
总体X为连续型时：  
![在这里插入图片描述][20190818221917356.jpg_pic_center]  
**（2）对似然函数两边取对数有**  
总体X为离散型时：  
![在这里插入图片描述][20190818222027919.jpg_pic_center]  
总体X为连续型时：  
![在这里插入图片描述][20190818222037935.jpg_pic_center]  
（3）对Ln L（θ)求偏导等于0：  
![在这里插入图片描述][2019081822143097.png_pic_center]  
此方程为对数似然方程。解对数似然方程所得，即为未知参数 的最大似然估计值。

#### 例题： ####

设总体X~N(μ，σ2)，μ，σ为未知参数，X1,X2…,Xn是来自总体X的样本，X1,X2…,Xn是对应的样本值，求μ与σ2的最大似然估计值。

**解**：X的概率密度为  
![在这里插入图片描述][20190818222435705.jpg_pic_center]  
可得似然函数如下：  
![在这里插入图片描述][20190818222539500.jpg_pic_center]  
取对数，得  
![在这里插入图片描述][20190818222626525.jpg_pic_center]  
令  
![在这里插入图片描述][20190818222641962.jpg_pic_center]  
![在这里插入图片描述][20190818222706942.jpg_pic_center]  
解得  
![在这里插入图片描述][20190818222737745.jpg_pic_center]  
![在这里插入图片描述][20190818222753595.jpg_pic_center]  
故μ和σ的最大似然估计量分别为  
![在这里插入图片描述][20190818222737745.jpg_pic_center]  
![在这里插入图片描述][20190818222835261.jpg_pic_center]

[500fd9f9d72a605953cb04d42234349b023bba21.jpg]: https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D17/sign=dbad01ed79f082022992953849fb5b9a/500fd9f9d72a605953cb04d42234349b023bba21.jpg
[20190818211731800.jpg_pic_center]: /images/20211029/8426a90a2e144d5eb900c78a10013b7a.png
[2019081821351945.png_pic_center]: /images/20211029/57095ed1fc87492caeae70ad4585551a.png
[2019081821570539.png_pic_center]: /images/20211029/9c9361e0cdca43a58f109b092ff597e6.png
[20190818220020628.png_pic_center]: /images/20211029/ebf96f15a3eb41608b4467f86ca4d303.png
[20190818220359403.png_pic_center]: /images/20211029/853098a6c1ac4ad4905cc03a04de0f26.png
[2019081822143097.png_pic_center]: /images/20211029/5b8dd527edff45758f7e8fae80a9523f.png
[20190818221847157.jpg_pic_center]: /images/20211029/731ebf5a956a411cbd6d88f5e14bcd53.png
[20190818221917356.jpg_pic_center]: /images/20211029/3d95660d7b104b37a07a38c9fb7b55d2.png
[20190818222027919.jpg_pic_center]: /images/20211029/da4ab3a3f6e146f78e858239d1cfbb9d.png
[20190818222037935.jpg_pic_center]: /images/20211029/0dce2cc9a1e143198cbe9a6169a62c64.png
[20190818222435705.jpg_pic_center]: /images/20211029/21486ef4c1ef4134a2630e0c9af3db98.png
[20190818222539500.jpg_pic_center]: /images/20211029/1893bc026e294eaebcd76f357666eded.png
[20190818222626525.jpg_pic_center]: /images/20211029/62b3ac4a3c8d4d55ae0ad5d0deba8fb7.png
[20190818222641962.jpg_pic_center]: /images/20211029/7c2fe105a0234d3caac7ffc5a1045b0a.png
[20190818222706942.jpg_pic_center]: /images/20211029/11efa7ad7fcb4f29b45fe24c09d2ea72.png
[20190818222737745.jpg_pic_center]: /images/20211029/973f0ad74a1d4326b5a51223a9288f05.png
[20190818222753595.jpg_pic_center]: /images/20211029/7cbad3db51404c76a59c810634288fef.png
[20190818222835261.jpg_pic_center]: /images/20211029/32896651b08541299d2e0bef0d651144.png