基于EM算法的高斯混合模型参数估计

淡淡的烟草味﹌ 2022-10-17 11:29 156阅读 0赞

## 一 算法思想 ##

对于样本数据集所含变量都是可观测的，我们一般应用极大似然估计法或者贝叶斯估计法估计模型参数。但若样本数据集中存在不可观测的变量（隐变量），那么单纯的极大似然估计法是不可用的；EM算法（expectation maximization algorithm）分为E步和M步，其中E-step主要通过观察数据和现有模型来估计参数，然后用这个估计的参数值来计算似然函数的期望值；而 M-Step 是寻找似然函数最大化时对应的参数。由于算法会保证在每次迭代之后似然函数都会增加，所以函数最终会收敛。

## 二 适用范围 ##

无监督学习，样本数据中含有隐变量。  
算法的核心思想是找到一个下界，并不断优化（提高）下界，有望得到一个极大值，但不能保证是全局最大值。

## 三 算法步骤 ##

![高斯混合模型参数估计的EM算法][EM]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70]  
在这里插入图片描述  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 1]

## 四 EM算法实验测试 ##

### 4.1 样本数据生成 ###

为了方便可视化的美观性，我选择了生成二维特征的样本数据，并且设置每一维度的标准差较小（这样生成的样本数据更为紧凑），共包括3中高斯模型，每类高斯模型生成100条样本数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 2]

### 4.2 EM算法估计参数 ###

为了节省时间复杂度，并没有采取迭代够足够多轮数的方式，而是设置一个误差容允值，只要误差低于此值即不再进行参数的迭代和更新。表5-2为某次实验中的数据。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 3]

### 4.3 基于EM参数估计聚类 ###

在进行EM算法的同时，得到每一个样本属于某个模型的概率，取max，即取最可能属于的类别当作其预测的类别，并进行可视化如图5-1.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 4]

### 4.4 实验现象 ###

在实验中，起初采用了生成的随机数对参数进行初始化，结果EM算法表现非常不鲁棒，即使误差收敛到很小的值，但明显参数估计是错误的。这说明EM算法对于参数的初值是很敏感的。

## 五 EM算法课后题 ##

### 5.1 第9.1题 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 5]

### 5.2 第9.2题 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 6]

## 参考 ##

【机器学习】EM——期望最大  
https://zhuanlan.zhihu.com/p/78311644  
人人都懂EM算法  
https://www.zhihu.com/search?type=content&q=EM%E7%AE%97%E6%B3%95  
统计学习方法  
https://blog.csdn.net/qq\_41562704/article/details/106541040

[EM]: /images/20221014/0dcf40615de34c53a7decf40cb62d99b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70]: /images/20221014/7aea8d898fee459ead2ce84d85b42d40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 1]: /images/20221014/50188a184a8449ba94bab51275d1a49c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 2]: /images/20221014/e91ee2fc43a4439e9fe0ec5ec9ea9022.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 3]: /images/20221014/fe0e7901b6c14360a5139b67fb59f88c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 4]: /images/20221014/328e244cb2d04936a0926f1e8d2cd344.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 5]: /images/20221014/635caf5149514be8b235505318f54366.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI1NzQ1OA_size_16_color_FFFFFF_t_70 6]: /images/20221014/50172e6775974d7b9b7ba081a185c760.png