机器学习 | 【05】集成学习

超、凢脫俗 2022-09-04 04:51 98阅读 0赞

### 文章目录 ###

*   *   *  一、继承学习
         *   *  1、简介
             *  2、boosting和Bagging
             *   *  2.1 boosting
                 *  2.2 Bagging
                 *  2.3 随机森林构造过程
                 *  2.4 boosting与bagging的区别
             *  3、API
             *  4、GBDT

### 一、继承学习 ###

#### 1、简介 ####

> 原理：生成`多个分类器/模型`，各自独立学习并做出`预测`。在将这个预测组合，因此优于任何一个单分类的做出预测。

#### 2、boosting和Bagging ####

##### 2.1 boosting #####

>  *  随着学习的积累从弱到强，每新加入一个`弱学习器`，整体能力就会得到提升；
>  *  解决欠拟合使用`boosting`逐步增强学习【弱弱组合变强】；
>  *  代表算法：`Adaboost`、`GBDT`、`XGBoost`；

**实现过程**

>  *  训练第一个学习器；
>  *  调整数据分布【把错误数据放大，正确数据缩小】；
>  *  训练第二个学习器，进行第二轮；
>  *  再次调整数据分布【把错误数据放大，正确数据缩小】；

**AdaBoost构造过程**：

>  *  初始化训练数据权重相等，训练第一个学习器；
>  *  计算该学习器在训练数据中的错误率；
>  *  计算该学习器的投票权重；

![在这里插入图片描述][574dc7e314c6471092d10e3aa7577104.png]

>  *  根据投票权重对训练数据重新赋权，并注重错误数据；

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70]

>  *  对m个学习器进行加权投票。

![在这里插入图片描述][18d3c1f21ef64d57a8c31510830de56c.png]

##### 2.2 Bagging #####

> 解决过拟合使用`Bagging`采样学习集成【互相扼制变壮】；

**实现过程**：

>  *  **采样**：采样不同数据集；
>  *  **学习**：训练分类器；
>  *  **集成**：平权投票，获取最终结果；

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 1]

**实现过程**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 2]  
**优点**：

>  *  均可在原有算法上提高约`2%左右的泛化正确率`；
>  *  `简单`，`方便`通用。

##### 2.3 随机森林构造过程 #####

> 随机森林是一个包含`多个决策树`的分类器，并且其输出的类别是由`个别树输出的类别的众数`而定。

`随机森林= Bagging +决策树`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 3]

>  *  4、重复1-3步构造n个决策树；
>  *  5、平均投票集成n个弱决策树。

**构造关键步骤**：

>  *  一次随机选出一个样本，`有放回`的抽样，重复N次(有可能出现重复的样本)。【n为训练样本个数，M为特征数目】
>  *  随机去选出`m个特征`，m <<M，建立决策树。

**为什么要随机抽样训练集?**

> 如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是`完全一样`的。

**为什么要有放回地抽样?**

> 保证每个样本都是等概率。如果`不是有放回抽样`，那么每棵树的`训练样本都是不同`的，都是`没有交集`的，这样每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树(弱分类器)的投票表决。

##### 2.4 boosting与bagging的区别 #####

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>boosting</th> 
   <th>bagging</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>数据方面</td> 
   <td>权重调整</td> 
   <td>对数据进行采样训练</td> 
  </tr> 
  <tr> 
   <td>投票方面</td> 
   <td>对学习器进行加权投票</td> 
   <td>所有学习器平均投票</td> 
  </tr> 
  <tr> 
   <td>学习顺序</td> 
   <td>学习是串行，有先后顺序</td> 
   <td>学习是并行，每个学习器没有依赖关系</td> 
  </tr> 
  <tr> 
   <td>主要作用</td> 
   <td>提高训练精度，解决欠拟合，降低偏差</td> 
   <td>提高泛化性能，解决过拟合，降低方差</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

#### 3、API ####

`sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini', max_depth=None, bootstrap=True, random_ state=None, min_samples_split=2)`

>  *  `n_estimators`：integer, optional (default = 10)森林里的`树木数量`；
>  *  `Criterion`：string，可选(default ="\*gini")分割特征的`测量方法`；
>  *  `max_depth`：integer或None，可选(默认=无)树的`最大深度`；
>  *  `max_features="auto"`：每个决策树的`最大特征数量`；
>     
>      *  If"auto", then max\_features=sqrt (n\_features)；
>      *  If “sqrt”, then max\_features=sqrt(n\_features) (same as “auto”)；
>      *  If “log2”, then max\_features=log2(n\_features)；
>      *  If None, then max\_features=n\_features；
>  *  `bootstrap`：boolean, optional (default = True)是否在构建树时使用放回抽样；
>  *  `min_samples_split`：节点划分最少样本数；
>  *  `min_samples_leaf`：叶子节点的最小样本数；
>  *  参数调优：使用`GridSearchCV`进行网格搜索，需要对树的深度和树的个数进行调整。

#### 4、GBDT ####

> 梯度提升决策树(GBDT Gradient Boosting Decision Tree)是一种`迭代`的决策树算法，该算法由`多棵决策树`组成，所有树的`结论累加起来做最终答案`。它在被提出之初就被认为是`泛化能力`(generalization)较强的算法。近些年更因为被用于`搜索排序`的机器学习模型而引起大家关注。

`GBDT=梯度下降+ Boosting +决策树`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 4]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 5]  
**主要执行思想**：

>  *  使用`梯度下降法`优化代价函数；
>  *  使用一层决策树作为弱学习器，负梯度作为目标值；
>  *  利用`boosting`思想进行集成。

[574dc7e314c6471092d10e3aa7577104.png]: /images/20220829/8618ba170ac240649f06d9d3b2d3b97d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70]: /images/20220829/5d4e45ae4177494798b7b1f609d06405.png
[18d3c1f21ef64d57a8c31510830de56c.png]: /images/20220829/4156068b699040afb73b0b2ef636f9be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 1]: /images/20220829/eeeb8c89a514470a960314a6549f5dd3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 2]: /images/20220829/8d25812edcc44e49951c623f3ea3fba7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 3]: /images/20220829/159c6d43434848f89e2c4c113ae93f53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 4]: /images/20220829/96e5796ad104428186f2c0918040b0bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 5]: /images/20220829/439a1b68d11c4a14bae9e26f9c989fc2.png