【干货】集成学习原理总结

Love The Way You Lie 2023-09-28 19:26 85阅读 0赞

## 集成学习简介 ##

### 集成学习的概念 ###

集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（multi-classifier system）、基于委员会的学习（committee-base learning）。

集成学习的一般结构：先产生一组“个体学习器”（individual learner），再用某种策略将它们结合起来。

**总结一下:集成学习就是把许多弱分类器集成在一起形成强分类器。**

#### 个体学习器 ####

个体学习器通常由一个现有的学习算法从训练数据产生，例如C4.5决策树算法、BP神经网络算法等，此时集成中只包含同种类型的个体学习器，例如“决策树集成”中全是决策树，“神经网络集成”中全是神经网络，这样的集成是同质的。

同质集成中的个体学习器亦称为“基学习器”（base learner），相应的学习算法亦称为“基学习算法”（base learning algorithm）。

集成也可包含不同类型的个体学习器，例如同时包含决策树和神经网络，这样的集成是异质的。异质集成中的个体学习器由不同的学习算法生成，这时不再有基学习算法；相应的，个体学习器一般不称为基学习器，常称为“组件学习器”或直接称为个体学习器。

**要获得好的集成，个体学习器应“好而不同”。**

**根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类，分别为Boosting和Bagging。**

**Boosting：即个体学习器之间存在强依赖关系，必须是串行生成的序列化方法**

**Bagging：个体学习器不存在强依赖关系，可同时生成的并行化方法**

### Bagging【并行方法】 ###

我们先看一下Bagging，从训练集中进行子抽样组成每个基模型所需的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。

![06360cc0b30c47bb9925e040d85988d4.png_pic_center][]

Bagging是并行式集成学习方法最著名的代表.从名字即可看出，它直接**基于自助来样法**。

**Bootstrap:给定包含 m m m个样本的数据集，我们先随机取出一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本仍有可能被选中，这样，经过 m m m次随机采样操作，我们得到含 m m m个样本的采样集，初始训练集中有的样本在采样集里多次出现，有的则从未出现**。

自助采样过程还给Bagging带来了另一个优点:由于每个基学习器只使用了初始训练集中约63.2%  
的样本，剩下约36.8% 的样本可用作验证集来对泛化性能进行“包外估计”  
(out-oιbag estimate)，也就是测试集。

注意:**若样本数目为 N N N，将会有平均37%的样本在重复的bootstrap中丢失。事实上，在 N N N次替换后，样本从未被选择的概率是:**  
 ( 1 − 1 N ) N ≈ 1 e ≈ 0.368 (1-\\frac\{1\}\{N\})^N\\approx \\frac\{1\}\{e\}\\approx 0.368 (1−N1)N≈e1≈0.368

通过对m个样本使用Bootstrap，我们可采样出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合.这就是Bagging的基本流程.在对预测输出进行结合时， Bagging通常对分类任务使用简单投票法，回归任务使用简单平均法.若分类预测时出现两个类收到同样票数的情形，则最简单的做法是随机选择一个，也可进一步考察学习器投票的置信度来确定最终胜者。

Bagging既可以完成分类任务，也可以完成回归任务。

从偏差方差分解的角度看，Bagging主要关注降低方差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效用更为明显。

关于主要降低方差的解释：多个并行的模型，不同的样本特征结合起来可以很好地提高模型的泛化能力，有效的降低方差。

### Boosting【串行方法】 ###

训练过程为阶梯状，基模型按次序进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。

如下图所示:

![4273a3978f974ef6a88c67abe96b3aa4.png_pic_center][]

Boosting是一族可将弱学习器提升为强学习器的算法。

过程：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器;如此重复进行，直至基学习器数目达到事先指定的值T，  
最终将这T个基学习器进行加权结合。

Boosting典型算法：Adaboost、GBDT、Xgboost

Boosting 算法要求基学习器能对特定的数据分布进行学习，这可通过“重赋权法”(re-weighting)实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重。

对无法接受带权样本的基学习算法，则可通过“重采样法”(re-sampling)来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。

从偏差一方差分解的角度看， Boosting主要关住降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成。

### Boosting与Bagging的异同 ###

#### 算法过程上： ####

##### Boosting算法： #####

对于训练集中的每个样本建立权值wi，表示对每个样本的权重，  
其关键在与对于被错误分类的样本权重会在下一轮的分类中获得更大的权重（错误分类的样本的权重增加）。

同时加大分类误差概率小的弱分类器的权值，使其在表决中起到更大的作用，减小分类误差率较大弱分类器的权值，使其在表决中起到较小的作用。每一次迭代都得到一个弱分类器，需要使用某种策略将其组合，最为最终模型，(adaboost给每个迭代之后的弱分类器一个权值，将其线性组合作为最终的分类器,误差小的分类器权值越大。)

##### Bagging算法： #####

从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集（k个训练集之间相互独立，元素可以有重复）。

对于n个训练集，我们训练k个模型，（这个模型可根据具体的情况而定，可以是决策树，knn等）。

对于分类问题：由投票表决产生的分类结果；对于回归问题，由k个模型预测结果的均值作为最后预测的结果（所有模型的重要性相同）。

#### 样本选择上： ####

Bagging采取Bootstraping的是随机有放回的取样，Boosting的每一轮训练的样本是固定的，改变的是每个样本的权重。

#### 样本权重上： ####

Bagging采取的是均匀取样，且每个样本的权重相同，Boosting根据错误率调整样本权重，错误率越大的样本权重会变大。

#### 预测函数上： ####

Bagging所以的预测函数权值相同，Boosting中误差越小的预测函数其权值越大。

#### 并行计算： ####

Bagging的各个预测函数可以并行生成;Boosting的各个预测函数必须按照顺序迭代生成

### 将决策树与以上框架组合成新的算法 ###

Bagging + 决策树 = 随机森林

AdaBoost + 决策树 = 提升树

gradient + 决策树 = GDBT

### 结合策略 ###

#### 平均法 ####

对数值型输出 h i ( X ) ∈ R h\_i(X)\\in R hi(X)∈R， 最常见的结合策略是使用平均法。

简单平均法：简单的累加求均值的额方法;

加权平均法：为每个个体学习器分配权重累加，求和，求平均的方法;

显然，简单平均法是加权平均法 ω i = 1 T \\omega\_i=\\frac\{1\}\{T\} ωi=T1的特例。

#### 投票法 ####

对分类任务来说，学习器 h i h\_i hi将从类别标记集合 \{ C 1    ,    C 2    ,    ,    ⋯    ,    C N \} \\\{C\_1\\;,\\;C\_2\\;,\\;,\\;\\cdots\\;,\\;C\_N\\\} \{ C1,C2,,⋯,CN\}中预测出一个标记?最常见的结合策略是使用投票法(voting)。

##### 绝对多数投票法： #####

即若某标记得票过半数，则预测为该标记;否则拒绝预测

##### 相对多数投票法: #####

即预测为得票最多的标记，若同时有多个标记获最高票，则从中随机选取一个。

##### 加权投票法： #####

与加权平均法类似， ω i \\omega\_i ωi是 h i h\_i hi的权重，通常 ω i > 0 \\omega\_i>0 ωi>0，累加和等于1

##### 总结 #####

**简单来说，投票法就是少数服从多数。**

#### 学习法 ####

当训练数据很多时，一种更为强大的结合策略是使用“学习法”，即通过另一个学习器来进行结合。stacking是学习法的典型代表。

stacking本身是一种著名的集成学习方法，且有不少集成学习算法可视为器变体或特例。一般的资料介绍集成算法有三种，分别为boosting、bagging和stacking。西瓜书上将stacking算法放在此处进行介绍。

Stacking先从初始数据集训练出初级学习器，然后“生成”一个新数据集用于训练次级学习器.在这个新数据集中，初级学习器的输出被当作样例输入特征，而初始样本的标记仍被当作样例标记

**Stacking:**

将训练好的所有基模型对训练基进行预测，第j 个基模型对第 i个训练样本的预测值将作为新的训练集中第 i 个样本的第 j个特征值，最后基于新的训练集进行训练。同理，预测的过程也要先经过所有基模型的预测形成新的测试集，最后再对测试集进行预测。

![f57af0f25dae4551b62e1f31915227a8.png_pic_center][]

## 随机森林 ##

用随机的方式建立一个森林。

### 随机选择样本，随机选择特征 ###

随机森林  
算法由很多决策树组成，每一棵决策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会分别进行判断，然后基于投票法给出分类结果。

随机选择样本和Bagging 相同，采用的是Bootstraping 自助采样法；  
随机选择特征是指在每个节点在分裂过程中都是随机选择特征的（区别与每棵树随机选择一批特征）。

这种随机性导致随机森林的偏差会有稍微的增加（相比于单棵不随机树但是由于随机森林的 平均特性，会使得它的方差减小，而且方差的减小补偿了偏差的增大，因此总体而言是更好的模型。

【bootstrap+每个样本的随机属性选择】

传统决策树在选择划分属性时是在当前结点的属性集合(假定有d个属性)中选择一个最优属性;而在RF中，对基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后再从这个子集中选择一个最优属性用于划分.  
这里的参数k 控制了随机性的引入程度;若令k =d，则基决策树的构建与传统决策树相同;若令k =1，则是随机选择一个属性用于划分; 一般情况下，推荐值 k = log ⁡ 2 d k=\\log\_2d k=log2d

随机森林是bagging算法的进化版，改进的部分在于：

随机森林使用CART决策树作为基学习器，为每个数据集建立完全分裂的决策树

利用CART为每个数据集建立一个完全分裂、没有经过剪枝的决策树，最终得到多棵CART决策树。

可以概括随机森林包括四个部分:

1.随机选择样本（放回抽样）

2.随机选择特征

3.构建决策树

4.随机森林投票（平均 ）。

![fb5bd58619e2470eba3102d313115e2e.png_pic_center][]

### Random Forest的优点 ###

1.随机森林简单、容易实现、计算开销小，令人惊奇的是它在很多现实任务中展现出强大的性能，被誉为“代表集成学习技术水平的方法”可以看出，随机森林对Bagging只做了小改动，但是与Bagging中基学习器的“多样性”仅通过样本扰动(通过对初始训练集采样)而来不同，随机森林中基学习器的多样性不仅来自样本扰动，还来自属性扰动，这就使得最终集成的泛化性能可通过个体学习器之间差异度的增加而进一步提升。

2.随着个体学习器数目的增加，随机森林通常会收敛到更低的泛化误差。

3.随机森林的训练效率通常优于Bagging，因为在个体决策树的构建过程中，Bagging 使用的是“ 确定型”决策树，在选择划分属性时要对结点的所有属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。

### 随机森林的优缺点 ###

#### 优点 ####

1）  
训练可以高度并行化，对于大数据时代的大样本训练速度有优势。个人觉得这是的最主要的优点。

2）  
由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。

3） 在训练后，可以给出各个特征对于输出的重要性

4） 由于采用了随机采样，训练出的模型的方差小，泛化能力强。

5） 相对于Boosting系列的Adaboost和GBDT， RF实现比较简单。

6） 对部分特征缺失不敏感。

#### 缺点 ####

1）在某些噪音比较大的样本集上，RF模型容易陷入过拟合。

2）取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果。

### 随机森林的应用场景 ###

随机森林应用很广泛，分类和回归问题都可以解决；甚至可以用来进行特征选择，因为随机森林有一个很重要的参数，叫做特征重要性，可以帮助我们筛选出重要的特征。在不知道使用什么算法的时候，可以使用随机森林来进行建模求解。

### 随机森林的思想 ###

随机森林是用随机的方式建立一个森林，这个随机性包含两个方面:

1)如果训练集大小为 N N N，对于每棵树而言，随机且有放回地从训练集中的抽取 N N N个训练样本（bootstrap  
samples），作为该树的训练集—沿袭了bagging的抽样方法。

2)如果每个样本的特征维度为 M M M，指定一个常数 m < < M m<<M m<<M，随机的从 M M M个特征中选取 m m m个特征子集，每次树进行分裂时，从这 m m m个特征中选择最优的（按照决策树中的方法选择分类变量和分裂结点）—降低了计算复杂度。

### 随机森林分类算法的流程 ###

设N为观测值的数量，并假设响应变量为二进制:

1.从数据中随机抽取大小为 N N N的替换样本（bootstrap样本）

2.不重复随机抽取预测因子子集（特征子集）

3.使用步骤2中选择的预测因子集构造一个分裂

4.对每个后续分裂重复步骤2和3，直到树达到所需的大小，不需要修剪。每棵树都是从一个随机的bootstrap样本中产生的，并且每次分裂来自于一个随机的预测因子集。

5.把袋外数据放到树上，存储每个观测值的类以及预测值。

6.多次重复步骤1到5

7.对于数据集中的每个观测值，统计这些树并将其归类到一个类别中的数量

8.给每个观测值分配以多数票法获得的最终类别，即：如果超过51%的树给定的预测值为1，那1就是它的类别。  
取大小为 N N N的替换样本（bootstrap样本）

2.不重复随机抽取预测因子子集（特征子集）

3.使用步骤2中选择的预测因子集构造一个分裂

5.把袋外数据放到树上，存储每个观测值的类以及预测值。

6.多次重复步骤1到5

7.对于数据集中的每个观测值，统计这些树并将其归类到一个类别中的数量

8.给每个观测值分配以多数票法获得的最终类别，即：如果超过51%的树给定的预测值为1，那1就是它的类别。

[06360cc0b30c47bb9925e040d85988d4.png_pic_center]: https://img-blog.csdnimg.cn/06360cc0b30c47bb9925e040d85988d4.png#pic_center
[4273a3978f974ef6a88c67abe96b3aa4.png_pic_center]: https://img-blog.csdnimg.cn/4273a3978f974ef6a88c67abe96b3aa4.png#pic_center
[f57af0f25dae4551b62e1f31915227a8.png_pic_center]: https://img-blog.csdnimg.cn/f57af0f25dae4551b62e1f31915227a8.png#pic_center
[fb5bd58619e2470eba3102d313115e2e.png_pic_center]: https://img-blog.csdnimg.cn/fb5bd58619e2470eba3102d313115e2e.png#pic_center