机器学习之提升算法

ゞ浴缸里的玫瑰 2022-05-13 05:14 277阅读 0赞

*  1、知道提升、梯度提升是什么意思
    
     *  1.1、提升
     *  1.2、梯度提升
     *  1.3、了解提升算法的过程
 *  2、残差与残差平方和（residual sum of squares）
 *  3、了解GBDT算法
 *  4、了解XGBoost算法
 *  5、了解Adaboost算法
    
     *  5.1、Adaboost算法的原理
     *  5.2、例子
 *  6、偏差和方差

# **1、知道提升、梯度提升是什么意思** #

## **1.1、提升** ##

每一步产生一个弱预测模型，并加权累加到总模型中。

## **1.2、梯度提升** ##

如果每一步的预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升。  
![这里写图片描述][70]

## **1.3、了解提升算法的过程** ##

处理的过程：拿原始数据x,y生成一棵树（得到一个相应的函数T（xi）），得到对应的根据点预测值。之后计算原始数据和预测值的残差（残差尽可能接近于0）作为损失函数（残差是观测值与预测值之间的差），如果不等于0则将残差作为xi的“y”再生成一棵树，再得到对应的预测值Yi，再次计算”y”和预测值Y^的残差值（也就是预测值和残差值的残差值），看损失函数的值是否为0，若不为0则重复以上步骤…直到损失函数为0.（提升算法的损失函数是预测值和真实值的残差）  
![这里写图片描述][70 1]  
![这里写图片描述][70 2]

# 2、残差与残差平方和（residual sum of squares） #

**残差**：是指观测值与预测值（拟合值）之间的差，即是实际观察值与回归估计值的差，把每个残差的平方后加起来 称为残差平方和，它表示随机误差的效应。  
每一点的y值的估计值和实际值的差的平方之和称为**残差平方和**,而y的实际值和平均值的差的平方之和称为**总平方和**。  
**误差:**即观测值与真实值的偏离;  
**残差:**观测值与拟合值的偏离.  
误差与残差，这两个概念在某程度上具有很大的相似性，都是衡量不确定性的指标，可是两者又存在区别。  
误差与测量有关，**误差大小可以衡量测量的准确性，误差越大则表示测量越不准确。**  
误差分为两类：系统误差与随机误差。其中，系统误差与测量方案有关，通过改进测量方案可以避免系统误差。随机误差与观测者，测量工具，被观测物体的性质有关，只能尽量减小，却不能避免。  
残差――**与预测有关**，**残差大小可以衡量预测的准确性**。残差越大表示预测越不准确。残差与数据本身的分布特性，回归方程的选择有关。  
**误差大,由异常值引起.表明数据可能有严重的测量错误;或者所选模型不合适,;**  
**残差大,表明样本不具代表性,也有可能由特征值引起.**  
总之要看一个模型是否合适,看误差;要看所取样本是否合适,看残差;

# 3、了解GBDT算法 #

了解GBDT计算决策树的公式Tm(x）也就代表决策树函数（即输入x得到预测值），其中Bjm代表的是样本X在区域Rjm的预测值（Rjm决策树的几个叶子节点），I代表的是x是否该区域（是的话为1，不是的话为0）  
![这里写图片描述][70 3]  
![这里写图片描述][70 4]  
![这里写图片描述][70 5]

# 4、了解XGBoost算法 #

XGBoost算法只是将目标函数改为了二阶导信息  
**XGBoost生成树的过程：**枚举可行的分割点（下图五个数据有4种分割），然后依次计算对应的Gain()（根节点的损失减去两个叶节点的损失得到一个增益值），选取增益最大的划分。  
依次进行得到整棵树。由此也能得到对应的权值w（参考w的计算公式）。  
![这里写图片描述][70 6]  
![这里写图片描述][70 7]  
![这里写图片描述][70 8]  
![这里写图片描述][70 9]

# 5、了解Adaboost算法 #

## **5.1、Adaboost算法的原理** ##

通过初始化权值得到对应的误差率，进而得到加权系数，之后利用公式不断的迭代初始权值直到目标函数达到最优。  
权值是需要初始化即D  
![这里写图片描述][70 10]  
em（误差率）可以计算出来（就相当于判断预测值和实际值是否相等），知道em后就能计算出对应的Gm(x)对应的系数αm了。  
![这里写图片描述][70 11]

由下图中的公式计算Wm+1的值(α、样本的实际值和预测值以及对应样本的权值都为已知条件)，去更新数据集D1中对应的权值得到D2，之后再计算D2对应的误差率e2和对应的系数α2…依次类推直到最后。（exp，高等数学里以自然常数e为底的指数函数）  
![这里写图片描述][70 12]  
由算到的m个α系数和对应的预测值相乘相加得到最终的总分类器  
f（x）：基本分类器的线性组合。  
![这里写图片描述][70 13]  
αm的值是>0的（1-em>em即误差率小于0.5）  
![这里写图片描述][70 14]  
迭代过程中预测结果对权值的影响：即实际操作中当预测结果正确时，第二次迭代时对应的权值会减小，反之则会增加。  
Wmi公式中的值都能得到。  
![这里写图片描述][70 15]

## 5.2、例子 ##

![这里写图片描述][70 16]  
![这里写图片描述][70 17]  
选取一个阈值使基本分类器G1（x）的误差率最小。  
![这里写图片描述][70 18]  
![这里写图片描述][70 19]  
![这里写图片描述][70 20]  
![这里写图片描述][70 21]  
![这里写图片描述][70 22]  
![这里写图片描述][70 23]  
![这里写图片描述][70 24]  
![这里写图片描述][70 25]  
![这里写图片描述][70 26]

# 6、偏差和方差 #

知道偏差和方差：把偏差认为是单个模型的拟合能力，而方差则描述的是同一个学习算法在不同数据集的不稳定性  
偏差与方差：  
偏差描述的是算法的预测的平均值和真实值的关系（可以想象成算法的拟合能力如何），而方差描述的是同一个算法在不同数据集上的预测值和所有数据集上的平均预测值之间的关系（可以想象成算法的稳定性如何）。  
![这里写图片描述][70 27]  
![这里写图片描述][70 28]

[70]: /images/20220513/25e0d244213241e192ec60fc01bf6dcb.png
[70 1]: /images/20220513/3eab4e7f18174729b0d5c2b90da60e56.png
[70 2]: /images/20220513/14c05c520fc840159a322275ca14e93a.png
[70 3]: /images/20220513/58f2f7f5f6154877a5070e83950809f9.png
[70 4]: /images/20220513/4d17365dbee14d8ab9e084d997e7331f.png
[70 5]: /images/20220513/06b630bbc12a4b40a92c0f7d182f45a9.png
[70 6]: /images/20220513/d4569f721803459a8e9fa6e98a133ddb.png
[70 7]: /images/20220513/5619a7773fa4467890eae22c810330c9.png
[70 8]: /images/20220513/2328b4eeb6f34026b91933b4731da110.png
[70 9]: /images/20220513/99008e41b3944b339f759d6c3b9a3308.png
[70 10]: /images/20220513/cf69bd75cff043e59c8cef9c1dc74591.png
[70 11]: /images/20220513/e66873528dd0421ca1c443dfb7689b2b.png
[70 12]: /images/20220513/deb81b7a97c9469aa54c8e1afbe161dc.png
[70 13]: /images/20220513/38801e9a700c4ab08f28dd90bb56a7cd.png
[70 14]: /images/20220513/fd4aaf27113f491e8056040265ea974a.png
[70 15]: /images/20220513/6bafbdf5ee4d4af099623d6c67711ada.png
[70 16]: /images/20220513/d5eb2aa367a14f9a8bd7bd87c3cc54a8.png
[70 17]: /images/20220513/84863c96c70f4a35bf3daace985871e9.png
[70 18]: /images/20220513/3dbef24e2cf54afcbf970f41a912deb4.png
[70 19]: /images/20220513/b19436ed27ee4aa59c00c5918163ecd5.png
[70 20]: /images/20220513/bf88689e71b24ed1811d094c0f2363c7.png
[70 21]: /images/20220513/71f65036b6fd427a8b7c7f9907558274.png
[70 22]: /images/20220513/f307f0b5f5e04550b3856abcaf926688.png
[70 23]: /images/20220513/ade9da028a2f41e8aa7f4aa8ffdd774b.png
[70 24]: /images/20220513/a58a84e45efc4dc9b2ee15b6d29c697c.png
[70 25]: /images/20220513/79609d7e9b5449939cacd1516e1fc34f.png
[70 26]: /images/20220513/a95aeafe8d5d4ce888f41a6a0a46252b.png
[70 27]: /images/20220513/e0770c149c6c41bdbde8a47428a1a4df.png
[70 28]: /images/20220513/3aa67ecd90c548bf9c605ba3574a4c84.png