0406任务二高级算法梳理-GBDT算法梳理

我不是女神ヾ 2022-02-23 05:48 227阅读 0赞

### 任务二GBDT算法梳理 ###

*  一、加法模型与前向分布算法
 *   *   *  1、加法模型
         *  2、前向分布算法
     *  二、负梯度拟合
     *  三、GBDT常用损失函数
     *   *  1、分类算法
         *  2、回归算法
     *  四、GBDT回归算法
     *  五、GBDT分类算法
     *   *  1、二分类
         *  2、多分类
     *  六、正则化
     *  七、优缺点
     *  八、sklearn参数
     *  九、应用场景

# 一、加法模型与前向分布算法 #

[https://blog.csdn.net/u013597931/article/details/79874439][https_blog.csdn.net_u013597931_article_details_79874439]  
AdaBoost 算法可以认为是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。

### 1、加法模型 ###

![在这里插入图片描述][20190407000230217.png]  
对应两个未知参数，基函数的参数和基函数的系数。

### 2、前向分布算法 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]  
前向分布算法求解这一问题的优化方法是：每次只学习一个基函数及系数，逐步逼近最优解。

## 二、负梯度拟合 ##

[https://blog.csdn.net/u013597931/article/details/79874439][https_blog.csdn.net_u013597931_article_details_79874439]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]  
其实无论是分类问题还是回归问题的提升树，我们都可以用损失函数的负梯度来其实无论是分类问题还是回归问题的提升树它们的区别只在于损失函数不同导致的负梯度的不同，这就是GBDT算法。

第1步：估计使损失函数极小化的常数值，它是只有一个根结点的树。  
第2(a)步：计算损失函数的负梯度在当前模型的值，将它作为残差的估计。对于平方损失函数，它就是通常所说的残差；对于一般损失函数，它就是残差的近似值。  
第2(b)步：估计回归树的叶结点区域，以拟合残差的近似值。  
第2©步：利用线性搜索估计叶结点区域的值，使损失函数极小化。  
第2(d)步：更新回归树。

## 三、GBDT常用损失函数 ##

[https://www.cnblogs.com/pinard/p/6140514.html][https_www.cnblogs.com_pinard_p_6140514.html]

### 1、分类算法 ###

(1)指数损失函数  
![在这里插入图片描述][20190407004607844.png]  
(2)对数损失函数,分为二元分类和多元分类。  
对于二元分类  
![在这里插入图片描述][20190407005304779.png]

### 2、回归算法 ###

（1）均方差  
![在这里插入图片描述][20190407004835456.png]  
（2）绝对损失  
![在这里插入图片描述][20190407004919304.png]  
（3）Huber损失，它是均方差和绝对损失的折衷产物，对于远离中心的异常点，采用绝对损失，而中心附近的点采用均方差。这个界限一般用分位数点度量。  
（4）分位数损失。  
对于Huber损失和分位数损失，主要用于健壮回归，也就是减少异常点对损失函数的影响。

## 四、GBDT回归算法 ##

[https://blog.csdn.net/u013597931/article/details/79874439][https_blog.csdn.net_u013597931_article_details_79874439]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 5]

## 五、GBDT分类算法 ##

[https://www.cnblogs.com/pinard/p/6140514.html][https_www.cnblogs.com_pinard_p_6140514.html]  
GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。  
为了解决这个问题，主要有两个方法：  
（1）用指数损失函数，此时GBDT退化为Adaboost算法。  
（2）是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。  
本文仅讨论用对数似然损失函数的GBDT分类。对此我们又有二元分类和多元分类的区别。

### 1、二分类 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 6]

### 2、多分类 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 7]

## 六、正则化 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 8]

## 七、优缺点 ##

目前GBDT的算法比较好的库是xgboost。当然scikit-learn也可以。

*  GBDT主要的优点有：  
    （1）可以灵活处理各种类型的数据，包括连续值和离散值。  
    （2）在相对少的调参时间情况下，预测的准确率也可以比较高。这个是相对SVM来说的。  
    （3）使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。
 *  GBDT的主要缺点有：  
    （1）由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。

## 八、sklearn参数 ##

[https://mp.weixin.qq.com/s/BAkZCSaq5H8D3EkKKAilig][https_mp.weixin.qq.com_s_BAkZCSaq5H8D3EkKKAilig]  
GBDT和Adaboost都是Boosting模型的一种，但是略有不同，主要有以下两点不同：

*  GBDT使用的基模型是CART决策树，且只能是CART决策树，而Adaboost的默认基模型是CART决策树，可以是其他模型。
 *  GBDT通过计算每次模型的负梯度来进行模型迭代，而Adaboost模型则根据错分率来进行模型迭代。

class sklearn.ensemble.GradientBoostingClassifier
    (loss='deviance', learning_rate=0.1, n_estimators=100, 
    subsample=1.0, criterion='friedman_mse', min_samples_split=2,
     min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, 
    min_impurity_split=None,init=None,
    random_state=None, max_features=None, verbose=0,
    max_leaf_nodes=None, warm_start=False, presort='auto')

因基分类器是决策树，所以很多参数都是用来控制决策树生成的，这些参数与前面决策树参数基本一致.

**loss**:损失函数度量，有**对数似然损失deviance和指数损失函数exponential**两种，默认是deviance，即对数似然损失，如果使用指数损失函数，则相当于Adaboost模型。

criterion: 样本集的切分策略，决策树中也有这个参数，但是两个参数值不一样，这里的参数值主要有friedman\_mse、mse和mae3个，分别对应friedman最小平方误差、最小平方误差和平均绝对值误差，friedman最小平方误差是最小平方误差的近似。

subsample:采样比例，这里的采样和bagging的采样不是一个概念，这里的采样是指选取多少比例的数据集利用决策树基模型去boosting，默认是1.0，即在全量数据集上利用决策树去boosting。

warm\_start:“暖启动”，默认值是False，即关闭状态，如果打开则表示，使用先前调试好的模型，在该模型的基础上继续boosting，如果关闭，则表示在样本集上从新训练一个新的基模型，且在该模型的基础上进行boosting。

决策树的sklearn参数详解  
[https://mp.weixin.qq.com/s?src=11&timestamp=1554637897&ver=1532&signature=qy7Yc0vXEPktlgUp2s4Ahxbi9kAMidSEyZdsH8t][https_mp.weixin.qq.com_s_src_11_timestamp_1554637897_ver_1532_signature_qy7Yc0vXEPktlgUp2s4Ahxbi9kAMidSEyZdsH8t]*1icCJSZYi6Wtw1hjcnEm92qMmoY0QE9u*ujg*U*6j1paCDGBXwxTHpdAMiwRhRnRhg47wqQnS0jHDYPLrGzhQjBd&new=1

## 九、应用场景 ##

GBDT几乎可用于所有回归问题（线性/非线性），相对logistic regression仅能用于线性回归，GBDT的适用面非常广。亦可用于二分类问题（设定阈值，大于阈值为正例，反之为负例）。

[https_blog.csdn.net_u013597931_article_details_79874439]: https://blog.csdn.net/u013597931/article/details/79874439
[20190407000230217.png]: /images/20220223/8c64a4faad97454b84a7df698cf8e6a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]: /images/20220223/1a6757fe253b452ab300266f7277d877.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]: /images/20220223/c0f11dcaaef146778f0f7981a9d1e9bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]: /images/20220223/afed8732e1644783b8ad0e8b86e1dad8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]: /images/20220223/8c3a00e8444044b4b179be131656151e.png
[https_www.cnblogs.com_pinard_p_6140514.html]: https://www.cnblogs.com/pinard/p/6140514.html
[20190407004607844.png]: /images/20220223/4a89dd8e85684237b5698a6d6f5e2068.png
[20190407005304779.png]: /images/20220223/c4595ac9f799461eb71674b33dd35893.png
[20190407004835456.png]: /images/20220223/8d4a1caeab28406eb15200a9a701d5a6.png
[20190407004919304.png]: /images/20220223/cbb98a22cc9a43e2ad6c52185af0bb14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 4]: /images/20220223/52e0401f69c643cdbd4aa0d959060017.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 5]: /images/20220223/df180ed4d7804c9ea0f62918a3545859.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 6]: /images/20220223/4e96278e05584a8fac7cbff5426e9914.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 7]: /images/20220223/94f0f9e4575e42e9aaaaeb48b5708e32.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 8]: /images/20220223/4bac92c8d4254ab6afbb6b33b38887d3.png
[https_mp.weixin.qq.com_s_BAkZCSaq5H8D3EkKKAilig]: https://mp.weixin.qq.com/s/BAkZCSaq5H8D3EkKKAilig
[https_mp.weixin.qq.com_s_src_11_timestamp_1554637897_ver_1532_signature_qy7Yc0vXEPktlgUp2s4Ahxbi9kAMidSEyZdsH8t]: https://mp.weixin.qq.com/s?src=11&timestamp=1554637897&ver=1532&signature=qy7Yc0vXEPktlgUp2s4Ahxbi9kAMidSEyZdsH8t