从提升树Boosting Tree过度到梯度提升Gradient Boosting

川长思鸟来 2023-01-10 10:27 141阅读 0赞

之前的文章[提升树实例详解][Link 1]中说明了提升树方法有以下几个特点：

1、损失函数：提升树方法使用平方损失或指数损失作为损失函数。当使用平方损失时，提升树算法拟合的是上一轮的残差；当使用指数损失时，提升树算法实际上就是[AdaBoost算法][AdaBoost]

2、计算残差：提升树模型通过计算模型每一轮的残差，并将每一轮的残差作为新的训练集，在残差上训练新的模型参数，并使用加法模型得到最终的模型

3、学习过程：提升树算法利用加法模型和前向分布算法实现学习的优化过程。提升树方法使用加法模型将学习到的各个子模型进行相加，并且使用前向分布算法将求解最优解的问题分解为若干部的迭代求解问题。

**梯度提升方法的核心：**梯度提升方法利用梯度下降的思想，将目标模型的作为整体的优化目标，而不是只关注最小粒度的各个模型参数，将迭代学习中的每一次模型更新变换类比传统梯度下降方法中的参数更新变化。传统梯度下降方法在参数空间中进行搜索，梯度提升方法将每一轮学习到的新的函数 f(x) 作为参数，以函数作为优化单位，在函数空间中进行梯度下降。利用损失函数的负梯度在当前模型的值![20210123213518823.png][]作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

--------------------

我自己一直对于梯度提升方法为什么可以使用损失函数的负梯度在当前模型的值作为提升树中残差的近似值感到疑惑？找到两种关于这种近似成立的解释，仅做参考：

**解释一：**

以下部分参考：[https://www.cnblogs.com/massquantity/p/9174746.html][https_www.cnblogs.com_massquantity_p_9174746.html]

这里首先回顾一下梯度下降 (Gradient Descend)。机器学习的一大主要步骤是通过优化方法最小化损失函数L(θ)，进而求出对应的参数θ。梯度下降是经典的数值优化方法，其参数更新公式（1.2）：

![20210123214737281.png][]

Gradient Boosting 采用和AdaBoost同样的加法模型，在第m次迭代中，前m-1个基学习器都是固定的，即公式（1.3）：

![20210123214830579.png][]

因而在第m步我们的目标是最小化损失函数 ![20210123214912957.png][]，进而求得相应的基学习器。若将f(x)当成参数，则同样可以使用梯度下降法，公式（1.4）：

![20210123214953288.png][]

对比式 (1.2)和 (1.3)，可以发现若将![20210123215109706.png][]，即用基学习器hm(x)拟合前一轮模型损失函数的负梯度，就是通过梯度下降法最小化L(f) 。由于f(x)实际为函数，所以该方法被认为是函数空间的梯度下降。

负梯度也被称为“响应 (response)”或“伪残差 (pseudo residual)”，从名字可以看出是一个与残差接近的概念。直觉上来看，残差r=y−f(x)越大，表明前一轮学习器f(x)的结果与真实值y相差较大，那么下一轮学习器通过拟合残差或负梯度，就能纠正之前的学习器犯错较大的地方。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70][]

**解释二：**

以下部分参考：[https://mp.weixin.qq.com/s?\_\_biz=MzI5NDMzMjY1MA==&mid=2247485110&idx=1&sn=86bcdb38f51fc5f82236b35c349ada4b&scene=21\#wecha%E2%80%A6][https_mp.weixin.qq.com_s_biz_MzI5NDMzMjY1MA_mid_2247485110_idx_1_sn_86bcdb38f51fc5f82236b35c349ada4b_scene_21_wecha_E2_80_A6]

当使用平方损失函数进行回归模型训练时，损失函数如下式（2.1）：

![20210124094838691.png][]

对损失函数求关于F(x)的偏导数，得到下式（2.2）：

![20210124095443455.png][]

并且，当使用平方损失函数时，当前模型在t-1轮的残差是式（2.3）：

![20210124095140763.png][]

通过式子2.2、2.3可知，当使用平方损失函数时，当前模型在t-1轮的残差刚好等于损失函数对F(x)的偏导数在t-1轮的值乘以-1。因此，通过这种特例推广到一般场景，则在梯度提升方法中，对于一般损失函数，可以使用损失函数的负梯度在当前模型的值来近似模型的残差。

--------------------

将决策树作为梯度提升Gradient Boosting方法的基学习器base\_estimator，就得到了[梯度提升回归树GBDT][GBDT]和[梯度提升分类树GBDT][GBDT 1]。

[Link 1]: https://mp.csdn.net/editor/html/112754949
[AdaBoost]: https://blog.csdn.net/cxx654/article/details/106299351
[20210123213518823.png]: /images/20221119/9fd8962668124744a82ea1f6c251c226.png
[https_www.cnblogs.com_massquantity_p_9174746.html]: https://www.cnblogs.com/massquantity/p/9174746.html
[20210123214737281.png]: https://img-blog.csdnimg.cn/20210123214737281.png
[20210123214830579.png]: https://img-blog.csdnimg.cn/20210123214830579.png
[20210123214912957.png]: https://img-blog.csdnimg.cn/20210123214912957.png
[20210123214953288.png]: https://img-blog.csdnimg.cn/20210123214953288.png
[20210123215109706.png]: https://img-blog.csdnimg.cn/20210123215109706.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210123215356771.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA==,size_16,color_FFFFFF,t_70
[https_mp.weixin.qq.com_s_biz_MzI5NDMzMjY1MA_mid_2247485110_idx_1_sn_86bcdb38f51fc5f82236b35c349ada4b_scene_21_wecha_E2_80_A6]: https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247485110&idx=1&sn=86bcdb38f51fc5f82236b35c349ada4b&scene=21#wecha%E2%80%A6
[20210124094838691.png]: https://img-blog.csdnimg.cn/20210124094838691.png
[20210124095443455.png]: https://img-blog.csdnimg.cn/20210124095443455.png
[20210124095140763.png]: https://img-blog.csdnimg.cn/20210124095140763.png
[GBDT]: https://mp.csdn.net/editor/html/113070770
[GBDT 1]: https://blog.csdn.net/cxx654/article/details/113070811