图解GBDT的构造和预测过程

亦凉 2022-04-22 07:52 410阅读 0赞

GBDT 及其改进版本（XGboost, lightGBM）在数据竞赛中占了大半江山，网上讲解的文章也很多，但大多是文字和公式的形式，这里尝试用简单的图解形式，去理解 GBDT 的基本操作过程。

参考《统计学习方法》P149中的例子，说明 GBDT 的构造和预测过程。

#### GBDT的构造 ####

GBDT 采用的弱分类器限定了 CART，因此构造出来的都是二叉树，因为单棵 CART 树的能力有限，GBDT 通过构造多棵回归树去预测，每棵树都预测前面所有树预测之后的残差（损失函数为平方误差时），因此残差越来越小，预测的精度也就越来越高。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Nvbmd5dW5saTExMTE_size_16_color_FFFFFF_t_70]

上图中，根据数据表8.2，按照 CART 的构造方式，得到第一棵树T1（这里是用了树桩，但实际中每棵树的深度都可以更深），根据T1预测每个x，都会有对应的残差，得到残差表8.4，形成新的训练集（x,r），再训练下一棵树，直至达到指标要求。

#### GBDT的预测 ####

在《统计学习方法》中，经过训练会得到6棵树，最终的提升树就是这6棵树的组合。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Nvbmd5dW5saTExMTE_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Nvbmd5dW5saTExMTE_size_16_color_FFFFFF_t_70 2]

如上图，书中可以说是将6棵树合并成了一棵树，因为这个例题有比较简单的结构，每棵树都是由树桩组成，因此非常容易合并，复杂一些无法合并的树，就是并行地得到每棵树的预测值然后相加就是最终的预测值。

#### 简单小结 ####

GBDT是由多棵树组成的，而且每一颗树都依赖于之前树建立后的残差，因此它的建树过程不是并行的，而是串行的，所以速度较慢。

这种个体学习器之间存在强依赖关系、必须串行生成的序列化方法，就是boosting方法，而个体学习器间不存在强依赖关系、可同时生成的并行化方法，就是bagging，如随机森林。

但对于GBDT，所有的树一旦建好，用它来预测时是并行的，最终的预测值就是所有树的预测值之和。

对于随机森林，它的预测也是并行的，但最终的预测值是所有树预测值的平均。(注：这是对于回归问题)

另外，对于其公式的解释，可以参考：

[从回归树到GBDT][GBDT]

[梯度提升树(GBDT)原理小结][GBDT 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Nvbmd5dW5saTExMTE_size_16_color_FFFFFF_t_70]: /images/20220422/4fff6604d7454548bee519b7bbef0a02.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Nvbmd5dW5saTExMTE_size_16_color_FFFFFF_t_70 1]: /images/20220422/e039b01883e94ac0b6e465742494a83c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Nvbmd5dW5saTExMTE_size_16_color_FFFFFF_t_70 2]: /images/20220422/53925faf1aff429e922e484e2ccb21a0.png
[GBDT]: https://blog.csdn.net/zqxnum1/article/details/44337557
[GBDT 1]: https://www.cnblogs.com/pinard/p/6140514.html