理解偏差和方差(Bias-Variance)的Tradeoff

川长思鸟来 2022-01-15 04:29 288阅读 0赞

本文作者：合肥工业大学 电商所 钱洋  
**内容可能有不到之处，欢迎交流**

**未经本人允许禁止转载**。

### 文章目录 ###

*  简介
 *  偏差（Bias）与方差（Variance）的概念
 *  过拟合和欠拟合
 *  Bias-Variance Decomposition
 *  GBDT 和 RF
 *  参考

# 简介 #

当在讨论预测模型时，预测的误差可以分解成两个子部分，即由偏差(Bias)引起的误差和由方差引起的误差。那么，模型相当于是在最小化偏差和方差之间权衡。理解Bias-Variance Tradeoff将有助于建模，进而避免过拟合和欠拟合。

# 偏差（Bias）与方差（Variance）的概念 #

偏差指的是**模型预测值的期望**与真实值之间的差距。偏差越大，预测的值越偏离真实值。

*  引起的原因：没有充分利用训练数据，**模型过于简单**(**欠拟合**)。

方差：给定数据点的情况下，模型预测的可变性，可以理解成模型预测的范围。

*  高方差模型对训练数据的重视程度过高，但对测试数据集表示很差。

通过，下图可以很容易理解偏差和方差。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 1]

# 过拟合和欠拟合 #

**过拟合**：即在训练集上表现良好，但在测试集上表现很差。  
**欠拟合**：在训练集上和测试集上表现都很差。

*  原因：模型过于复杂容易引起过拟合(参数过多)；模型过于简单容易引起欠拟合(模型参数过少)。

下面两个图很好的展示了过拟合和欠拟合：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 3]  
例如，在于训练集，采用递归算法生成决策树时，直到不能向下计算为止。如果数据量过大或者决策条件过多，则生成的决策树就会过于复杂，并且容易产生过拟合。因此，需要对决策树进行剪枝(预剪枝或后剪枝)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 4]

# Bias-Variance Decomposition #

假设需要预测的值 Y Y Y，可以表示为：  
 Y = f ( x ) + e Y=f(x) + e Y=f(x)\+e  
其中， f ( x ) f(x) f(x)为true function。  
我们假设 f ^ ( x ) \\hat\{f\}\\left ( x \\right ) f^(x)为通过训练集要训练的模型，则在数据点 x x x处的误差可以表示为：  
![在这里插入图片描述][20190613092428493.png_pic_center]  
将该误差可以进一步分解为：  
![在这里插入图片描述][20190613092501120.png_pic_center]  
其中，第一项为偏差的平方，第二项为方差，即有：  
![在这里插入图片描述][2019061309254697.png_pic_center]  
下面为完整的推导公式，来源于：[https://www.cs.cmu.edu/~wcohen/10-601/bias-variance.pdf][https_www.cs.cmu.edu_wcohen_10-601_bias-variance.pdf]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 5]  
进一步简化为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 6]  
接着，将真实的function，即 f f f进行拆开：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 7]  
在化简的时候，最后一项中的第一个和第二个期望是相当的，第三个和第四个期望是相当的，所以结果为0。进而有：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 8]

# GBDT 和 RF #

GBDT，即Gradient Boosting Decision Tree，是Boosting(提升)的一种方法。 GBDT是将弱学习算法提升为强学习算法的一种统计方法，非常常用。其采用的是CART回归树作为其基本回归算法。其算法流程如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 9]  
RF，即Random Forest Algorithm，随机深林算法，其是bagging方法(并行)的一种，其不仅对数据进行Sampling，也对特征(或属性)进行Sampling。Sampling的方法为bootstrapping。如下为Bagging方法的示意图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 10]  
如下为RF的流程，即对特征和数据都进行采样：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 11]  
差异：

*  GBDT,采用弱分类器(高偏差，低方差)。GBDT综合了这些弱分类器，在迭代的过程中，降低了偏差，但保持低方差。
 *  随机深林采用完全的**子决策树**（低偏差，高方差）。随机深林要求这些子树尽可能无关，从而综合之后能降低方差，同时保持低偏差。

# 参考 #

[https://towardsdatascience.com/understanding-the-bias-variance-tradeoff-165e6942b229][https_towardsdatascience.com_understanding-the-bias-variance-tradeoff-165e6942b229]

[http://scott.fortmann-roe.com/docs/BiasVariance.html][http_scott.fortmann-roe.com_docs_BiasVariance.html]

[https://www.cs.cmu.edu/~wcohen/10-601/bias-variance.pdf][https_www.cs.cmu.edu_wcohen_10-601_bias-variance.pdf]

[https://zhuanlan.zhihu.com/p/57814935][https_zhuanlan.zhihu.com_p_57814935]

[https://medium.com/open-machine-learning-course/open-machine-learning-course-topic-5-ensembles-of-algorithms-and-random-forest-8e05246cbba7][https_medium.com_open-machine-learning-course_open-machine-learning-course-topic-5-ensembles-of-algorithms-and-random-forest-8e05246cbba7]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20220115/0f81afff6bab4ddebb7d2b9bf5f24b35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20190613084525966.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20190613085218393.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20190613085301402.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20190613085900260.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[20190613092428493.png_pic_center]: https://img-blog.csdnimg.cn/20190613092428493.png#pic_center
[20190613092501120.png_pic_center]: https://img-blog.csdnimg.cn/20190613092501120.png#pic_center
[2019061309254697.png_pic_center]: https://img-blog.csdnimg.cn/2019061309254697.png#pic_center
[https_www.cs.cmu.edu_wcohen_10-601_bias-variance.pdf]: https://www.cs.cmu.edu/~wcohen/10-601/bias-variance.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20190613092659700.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20190613092821544.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20190613093354120.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 8]: https://img-blog.csdnimg.cn/20190613093755724.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 9]: https://img-blog.csdnimg.cn/20190613095444540.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 10]: https://img-blog.csdnimg.cn/20190613100018669.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ_size_16_color_FFFFFF_t_70_pic_center 11]: https://img-blog.csdnimg.cn/20190613100204149.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9xaWFueWFuZy1oZnV0LmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70#pic_center
[https_towardsdatascience.com_understanding-the-bias-variance-tradeoff-165e6942b229]: https://towardsdatascience.com/understanding-the-bias-variance-tradeoff-165e6942b229
[http_scott.fortmann-roe.com_docs_BiasVariance.html]: http://scott.fortmann-roe.com/docs/BiasVariance.html
[https_zhuanlan.zhihu.com_p_57814935]: https://zhuanlan.zhihu.com/p/57814935
[https_medium.com_open-machine-learning-course_open-machine-learning-course-topic-5-ensembles-of-algorithms-and-random-forest-8e05246cbba7]: https://medium.com/open-machine-learning-course/open-machine-learning-course-topic-5-ensembles-of-algorithms-and-random-forest-8e05246cbba7