决策树、随机森林中的多重共线性问题

谁践踏了优雅 2022-10-05 12:57 204阅读 0赞

### 目录 ###

*  1、回答1
 *  2、回答2
 *  3、回答3
 *  4、回答4
 *  机器学习模型是否需要考虑变量共线性问题？

> 对于线性回归模型，数据中是不能有多重共线性的。我想知道如果使用决策树或者随机森林或者其他一些基于树的模型，数据中的多重共线性的现象对模型有没有什么影响？

# 1、回答1 #

**随机森林的预测能力不受多重共线性影响**。

但是数据的解释性会被多重共线性影响。随机森林可以返回特征的重要性（importantce），当有多重共线性时，importance会被影响。一些具体多重共线性的特征的重要性会被相互抵消，从而影响我们解释和理解特征。

比如说，特征A和B完全一样，我们在用随机森林时，它们的重要性应该非常接近（考虑到随机性）。如果我们在训练前删除特征B，那么特征A的重要性就会翻番。这一下子就影响了我们对特征、数据的理解。

# 2、回答2 #

多重共线性的特征不会对决策树、随机森林的预测能力有影响。

多重共线性最极端的情况是有两个完全一样的特征，特征A和特征B。当特征A被使用之后，决策树不会再选择使用特征B，因为特征B并没有增加新的有效信息。同理，如何决策树先选择了使用特征B，那么特征A也不会再被使用。

所以基于树的模型不会收到多重共线性的影响。

# 3、回答3 #

参考这个实验[英文原文][Link 1]，结论：

*  We found that our best model was one that used many features and didn’t have fake data
 *  Colinearity didn’t matter - the RF model was making the splits based on what worked and not necessarily trying to balance features
 *  Always check to be sure!!

如果没时间看的话，我可以直接告诉你结论，多重共线性不影响random forest的预测能力。

# 4、回答4 #

在做线性回归时，假设之一是要求自变量之间没有强共线性，但是用决策树模型做预测时，却没有这个要求。于是乎，查询了一下，在Quora上找到了相关答案。Is multicollinearity a problem with gradient boosted trees?

总结一下，主要有下面几个原因：

1.  在统计分析中，作推断（inference）时，如果自变量存在共线性，将无法区分它们对因变量的影响，因此无法对结果进行清除的解释。
2.  但是作预测（prediction）时，我们并不关系如何解释自变量对因变量的影响。GBT 也更像一个black-box，很适合做预测分析。
3.  做预测分析时，即时我们用OLS方法，如果特征存在强相关性，会导致特征矩阵不可逆，但此时，我们仍然可以利用psedoinverse matrix进行计算。
4.  做预测时，往往用贪婪算法进行变量选择，只有新变量对结果影响比较大时，才会被加入到模型中，因此，在step-wise variable selection的过程中，共线性的变量只有一个会被选入到模型中。在决策树模型中，每一个树的构建都是贪婪的，因此，冗余的特征并不会被加入模型中。

# 机器学习模型是否需要考虑变量共线性问题？ #

[https://www.zhihu.com/question/309308502][https_www.zhihu.com_question_309308502]有更多回答，可自行查看

多重共线性的问题是导致了小样本条件下，标准误会比较大。  
ML模型一般：

1.  使用大样本
2.  不需要做参数的假设检验

所以没什么影响。

而且机器学习模型通常有正则化，比如Lasso的话很容易就把共线的部分收缩甚至删除掉了，所以不用担心。

至于完全共线性，同样不需要特别担心，正则化很容易就剔除掉了。如果碰到矩阵不可逆，用伪逆就可以了。

[Link 1]: http://www.innocentheroine.com/2017/08/colinearity-in-random-forests-does-it.html
[https_www.zhihu.com_question_309308502]: https://www.zhihu.com/question/309308502