Random Forest算法中的参数详解

墨蓝 2022-07-12 17:19 195阅读 0赞

本篇不是介绍RF的，关于RF网上有很多通俗易懂的解释  
西瓜书与统计学习方法等很多教材中的解释也都足够  
本篇仅针对如何使用sklearn中的RandomForestClassifier作记录

# 一、代码怎么写 #

**\[python\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **class** sklearn.ensemble.RandomForestClassifier(n\_estimators=10, crite-rion=’gini’, max\_depth=None,    
2.  min\_samples\_split=2, min\_samples\_leaf=1,    
3.  min\_weight\_fraction\_leaf=0.0,    
4.  max\_features=’auto’,    
5.  max\_leaf\_nodes=None, bootstrap=True,    
6.  oob\_score=False, n\_jobs=1, ran-dom\_state=None, verbose=0,    
7.  warm\_start=False, class\_weight=None)

# 二、关于参数 #

## 其中关于决策树的参数： ##

**criterion**: ”gini” or “entropy”(default=”gini”)是计算属性的gini(基尼不纯度)还是entropy(信息增益)，来选择最合适的节点。

**splitter**: ”best” or “random”(default=”best”)随机选择属性还是选择不纯度最大的属性，建议用默认。

**max\_features**: 选择最适属性时划分的特征不能超过此值。

当为整数时，即最大特征数；当为小数时，训练集特征数\*小数；

if “auto”, then max\_features=sqrt(n\_features).

If “sqrt”, thenmax\_features=sqrt(n\_features).

If “log2”, thenmax\_features=log2(n\_features).

If None, then max\_features=n\_features.

**max\_depth**: (default=None)设置树的最大深度，默认为None，这样建树时，会使每一个叶节点只有一个类别，或是达到min\_samples\_split。

**min\_samples\_split**:根据属性划分节点时，每个划分最少的样本数。

**min\_samples\_leaf**:叶子节点最少的样本数。

**max\_leaf\_nodes**: (default=None)叶子树的最大样本数。

**min\_weight\_fraction\_leaf**: (default=0) 叶子节点所需要的最小权值

**verbose**:(default=0) 是否显示任务进程

## 关于随机森林特有的参数： ##

## n\_estimators=10：决策树的个数，越多越好，但是性能就会越差，至少100左右（具体数字忘记从哪里来的了）可以达到可接受的性能和误差率。  ##

## bootstrap=True：是否有放回的采样。   ##

**oob\_score=False**：oob（out of band，带外）数据，即：在某次决策树训练中没有被bootstrap选中的数据。多单个模型的参数训练，我们知道可以用cross validation（cv）来进行，但是特别消耗时间，而且对于随机森林这种情况也没有大的必要，所以就用这个数据对决策树模型进行验证，算是一个简单的交叉验证。性能消耗小，但是效果不错。

**n\_jobs=1**：并行job个数。这个在ensemble[算法][Link 1]中非常重要，尤其是bagging（而非boosting，因为boosting的每次迭代之间有影响，所以很难进行并行化），因为可以并行从而提高性能。1=不并行；n：n个并行；-1：CPU有多少core，就启动多少job

**warm\_start=False**：热启动，决定是否使用上次调用该类的结果然后增加新的。

**class\_weight=None**：各个label的权重。

## 进行预测可以有几种形式： ##

**predict\_proba(x)：**给出带有概率值的结果。每个点在所有label的概率和为1.

**predict(x)：**直接给出预测结果。内部还是调用的predict\_proba()，根据概率的结果看哪个类型的预测值最高就是哪个类型。

**predict\_log\_proba(x)：**和predict\_proba基本上一样，只是把结果给做了log()处理。

[view plain]: http://blog.csdn.net/u012102306/article/details/52228516#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/2232116
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/2232116/fork
[Link 1]: http://lib.csdn.net/base/datastructure