【机器学习】决策树实战与分析

╰半夏微凉° 2022-11-28 15:29 247阅读 0赞

### 文章目录 ###

*  前言
 *  一、决策树的分类思想
 *  二、决策树使用Demo
 *   *  2.1 导入必要库
     *  2.2 创建样本数据点和可视化
     *  2.3 创建决策树实例，训练模型并可视化决策树
     *  2.4 用决策树对新数据预测分类
 *  三、决策树实战
 *   *  3.1 数据准备
     *  3.2 数据划分与模型创建
     *  3.3 预测数据与评估模型
 *  四、参数选择
 *   *  4.1 参数说明
     *  4.2 不同参数效果对比
 *  五、总结
 *  六、参考资料

本文属于我的机器学习/深度学习系列文章，[点此查看系列文章目录][Link 1]

# 前言 #

之前学习决策树的时候写过一篇关于决策树原理的文章，包含**决策树的基本概念**，`ID3`,`C4.5`,`cart`算法和决策树的代码实现等，具体见[决策树：ID3&C4.5&cart算法（从原理到实现-小白教程超详细）][ID3_C4.5_cart_-]。

本文重点将放在对于**决策树**的实际应用上（对实际数据做分类）和如何提升**决策树**的性能（参数选择），在此基础上运用**随机森林**，对比两者的使用效果，总结经验。

# 一、决策树的分类思想 #

前面的链接对于决策树的具体原理已经有了充分的说明和样例了，这里简单总结用决策树做分类时的思想。

# 二、决策树使用Demo #

一个简单使用`sklearn`决策树的例子，主要步骤包含：

## 2.1 导入必要库 ##

import numpy as np
    import matplotlib.pyplot as plt
    import seaborn as sns
    
    from sklearn.tree import DecisionTreeClassifier
    from sklearn import tree
    import graphviz  # 用于可视化决策树

## 2.2 创建样本数据点和可视化 ##

X = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
    y = np.array([0, 1, 0, 1, 0, 1])
    
    # 可视化样本数据点
    
    fig = plt.figure(figsize=(6,5))
    plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap='viridis')
    plt.show()

![在这里插入图片描述][20200818195100867.png_pic_center]

## 2.3 创建决策树实例，训练模型并可视化决策树 ##

# 创建分类器拟合数据
    dtc = DecisionTreeClassifier()
    dtc.fit(X,y)
    
    # 可视化决策树，生成pdf
    dot_data = tree.export_graphviz(dtc, out_file='tree.pdf')  # 可视化决策树的数据
    graph = graphviz.Source(dot_data)
    graph.render("pengunis")

![在这里插入图片描述][20200818201327577.png_pic_center]

> 可以看到该决策树第一个划分特征选择了 X \[ 1 \] X\[1\] X\[1\]，`gini`是当前基尼系数，`samples`是样本个数，`value`则是各个分类的个数。

## 2.4 用决策树对新数据预测分类 ##

# 模型预测
    X_new1 = np.array([[0, -1]])
    X_new2 = np.array([[2, 1]])
    
    # 可视化新数据的位置
    plt.scatter(X_new1[:,0],X_new1[:,1],c='red', s=50, cmap='viridis')
    plt.annotate(s='New point 1',xy=(0,-1),xytext=(-2,0),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))
    
    plt.scatter(X_new2[:,0],X_new2[:,1], c='green',s=50, cmap='viridis')
    plt.annotate(s='New point 2',xy=(2,1),xytext=(1,2),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))
    
    ## 训练样本
    plt.scatter(X[:,0],X[:,1], c=y, s=50, cmap='viridis')
    plt.title('Dataset')
    plt.show()
    ## 在训练集和测试集上分布利用训练好的模型进行预测
    y_new1_pred = dtc.predict(X_new1)
    y_new2_pred = dtc.predict(X_new2)
    print('The New point 1 predict class:\n',y_new1_pred)  # [1]
    print('The New point 2 predict class:\n',y_new2_pred)  # [0]

这个`Demo`主要是用于简单认识在`sklearn`中运用`DecisionTreeClassifer`。

# 三、决策树实战 #

下面用决策树对实际的数据进行分类，为了与[逻辑回归][Link 2]形成对比，同样采用[鸢尾花数据集][Link 3]。

## 3.1 数据准备 ##

from sklearn.datasets import load_iris
    import pandas as pd
    
    iris = load_iris()
    df_X = pd.DataFrame(data=iris.data,columns=iris.feature_names)
    y = iris.target
    df_X.head()

## 3.2 数据划分与模型创建 ##

from sklearn.model_selection import train_test_split
    
    X_train, X_test, y_train,y_test = train_test_split(df_X,y,test_size=0.2, random_state=20200818)
    dtc = DecisionTreeClassifier()
    dtc.fit(X_train,y_train)

*  **可视化决策树**
    
        # 可视化决策树，生成pdf
        dot_data = tree.export_graphviz(dtc, out_file=None)  # 可视化决策树的数据
        graph = graphviz.Source(dot_data)
        graph.render("DTC_iris")
    
    ![在这里插入图片描述][20200818212436805.png_pic_center]
    
    > 由于数据特征和数据量都增加了，决策树的层数和节点树也相应变多。第一个分类的特征是 X \[ 2 \] X\[2\] X\[2\]，即第三个特征值(花瓣长度)，并且能够直接划分出第一类花(38例)，依次类推。

## 3.3 预测数据与评估模型 ##

from sklearn import metrics
    
    # 决策树预测
    y_train_pred = dtc.predict(X_train)
    y_test_pred = dtc.predict(X_test)
    
    # 计算准确率
    print('The accuracy on train set is:{}'.format(metrics.accuracy_score(y_train,y_train_pred)))
    print('The accuracy on test set is:{}'.format(metrics.accuracy_score(y_test,y_test_pred)))
    
    # 显示混淆矩阵
    confusion_matrix = metrics.confusion_matrix(y_test,y_test_pred)
    print('Confusion_matrix:\n{}'.format(confusion_matrix))
    
    # 用热力图绘制混淆矩阵
    plt.figure(figsize=(8,6))
    sns.heatmap(confusion_matrix,annot=True,cmap='Blues')
    plt.xlabel('Predicted labels')
    plt.ylabel('True labels')
    plt.show()

![在这里插入图片描述][20200818214755489.png_pic_center]  
从结果来看，决策树在鸢尾花数据集上的效果是要优于逻辑回归的。

# 四、参数选择 #

## 4.1 参数说明 ##

前面都是采用了默认的决策树配置，下面说明一下`sklearn`中`DecisionTreeClassifer`的几个重要参数：

*  `criterion`: **损失函数**，默认是`gini`(基尼系数),可选`entropy`
 *  `splitter`: **结点划分的策略**，依据选用的criterion标准，选用最优划分属性来划分该结点，默认`best`采取最优划分，但是计算量较大，适合数据量小的场合，`random`随机划分，适合数据量大的场合。如果选择`random`，那么可以设置参数`random_state`用于随机种子。

上面是决策树重要的几个基础参数，下面介绍决策树与剪枝相关的参数：

> 剪枝是决策树用于防止过拟合的策略，对于某些个别很少的噪音数据，如果也为其划出一个分支很容易导致数据过拟合，因此是否采取剪枝需要先对数据样本各个类别数据的分布进行分析。

*  `max_depth`: **决策树的最大深度**，一定程度上可以防止过拟合，当决策树划分到`max_depth`层就不再向下划分
 *  `min_samples_leaf`: **一个节点在分枝后，每个子节点都必须至少包含的训练样本数量**，这可以避免对于一些很少的样本数据对分类的干扰，导致过拟合
 *  `min_samples_split`: **一个要被分枝节点最少包含的训练样本的数量**，只有该节点样本数量不少于该值，才允许分枝，这可以保证每个叶子节点包含足量的样本。
 *  `max_features`: **分枝时考虑的最大特征数**，超过限制个数的特征会被舍弃，相当于消除一部分特征对于分枝的影响，这需要提前对某些特征对分类的贡献度有一定了解。
 *  `min_impurity_decrease`: **信息增益的最小值**，即父节点与子节点的信息熵之差的最小值，这保证了在选择一个特征的时候需要达到足够的信息增益才进行划分。

## 4.2 不同参数效果对比 ##

为了体现不同参数对模型的影响效果，同时考虑到参数的效果针对不同数据集各异，因此，这里选取几种不同的参数对于模型预测的效果进行对比，对比指标以`Accuracy`为主，对比的数据集选择了`kaggle`泰坦尼克数据集。

*  **数据样例展示**  
    ![在这里插入图片描述][20200819123345513.png_pic_center]
    
    > 该数据集拥有比鸢尾花数据更复杂的特征，更容易凸显出不同参数对决策树效果的影响。

对于数据集中并非所有的特征都要被使用，例如姓名，船票编号等。因此筛选了如下特征，并作了`one-hot`编码得到如下数据作为训练数据，`Surivived`（是否存活）作为分类标签。

![在这里插入图片描述][20200819123624108.png_pic_center]  
下面是不同参数选择下的模型在训练集和测试集上的准确率对比：

> 为了保证每次结果能被还原，`splitter`选择`random`,`random_state=20200818`

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>训练集上准确率</th> 
   <th>测试集上准确率</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>default</td> 
   <td><strong>0.9222</strong></td> 
   <td>0.8072</td> 
  </tr> 
  <tr> 
   <td>max_features=2</td> 
   <td>0.9222</td> 
   <td>0.8296</td> 
  </tr> 
  <tr> 
   <td>min_samples_leaf=3</td> 
   <td>0.8308</td> 
   <td><strong>0.8430</strong></td> 
  </tr> 
  <tr> 
   <td>min_samples_split=3</td> 
   <td>0.8982</td> 
   <td>0.8296</td> 
  </tr> 
 </tbody> 
</table>

这只是抽取了部分参数的结果中较优的，可以看到剪枝让决策树在测试集的表现上得到了提升，一定程度上缓解了过拟合的问题。

--------------------

关于决策树的调参可以参考这篇文章：[机器学习：决策树（二）——sklearn决策树调参][sklearn]

# 五、总结 #

本文介绍了决策树在实际数据中的使用，原理的部分在另一篇文章[决策树：ID3&C4.5&cart算法（从原理到实现-小白教程超详细）][ID3_C4.5_cart_-]已经详细论述过，在实际效果的对比上，决策树要优于逻辑回归，在`sklearn`中使用与`LogisticRegression`大同小异。总体而言，决策树对于数据的分类可归结为：

1.  基于给定的划分标准(`gini`,`entropy`)找出使得分类结果纯度最高的特征
2.  将特征作为依据划分树节点
3.  重复1-2直到所有分类结果都属于同类或达到限制要求（e.g. 树的最大深度，最小叶节点样本数）

# 六、参考资料 #

*  [阿里云天池实验室][Link 4]
 *  [sklearn的DecisionTreeClassifier的5个剪枝参数][sklearn_DecisionTreeClassifier_5]

[Link 1]: https://www.gentlecp.com/articles/465.html
[ID3_C4.5_cart_-]: https://blog.csdn.net/GentleCP/article/details/99061426
[20200818195100867.png_pic_center]: /images/20221124/6ae664a5c6c34333a66d80f50f2a1b71.png
[20200818201327577.png_pic_center]: /images/20221124/b56332a54da6465b90390f5fa3032592.png
[Link 2]: https://blog.csdn.net/GentleCP/article/details/108035696
[Link 3]: https://www.jianshu.com/p/6ada344f91ce
[20200818212436805.png_pic_center]: /images/20221124/965c3871bfae4f7badbcdf45bc169d50.png
[20200818214755489.png_pic_center]: /images/20221124/d58b89975b3c467fb465e6de44a2a8a1.png
[20200819123345513.png_pic_center]: /images/20221124/81e403c82bc94a178103831444f63534.png
[20200819123624108.png_pic_center]: /images/20221124/b635673446ef47bf8122320e2c593ebe.png
[sklearn]: https://www.cnblogs.com/lyxML/p/9575820.html
[Link 4]: https://developer.aliyun.com/ai/scenario/bb2fe211e5e94017840ce42cc31fe621
[sklearn_DecisionTreeClassifier_5]: https://blog.csdn.net/weixin_42969619/article/details/99302615