决策树(decision tree)——(1)生成与度量指标

野性酷女 2023-09-29 10:45 73阅读 0赞

\*\*注：本博客为李航《统计学习方法》与周志华《机器学习》读书笔记，虽然有一些自己的理解，但是其中仍然有大量文字摘自李老师和周老师的书籍内容。

### 决策树(decision tree）是一种基本的分类与回归方法． ###

本章主要讨论用于分类的决策树.

决策树模型呈树形结构，

分类时，可以认为是定义在特征空间与类空间上的条件概率分布.其主要优点是模型具有可读性，分类速度快。

学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。

预测时，对新的数据，利用决策树模型进行分类。

决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。

决策树由Quinlan在1986年提出的ID3算法和1993年提出的C4.5算法。

以及由Breiman等人在1984年提出的CART算法. 决策树(决策树)是一种基本的分类与回归方法。

![55242440caf24a1db78eb93232997582.png][]

### 决策树的生成 ###

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程.这一过程对应着对特征空间的划分，也对应着决策树的构建．

开始，构建根结点，将所有训练数据都放在根结点．选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类.如果这些子集已经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去;

如果还有子集不能被基本正确分类,那么就对这些子集选择新的最优特征,继续对其进行分割，构建相应的结点.如此递归地进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止.最后每个子集都被分到叶结点上，即都有了明确的类．这就生成了一棵决策树。

![55407c6a809e48a4b0ed96b3294da2c0.png][]

### 特征的选择 ###

特征选择在于选取对训练数据具有分类能力特征。这样可以提高决策树的学习的概率，

如果利用一个特征进行分类的结果与随机分类的结果没有很大差别,则称这个特征是没有分类能力

的.经验上扔掉这样的特征对决策树学习的精度影响不大．通常特征选择的准则是信息增益或信息

增益比、分类误差率、基尼指数。

下面分别介绍

我们举例子进行说明，这样方便大家理解。

例 贷款申请，数据集T

**图 1.1**

#### ![2338c161488d405ea321c004848f6aee.png][] ####

![43ae0487311147f7a1b047916c6c9698.png][]

#### 分类误差率 ####

分类误差率是指集合中任一样例被分错类别的概率。它是不纯度最直接的度量方法。

在二分类中，对于任意一个[叶子节点][Link 1]t，它预测的类别应该是t中包含样例个树最多的类别。

因为t中所有的样例都被预测为出现概率最大的那个类别，所以t的分类误差率，记为Error（t）

![Error(t)=1-max\[p(i|t)\]][Error_t_1-max_p_i_t]

当t中各所以样例都属于同一类别，即最纯时，Error（t）取最小值0，当t中的各类分布均匀，即各类包含的样例各数相等时，Error（t）取最大值（1-1/n）.

例如：

以图1.1为例，以年龄为节点，可以分成三个子集。

年龄这个特征的分类误差率为：

![Error(D)=1-max\[\\frac\{6\}\{15\} ,\\frac\{9\}\{15\}\]=\\frac\{6\}\{15\}][Error_D_1-max_frac_6_15_ _frac_9_15_frac_6_15]

其子集的分类误差率为：

![Error(D\_\{1\})=1-max\[\\frac\{2\}\{5\} ,\\frac\{3\}\{5\}\]=\\frac\{2\}\{5\}][Error_D_1_1-max_frac_2_5_ _frac_3_5_frac_2_5]

![Error(D\_\{2\})=1-max\[\\frac\{3\}\{5\} ,\\frac\{2\}\{5\}\]=\\frac\{2\}\{5\}][Error_D_2_1-max_frac_3_5_ _frac_2_5_frac_2_5]

![Error(D\_\{3\})=1-max\[\\frac\{4\}\{5\} ,\\frac\{1\}\{5\}\]=\\frac\{1\}\{5\}][Error_D_3_1-max_frac_4_5_ _frac_1_5_frac_1_5]

所以总的分类误差率减少  
![Error(D)-\\frac\{5\}\{12\}Error(D\_\{1\})-\\frac\{5\}\{12\}Error(D\_\{2\})-\\frac\{5\}\{12\}Error(D\_\{3\})=][Error_D_-_frac_5_12_Error_D_1_-_frac_5_12_Error_D_2_-_frac_5_12_Error_D_3]![\\frac\{6\}\{15\}-(\\frac\{5\}\{15\}\\cdot \\frac\{2\}\{5\}+\\frac\{5\}\{15\}\\cdot \\frac\{2\}\{5\}+\\frac\{5\}\{15\}\\cdot \\frac\{1\}\{5\})=\\frac\{1\}\{15\}][frac_6_15_-_frac_5_15_cdot _frac_2_5_frac_5_15_cdot _frac_2_5_frac_5_15_cdot _frac_1_5_frac_1_15]

同理算出各个特征的分类误差率

进行比较，选择误差率最大的那个，重复以上步骤继续分裂下去。

缺点：

分类误差对分类概率的改变不够敏感，导致生成低效的决策树。

#### 信息增益 ####

熵，它是热力学中的一个概念，用于衡量一个系统的混乱度，一个系统月无序混乱，熵越大。在信息论中，熵是对随机变量不确定性的度量，熵的值越大，随机变量的不确定性就越大，即信息量月大。

设X是一个取有限个值的离散随机变量，其概率分布为

![321c0daf8cf949f1ad0765fa4a2d92da.png][]

则随机变量X的熵定义为

![57926a2775c349c69e469ee9cbe66756.png][]

当随机变量只取两个值，例如1，0时，有：

![ddf3969fe495472691cedb659be1c048.png][]

熵为：

![e0013595cab5419d8afc840b086c7bd4.png][]

条件熵H(Y\\X)表示在已知随机变量X的条件下随机变量Y的不确定性.随机变量X给定的条件下随机变量Y的条件熵(条件熵)H(Y=X)，定义为X给定条件下Y的条件概率分布的熵对的数学期望

![fdaf245305264703bb3da3aabba67fb3.png][]

当熵和条件熵中的概率由数据估计（特别是极大似然估计〉得到时，所对应的熵与条件熵分别称为经验熵（ empirical entropy）和经验条件熵（ empiricalconditional entropy)．

此时，如果有0概率，令0log0=0 .

信息增益（information gain）表示得知特征X的信息而使得类Y的信息的不确定性减少的程度.

信息增益：特征A对训练数据集D的信息增益g(D，A)，定义为集合D的经验嫡H(D)与特征A给定条件下D的经验条件熵H(D=A)之差，即

![48728aa10ca14ae191c443e64d3217e7.png][]

一般地，熵H(Y)与条件熵H(Y=X)之差称为互信息(mutual information)决策树学习中的信息增益等价于训练数据集中类与特征的互信息.

#### 例如： ####

以图1.1为例，以年龄为节点，可以分成三个子集。

年龄的熵为：

![H(D)=-\\frac\{6\}\{15\}\\log\\frac\{6\}\{15\} -\\frac\{9\}\{15\}\\log\\frac\{9\}\{15\}][H_D_-_frac_6_15_log_frac_6_15_ -_frac_9_15_log_frac_9_15]

其子集的经验熵为：

![Entroty(D\_\{1\})=-\\frac\{2\}\{5\}\\log\_\{2\}\\frac\{2\}\{5\}-\\frac\{3\}\{5\}\\log\_\{2\}\\frac\{3\}\{5\}][Entroty_D_1_-_frac_2_5_log_2_frac_2_5_-_frac_3_5_log_2_frac_3_5]

![Entroty(D\_\{2\})=-\\frac\{3\}\{5\}\\log\_\{2\}\\frac\{3\}\{5\}-\\frac\{2\}\{5\}\\log\_\{2\}\\frac\{2\}\{5\}][Entroty_D_2_-_frac_3_5_log_2_frac_3_5_-_frac_2_5_log_2_frac_2_5]

#### ![Entroty(D\_\{3\})=-\\frac\{4\}\{5\}\\log\_\{2\}\\frac\{4\}\{5\}-\\frac\{1\}\{5\}\\log\_\{2\}\\frac\{1\}\{5\}][Entroty_D_3_-_frac_4_5_log_2_frac_4_5_-_frac_1_5_log_2_frac_1_5] ####

则分裂后熵减少了,即年龄的信息增益为：

![g(T,D)=-\\frac\{5\}\{15\}\\log\_\{2\}\\frac\{5\}\{15\}-\\frac\{5\}\{15\}\\log\_\{2\}\\frac\{5\}\{15\}-\\frac\{5\}\{15\}\\log\_\{2\}\\frac\{5\}\{15\}][g_T_D_-_frac_5_15_log_2_frac_5_15_-_frac_5_15_log_2_frac_5_15_-_frac_5_15_log_2_frac_5_15]

计算出其他特征的熵，选择最大的互信息

信息增益值的大小是相对于训练数据集而言的，并没有绝对意义．在分类问题困难时，也就是说在训练数据集的经验嫡大的时候，信息增益值会偏大.反之，信息增益值会偏小．使用信息增益比（ information gain ratio）可以对这一问题进行校正．这是特征选择的另--准则.

#### 信息增益率 ####

实际上，信息增益准则对可取值数目较多的属性有所偏好,为减少这种偏好可能带来的不利影响,著名的C4.5决策树算法\[Quinlan，1993\]不直接使用信息增益，而是使用“增益率”(gain ratio)来选择最优划分属性，信息增益率定义为

![6846d7e6c8dd4c57ae77d28fd869c731.png][]

称为属性α的“固有值”(intrinsic value)\[Quinlan，1993\]．属性α的可能取值数目越多(即V越大)，则IV(a)的值通常会越大.IV(a)称为内部信息。

例如：

以图1.1为例，以年龄为节点，可以分成三个子集。

年龄的熵为：

![H(D)=-\\frac\{6\}\{15\}\\log\\frac\{6\}\{15\} -\\frac\{9\}\{15\}\\log\\frac\{9\}\{15\}][H_D_-_frac_6_15_log_frac_6_15_ -_frac_9_15_log_frac_9_15]

其子集的分类误差率为：

![Entroty(D\_\{1\})=-\\frac\{2\}\{5\}\\log\_\{2\}\\frac\{2\}\{5\}-\\frac\{3\}\{5\}\\log\_\{2\}\\frac\{3\}\{5\}][Entroty_D_1_-_frac_2_5_log_2_frac_2_5_-_frac_3_5_log_2_frac_3_5]

![Entroty(D\_\{2\})=-\\frac\{3\}\{5\}\\log\_\{2\}\\frac\{3\}\{5\}-\\frac\{2\}\{5\}\\log\_\{2\}\\frac\{2\}\{5\}][Entroty_D_2_-_frac_3_5_log_2_frac_3_5_-_frac_2_5_log_2_frac_2_5]

#### ![c'c(D\_\{3\})=-\\frac\{4\}\{5\}\\log\_\{2\}\\frac\{4\}\{5\}-\\frac\{1\}\{5\}\\log\_\{2\}\\frac\{1\}\{5\}][Entroty_D_3_-_frac_4_5_log_2_frac_4_5_-_frac_1_5_log_2_frac_1_5] ####

则分裂后熵减少了,即年龄的信息增益为：

![g(T,D)=H(D)-\\frac\{5\}\{15\}Entroty(D\_\{1\})-\\frac\{5\}\{15\}Entroty(D\_\{2\})-\\frac\{5\}\{15\}Entroty(D\_\{3\})][g_T_D_H_D_-_frac_5_15_Entroty_D_1_-_frac_5_15_Entroty_D_2_-_frac_5_15_Entroty_D_3]

![IV(D)=-\\frac\{5\}\{15\}Entroty(D\_\{1\})-\\frac\{5\}\{15\}Entroty(D\_\{2\})-\\frac\{5\}\{15\}Entroty(D\_\{3\})][IV_D_-_frac_5_15_Entroty_D_1_-_frac_5_15_Entroty_D_2_-_frac_5_15_Entroty_D_3]

![EntrotyRatio(T,D)=\\frac\{g(T,D)\}\{IV(D)\}][EntrotyRatio_T_D_frac_g_T_D_IV_D]

需注意的是,增益率准则对可取值数目较少的属性有所偏好,因此,C4.5算法并不是直接选择增益率最大的候选划分属性,而是使用了一个启发式\[Quinlan,1993\]:先从候选划分属性中找出信息增益高于平均水平的属性,再从中选择增益率最高的.

#### 基尼指数 ####

基尼指数是0~1之间的一个比值，其值月大，表示不平等程度越高，衡量一个节点的不纯度。

CART决策树\[Breiman et al.，1984\]使用“基尼指数”(Gini index)来选择划分属性。定义数据集D,数据集D的纯度可用基尼值来度量:

![52860d46ea7a47a9bcef086ebce757ed.png][]

直观来说，定义数据集D，则Gini(D)反映了从数据集D中随机抽取两个样本,其类别标记不一致的概率.因此, Gini(D)越小，则数据集D的纯度越高。

例如：

以图1.1为例，以年龄为节点，可以分成三个子集。

数据集的T的基尼指数：

![Gini(T)=1-(\\frac\{9\}\{15\})^\{2\}-(\\frac\{6\}\{15\})^\{2\}][Gini_T_1-_frac_9_15_2_-_frac_6_15_2]

分裂后得到，D1，D2，D3

![Gini(T\_\{1\})=1-(\\frac\{2\}\{5\})^\{2\}-(\\frac\{3\}\{5\})^\{2\}][Gini_T_1_1-_frac_2_5_2_-_frac_3_5_2]

![Gini(T\_\{1\})=1-(\\frac\{3\}\{5\})^\{2\}-(\\frac\{2\}\{5\})^\{2\}][Gini_T_1_1-_frac_3_5_2_-_frac_2_5_2]

![Gini(T\_\{1\})=1-(\\frac\{1\}\{5\})^\{2\}-(\\frac\{4\}\{5\})^\{2\}][Gini_T_1_1-_frac_1_5_2_-_frac_4_5_2]

则分裂后基尼指数减少了：

![Gini(T)-(\\frac\{5\}\{15\})Gini(T\_\{1\})-(\\frac\{5\}\{15\})Gini(T\_\{2\})-(\\frac\{5\}\{15\})Gini(T\_\{3\})][Gini_T_-_frac_5_15_Gini_T_1_-_frac_5_15_Gini_T_2_-_frac_5_15_Gini_T_3]

#### **二类分类中基尼指数、嫡之半和分类误差率的关系**    ####

以二分类为例，显示二类分类问题中基尼指数Gini(p)、熵(单位比特)之半H(p)和分类误差率的关系．横坐标表示概率p，纵坐标表示损失．可以看出基尼指数和熵之半的曲线很接近，都可以近似地代表分类误差率.

![a817a117feec481ca283251979dc480b.png][]

python进行实现：

import numpy as np
    from matplotlib import pyplot as plt 
    import matplotlib as mpl
    mpl.rcParams['font.sans-serif'] = ['simHei']
    mpl.rcParams['axes.unicode_minus'] = False
     
    p = np.linspace(0.0001, 0.9999 ,50)
    Gini = 2 * p * (1-p)
    H = (-p * np.log2(p) - (1 - p) * np.log2(1 - p))/2.0
    x1 = np.linspace(0,0.5,50)
    y1 = x1
    x2 = np.linspace(0.5,1,50)
    y2 = 1- x2
     
    plt.figure(figsize=(10,5))
    plt.plot(p, Gini, 'r-', label='基尼指数')
    plt.plot(p, H, 'b-', label='半熵')
    plt.plot(x1, y1, 'g-', label='分类误差率')
    plt.plot(x2, y2, 'g-')
    plt.legend()
    plt.xlim(-0.01, 1.01)
    plt.ylim(0, 0.51)
    plt.show()

### 下一篇介绍几种算法： ###

关注我文章。

--------------------

参考：李航《统计统计学习方法》

参考：周志华《机器学习》

[55242440caf24a1db78eb93232997582.png]: https://img-blog.csdnimg.cn/55242440caf24a1db78eb93232997582.png
[55407c6a809e48a4b0ed96b3294da2c0.png]: https://img-blog.csdnimg.cn/55407c6a809e48a4b0ed96b3294da2c0.png
[2338c161488d405ea321c004848f6aee.png]: https://img-blog.csdnimg.cn/2338c161488d405ea321c004848f6aee.png
[43ae0487311147f7a1b047916c6c9698.png]: https://img-blog.csdnimg.cn/43ae0487311147f7a1b047916c6c9698.png
[Link 1]: https://so.csdn.net/so/search?q=%E5%8F%B6%E5%AD%90%E8%8A%82%E7%82%B9&spm=1001.2101.3001.7020
[Error_t_1-max_p_i_t]: https://latex.csdn.net/eq?Error%28t%29%3D1-max%5Bp%28i%7Ct%29%29%5D
[Error_D_1-max_frac_6_15_ _frac_9_15_frac_6_15]: https://latex.csdn.net/eq?Error%28D%29%3D1-max%5B%5Cfrac%7B6%7D%7B15%7D%20%2C%5Cfrac%7B9%7D%7B15%7D%5D%3D%5Cfrac%7B6%7D%7B15%7D
[Error_D_1_1-max_frac_2_5_ _frac_3_5_frac_2_5]: https://latex.csdn.net/eq?Error%28D_%7B1%7D%29%3D1-max%5B%5Cfrac%7B2%7D%7B5%7D%20%2C%5Cfrac%7B3%7D%7B5%7D%5D%3D%5Cfrac%7B2%7D%7B5%7D
[Error_D_2_1-max_frac_3_5_ _frac_2_5_frac_2_5]: https://latex.csdn.net/eq?Error%28D_%7B2%7D%29%3D1-max%5B%5Cfrac%7B3%7D%7B5%7D%20%2C%5Cfrac%7B2%7D%7B5%7D%5D%3D%5Cfrac%7B2%7D%7B5%7D
[Error_D_3_1-max_frac_4_5_ _frac_1_5_frac_1_5]: https://latex.csdn.net/eq?Error%28D_%7B3%7D%29%3D1-max%5B%5Cfrac%7B4%7D%7B5%7D%20%2C%5Cfrac%7B1%7D%7B5%7D%5D%3D%5Cfrac%7B1%7D%7B5%7D
[Error_D_-_frac_5_12_Error_D_1_-_frac_5_12_Error_D_2_-_frac_5_12_Error_D_3]: https://latex.csdn.net/eq?Error%28D%29-%5Cfrac%7B5%7D%7B12%7DError%28D_%7B1%7D%29-%5Cfrac%7B5%7D%7B12%7DError%28D_%7B2%7D%29-%5Cfrac%7B5%7D%7B12%7DError%28D_%7B3%7D%29%3D
[frac_6_15_-_frac_5_15_cdot _frac_2_5_frac_5_15_cdot _frac_2_5_frac_5_15_cdot _frac_1_5_frac_1_15]: https://latex.csdn.net/eq?%5Cfrac%7B6%7D%7B15%7D-%28%5Cfrac%7B5%7D%7B15%7D%5Ccdot%20%5Cfrac%7B2%7D%7B5%7D&plus;%5Cfrac%7B5%7D%7B15%7D%5Ccdot%20%5Cfrac%7B2%7D%7B5%7D&plus;%5Cfrac%7B5%7D%7B15%7D%5Ccdot%20%5Cfrac%7B1%7D%7B5%7D%29%3D%5Cfrac%7B1%7D%7B15%7D
[321c0daf8cf949f1ad0765fa4a2d92da.png]: https://img-blog.csdnimg.cn/321c0daf8cf949f1ad0765fa4a2d92da.png
[57926a2775c349c69e469ee9cbe66756.png]: https://img-blog.csdnimg.cn/57926a2775c349c69e469ee9cbe66756.png
[ddf3969fe495472691cedb659be1c048.png]: https://img-blog.csdnimg.cn/ddf3969fe495472691cedb659be1c048.png
[e0013595cab5419d8afc840b086c7bd4.png]: https://img-blog.csdnimg.cn/e0013595cab5419d8afc840b086c7bd4.png
[fdaf245305264703bb3da3aabba67fb3.png]: https://img-blog.csdnimg.cn/fdaf245305264703bb3da3aabba67fb3.png
[48728aa10ca14ae191c443e64d3217e7.png]: https://img-blog.csdnimg.cn/48728aa10ca14ae191c443e64d3217e7.png
[H_D_-_frac_6_15_log_frac_6_15_ -_frac_9_15_log_frac_9_15]: https://latex.csdn.net/eq?H%28D%29%3D-%5Cfrac%7B6%7D%7B15%7D%5Clog%5Cfrac%7B6%7D%7B15%7D%20-%5Cfrac%7B9%7D%7B15%7D%5Clog%5Cfrac%7B9%7D%7B15%7D
[Entroty_D_1_-_frac_2_5_log_2_frac_2_5_-_frac_3_5_log_2_frac_3_5]: https://latex.csdn.net/eq?Entroty%28D_%7B1%7D%29%3D-%5Cfrac%7B2%7D%7B5%7D%5Clog_%7B2%7D%5Cfrac%7B2%7D%7B5%7D-%5Cfrac%7B3%7D%7B5%7D%5Clog_%7B2%7D%5Cfrac%7B3%7D%7B5%7D
[Entroty_D_2_-_frac_3_5_log_2_frac_3_5_-_frac_2_5_log_2_frac_2_5]: https://latex.csdn.net/eq?Entroty%28D_%7B2%7D%29%3D-%5Cfrac%7B3%7D%7B5%7D%5Clog_%7B2%7D%5Cfrac%7B3%7D%7B5%7D-%5Cfrac%7B2%7D%7B5%7D%5Clog_%7B2%7D%5Cfrac%7B2%7D%7B5%7D
[Entroty_D_3_-_frac_4_5_log_2_frac_4_5_-_frac_1_5_log_2_frac_1_5]: https://latex.csdn.net/eq?Entroty%28D_%7B3%7D%29%3D-%5Cfrac%7B4%7D%7B5%7D%5Clog_%7B2%7D%5Cfrac%7B4%7D%7B5%7D-%5Cfrac%7B1%7D%7B5%7D%5Clog_%7B2%7D%5Cfrac%7B1%7D%7B5%7D
[g_T_D_-_frac_5_15_log_2_frac_5_15_-_frac_5_15_log_2_frac_5_15_-_frac_5_15_log_2_frac_5_15]: https://latex.csdn.net/eq?g%28T%2CD%29%3D-%5Cfrac%7B5%7D%7B15%7D%5Clog_%7B2%7D%5Cfrac%7B5%7D%7B15%7D-%5Cfrac%7B5%7D%7B15%7D%5Clog_%7B2%7D%5Cfrac%7B5%7D%7B15%7D-%5Cfrac%7B5%7D%7B15%7D%5Clog_%7B2%7D%5Cfrac%7B5%7D%7B15%7D
[6846d7e6c8dd4c57ae77d28fd869c731.png]: https://img-blog.csdnimg.cn/6846d7e6c8dd4c57ae77d28fd869c731.png
[g_T_D_H_D_-_frac_5_15_Entroty_D_1_-_frac_5_15_Entroty_D_2_-_frac_5_15_Entroty_D_3]: https://latex.csdn.net/eq?g%28T%2CD%29%3DH%28D%29-%5Cfrac%7B5%7D%7B15%7DEntroty%28D_%7B1%7D%29-%5Cfrac%7B5%7D%7B15%7DEntroty%28D_%7B2%7D%29-%5Cfrac%7B5%7D%7B15%7DEntroty%28D_%7B3%7D%29
[IV_D_-_frac_5_15_Entroty_D_1_-_frac_5_15_Entroty_D_2_-_frac_5_15_Entroty_D_3]: https://latex.csdn.net/eq?IV%28D%29%3D-%5Cfrac%7B5%7D%7B15%7DEntroty%28D_%7B1%7D%29-%5Cfrac%7B5%7D%7B15%7DEntroty%28D_%7B2%7D%29-%5Cfrac%7B5%7D%7B15%7DEntroty%28D_%7B3%7D%29
[EntrotyRatio_T_D_frac_g_T_D_IV_D]: https://latex.csdn.net/eq?EntrotyRatio%28T%2CD%29%3D%5Cfrac%7Bg%28T%2CD%29%7D%7BIV%28D%29%7D
[52860d46ea7a47a9bcef086ebce757ed.png]: https://img-blog.csdnimg.cn/52860d46ea7a47a9bcef086ebce757ed.png
[Gini_T_1-_frac_9_15_2_-_frac_6_15_2]: https://latex.csdn.net/eq?Gini%28T%29%3D1-%28%5Cfrac%7B9%7D%7B15%7D%29%5E%7B2%7D-%28%5Cfrac%7B6%7D%7B15%7D%29%5E%7B2%7D
[Gini_T_1_1-_frac_2_5_2_-_frac_3_5_2]: https://latex.csdn.net/eq?Gini%28T_%7B1%7D%29%3D1-%28%5Cfrac%7B2%7D%7B5%7D%29%5E%7B2%7D-%28%5Cfrac%7B3%7D%7B5%7D%29%5E%7B2%7D
[Gini_T_1_1-_frac_3_5_2_-_frac_2_5_2]: https://latex.csdn.net/eq?Gini%28T_%7B1%7D%29%3D1-%28%5Cfrac%7B3%7D%7B5%7D%29%5E%7B2%7D-%28%5Cfrac%7B2%7D%7B5%7D%29%5E%7B2%7D
[Gini_T_1_1-_frac_1_5_2_-_frac_4_5_2]: https://latex.csdn.net/eq?Gini%28T_%7B1%7D%29%3D1-%28%5Cfrac%7B1%7D%7B5%7D%29%5E%7B2%7D-%28%5Cfrac%7B4%7D%7B5%7D%29%5E%7B2%7D
[Gini_T_-_frac_5_15_Gini_T_1_-_frac_5_15_Gini_T_2_-_frac_5_15_Gini_T_3]: https://latex.csdn.net/eq?Gini%28T%29-%28%5Cfrac%7B5%7D%7B15%7D%29Gini%28T_%7B1%7D%29-%28%5Cfrac%7B5%7D%7B15%7D%29Gini%28T_%7B2%7D%29-%28%5Cfrac%7B5%7D%7B15%7D%29Gini%28T_%7B3%7D%29
[a817a117feec481ca283251979dc480b.png]: https://img-blog.csdnimg.cn/a817a117feec481ca283251979dc480b.png