决策树之泰坦尼克号生存分类

女爷i 2023-07-14 10:42 1阅读 0赞

## 决策树算法介绍 ##

以对世界杯球队冠军预测为例，若有32只队伍，如果采用二分法进行预测，最多需要5次才可以得出冠军队伍

**32支球队，log32=5比特  
64支球队，log64=6比特**

### **信息熵** ###

“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：

**H = -(p1logp1 + p2logp2 + ... + p32log32)**

H的专业术语称之为信息熵，单位为比特。  
公式：

![20200314134816913.png][]

当这32支球队夺冠的几率相同时，对应的信息熵等于5比特

### 决策树的划分依据之一-信息增益 ###

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为![20200314134905586.png][]

注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度，即信息增益越大，信息的不确定性越小，而信息熵是度量信息混乱程度的，即信息熵越大，信息的不确定性越大。

### 信息增益的计算 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70][]

**以银行贷款数据为例：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 1][]

![20200314135126941.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 3][]

### 获取数据 ###

数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt

将数据复制并保存在txt文本中即可使用！

### 完整代码 ###

import pandas as pd
    from sklearn.feature_extraction import DictVectorizer
    from sklearn.model_selection import train_test_split,GridSearchCV
    from sklearn.tree import DecisionTreeClassifier
    
    def decision():
        '''
        决策树对泰坦尼克号预测生死
        :return: 
        '''
        #读取数据
        data = pd.read_csv("./泰坦尼克号.txt")
    
        #处理数据，找出特征值和目标值
        x = data[['pclass','age','sex']]
        y = data['survived']
    
        #缺失值处理
        x['age'].fillna(x['age'].mean(),inplace=True)
    
        #对数据进行训练集和测试集拆分
        x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    
    
        #进行处理（特征工程）类别-》One-hot编码
        dic = DictVectorizer(sparse=False)
        x_train = dic.fit_transform(x_train.to_dict(orient='records'))
        x_test = dic.transform(x_test.to_dict(orient='records'))
    
        #用决策树进行预测
        dec = DecisionTreeClassifier()
        #网格搜索交叉验证
        param = {"max_depth":[5,8,10,15]}
        gc = GridSearchCV(estimator=dec,param_grid=param,cv = 10)
    
        gc.fit(x_train,y_train)
    
        print("准确率:", gc.score(x_test, y_test))
        print("在交叉验证中最好的结果:", gc.best_score_)
        print("在交叉验证中最好的模型:", gc.best_estimator_)
        print("每个超参数每次交叉验证的结果:", gc.cv_results_)
        # dec.fit(x_train,y_train)
        #
        # print("准确率:",dec.score(x_test,y_test))
    
        return None
    
    
    if __name__ == "__main__":
        decision()

**预测结果**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 4][]

**经过网格搜索可知，当max\_depth = 5时，此时预测的准确率更高**

## ##

### 随机森林预测 ###

定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

根据下列算法而建造每棵树：  
**用N来表示训练用例（样本）的个数，M表示特征数目。  
输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。  
从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 5][]

随机森林的优点：

*  **在当前所有算法中，具有极好的准确率**
 *  **能够有效地运行在大数据集上**
 *  **能够处理具有高维特征的输入样本，而且不需要降维**
 *  **能够评估各个特征在分类问题上的重要性**
 *  **对于缺省值问题也能够获得很好得结果**

### 完整代码： ###

import pandas as pd
    from sklearn.feature_extraction import DictVectorizer
    from sklearn.model_selection import train_test_split,GridSearchCV
    from sklearn.tree import DecisionTreeClassifier
    from sklearn.ensemble import RandomForestClassifier
    
    def decision():
        '''
        决策树对泰坦尼克号预测生死
        :return: 
        '''
        #读取数据
        data = pd.read_csv("./泰坦尼克号.txt")
    
        #处理数据，找出特征值和目标值
        x = data[['pclass','age','sex']]
        y = data['survived']
    
        #缺失值处理
        x['age'].fillna(x['age'].mean(),inplace=True)
    
        #对数据进行训练集和测试集拆分
        x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25)
    
    
        #进行处理（特征工程）类别-》One-hot编码
        dic = DictVectorizer(sparse=False)
        x_train = dic.fit_transform(x_train.to_dict(orient='records'))
        x_test = dic.transform(x_test.to_dict(orient='records'))
    
        #用决策树进行预测
        # dec = DecisionTreeClassifier()
        # #网格搜索交叉验证
        # param = {"max_depth":[5,8,10,15]}
        # gc = GridSearchCV(estimator=dec,param_grid=param,cv = 10)
        #
        # gc.fit(x_train,y_train)
        #
        # print("准确率:", gc.score(x_test, y_test))
        # print("在交叉验证中最好的结果:", gc.best_score_)
        # print("在交叉验证中最好的模型:", gc.best_estimator_)
        # print("每个超参数每次交叉验证的结果:", gc.cv_results_)
        # # dec.fit(x_train,y_train)
        # #
        # # print("准确率:",dec.score(x_test,y_test))
    
        #使用随机森林进行预测（超参数调优）
        rc = RandomForestClassifier()
    
        #使用网格搜索和交叉验证
        param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
        gc = GridSearchCV(rc,param_grid=param,cv = 10)
    
        #使用训练集的数据训练模型
        gc.fit(x_train,y_train)
    
        print("准确率为:",gc.score(x_test,y_test))
        print("查看选择的参数模型:",gc.best_params_)
    
        return None
    
    
    if __name__ == "__main__":
        decision()

**预测结果：**

![20200314153423353.png][]

[20200314134816913.png]: /images/20230529/160e6338a6cb49f584126de05340a145.png
[20200314134905586.png]: /images/20230529/9f31731677be48668fd66707ef999d98.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70]: /images/20230529/0e27c9c0c85a47e9a2099440d861357b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 1]: /images/20230529/1ab6e2c91260416f9bda32c63a43a92e.png
[20200314135126941.png]: /images/20230529/6c916b43ab5c423b99b1953914098e01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 2]: /images/20230529/9ddd298fe8824acfbd431ad3af654cb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 3]: /images/20230529/ddc5e90aaed34841a6edb95db6fd2cfb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 4]: /images/20230529/ed55e9b714e641c0a3efcaf96428e89d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNDgxOTI0_size_16_color_FFFFFF_t_70 5]: /images/20230529/3fd90690fcc44633a7360c8484768ba6.png
[20200314153423353.png]: /images/20230529/81a628066eb24ec68d8e917a6c09f223.png