【20210914】【机器/深度学习】详解鸢尾花卉数据集，并以此为例介绍决策树模型的保存与调用

野性酷女 2022-09-11 08:17 6阅读 0赞

# 一、鸢尾花卉数据集（Iris数据集） #

## 1. 数据集介绍 ##

Iris数据集是一种多重变量分析的数据集，数据集包含150个数据样本，分为3类，每类有50个数据，每个数据包含4个属性/特征，分别是：花萼长度、花萼宽度、花瓣长度、花瓣宽度，标签有3个，分别是：Setosa, Versicolour, Virginca。

（参考：[IRIS （IRIS数据集）][IRIS _IRIS]）

## 2. 数据集调用和可视化 ##

from sklearn.datasets import load_iris
    from matplotlib import pyplot as plt
    
    ''' 导入数据集 '''
    iris = load_iris()  
    fea_names = iris.feature_names  # 数据集特征名称
    label_names = iris.target_names  # 数据集标签名称
    
    
    ''' 数据及可视化 '''
    x_sepal = x[:, :2]  # 萼片长、宽特征
    plt.scatter(x_sepal[:, 0], x_sepal[:, 1], c=y, cmap=plt.cm.gnuplot)
    plt.xlabel('Sepal length')
    plt.ylabel('Sepal width')
    plt.title('Sepals Samples')
    plt.show()
    
    x_petal = x[:, 2:4]  # 花瓣长、宽特征
    plt.scatter(x_petal[:, 0], x_petal[:, 1], c=y, cmap=plt.cm.gnuplot)
    plt.xlabel('Petal length')
    plt.ylabel('Petal width')
    plt.title('Petals Samples')
    plt.show()

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_18_color_FFFFFF_t_70_g_se_x_16][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_17_color_FFFFFF_t_70_g_se_x_16][]

# 二、几种分类算法 #

## 1. K-NN（K-近邻算法） ##

from sklearn.neighbors import KNeighborsClassifier
    
    knn = KNeighborsClassifier(n_neighbors=2)
    knn.fit(x, y)
    y_pre_knn = knn.predict(x)

## 2. LR（逻辑回归） ##

from sklearn.linear_model import LogisticRegression
    
    logreg = LogisticRegression()
    logreg.fit(x, y)
    y_pre_lr = logreg.predict(x)

## 3. CART决策树 ##

from sklearn import tree
    import pydotplus
    
    model = tree.DecisionTreeClassifier(criterion='gini')  # 选择模型并设置参数
    model.fit(x, y)  # 训练数据
    y_pre_cart = model.predict(x)

## 4. lightGBM ##

''' x_train, y_train, x_test, y_test 分别为训练集特征、标签和测试集特征、标签 '''
    
    import lightgbm as lgb
    
    dataset_train = lgb.Dataset(x_train, y_train)
    dataset_test = lgb.Dataset(x_test, y_test)
    
    params = {
            'learning rate': 0.1,
            'lambda_l1': 0,
            'lambda_l2': 0,
            'max_depth': 4,
            'objective': 'multiclass', 
            'num_class': 3,
            'min_data_in_leaf': 4
    }  # 设置模型参数
    
    gbm = lgb.train(params, dataset_train, valid_sets=dataset_test)  # 模型训练
    y_pre_lgb = gbm.predict(x)  # 模型预测

# 三、Cart决策树模型的保存与调用 #

from sklearn import tree
    import pydotplus
    
    with open(r'D:\Program Files (x86)\PyCharm\PyCharm Community Edition 2021.1.1\My project/test/tree.dot', 'w') as f:
        f = tree.export_graphviz(model, out_file=f)  # 将训练的模型保存
    
    # 将模型可视化并保存
    dot_data = tree.export_graphviz(model, out_file=None, feature_names=fea_names, class_names=labels_names, filled=True, rounded=True, special_characters=True)  # 设置图像参数
    graph = pydotplus.graph_from_dot_data(dot_data)
    graph.write_pdf(r'D:\Program Files (x86)\PyCharm\PyCharm Community Edition 2021.1.1\My project/test/tree.pdf')

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_20_color_FFFFFF_t_70_g_se_x_16][]

（参考：[scikit-learn库 决策树模型结果运用][scikit-learn_]）

# 四、补充Tips #

### 1. 使用 scikit-learn 进行模型匹配一般有四个步骤：（以 KNN 算法为例） ###

第一步：载入要使用的模型类

from sklearn.neighbors import KNeighborsClassifier

第二步：实例化分类器

knn = KNeighborsClassifier(n_neighbors=2)

第三步：用数据来拟合模型（进行模型训练）

knn.fit(x, y)

第四步：对新的观测值进行预测

y_pre = knn.predict(x)

（参考：[从iris数据集入门scikit-learn][iris_scikit-learn]）

### 2. 评估 CART 决策树特征重要性 ###

''' 基于 CART 决策树模型 model 输出特征重要性 '''
    print(model.feature_importances_)

### 3. 评估 lightGBM 模型特征重要性 并 保存 ###

''' 1. 基于 lightGBM 模型 gbm 输出特征重要性 '''
    
    import matplotlib.pyplot as plt
    
    plt.figure()
    lgb.plot_importance(gbm, max_num_features=4)
    plt.title('Feature Importances')
    plt.show()
    
    
    ''' 2. 基于 lightGBM 模型 gbm 输出特征重要性 '''
    booster = gbm.booster_
    importance = booster.feature_importance(importance_type='split')
    feature_name = booster.feature_name()
    feature_importance = pd.DataFrame({'feature_name': feature_name, 'importance':importance})
    feature_importance.to_csv('feature_importance.csv', index=False)

（参考：[【机器学习笔记】使用lightgbm画并保存Feature Importance][lightgbm_Feature Importance]）

[IRIS _IRIS]: https://baike.baidu.com/item/IRIS/4061453?fr=aladdin
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/fcb3708c92324e7b949baeb4f4d75243.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/39a5e48cf01f44739b75be8e98f09f55.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAU2F0aXNmeWluZw_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/78c71b0a566b495abd87e3a314c136b1.png
[scikit-learn_]: https://zhuanlan.zhihu.com/p/32029202
[iris_scikit-learn]: https://zhuanlan.zhihu.com/p/75127982
[lightgbm_Feature Importance]: https://blog.csdn.net/m0_37477175/article/details/80567010