可视化神器Scikit-plot实践入门

末蓝、 2022-10-13 02:59 295阅读 0赞

数据可视化是任何数据分析、数据挖掘、机器学习类任务里面都避不开的一个话题，数据可视化的意义远不仅仅是“画出来”那么简单，在数据建模前期往往要借助于数据可视化处理来对原始数据进行探索性分析，比如分析数据分布、缺失情况、分组情况等等，对于后面数据处理阶段的工作有着重要的指导作用，在我前面的博文里面已经有介绍到很多数据可视化利器，今天再来介绍推荐一款神器，为什么称之为神器呢？因为这个对于很多从事机器学习工作的人来说绝对是不可或缺的工具，能够很方便用极少的代码量就可以会指出来我们所需要指标图。

接下来言归正传，Scikit-plot仓库地址在[这里][Link 1]，截图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70][]

为了方便大家学习使用，官方也推出了文档介绍，地址在[这里][Link 2]，截图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 1][]

在对官方文档进行一番学习实践之后，总结得到的Scikit-plot模块主要提供的可视化指标图归为两类，分别是：聚类和分类任务。当然了对于数据降维处理等方面也有提供基础的方法，不知道后面官方会不会持续开发新的功能，比如把回归类型的任务指标图可视化功能也囊括其中呢？

废话不多说了，下面直接切入正题，对于我来说，学习一个模块最好的办法就是好应用实践，说白了就是通过代码来加深理解，这里也不例外，我们首先借助于Scikit-plot模块完成一个常规机器学习里面分类任务的可视化，这里一些指标图目前只支持二分类任务，比如：增益曲线、提升度曲线等等，所以为了方便，这里的数据集也构建为二分类任务的数据集，详细代码如下：

def classifyTask():
        '''
        分类任务
        '''
        X, y = getClassificationData(ns=1000,nf=5,nc=2)
        X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.30)
        model = GaussianNB()
        model.fit(X_train, y_train)
        predicted_probas = model.predict_proba(X_test)
        #ROC曲线
        skplt.metrics.plot_roc(y_test, predicted_probas)
        plt.savefig('pic/model_classification_roc.jpg')
        #P-R曲线
        skplt.metrics.plot_precision_recall_curve(y_test, predicted_probas, cmap='nipy_spectral')
        plt.savefig('pic/model_classification_pr.jpg')
        #混淆矩阵
        predictions = cross_val_predict(model, X, y)
        plot = skplt.metrics.plot_confusion_matrix(y, predictions, normalize=True)
        plt.savefig('pic/model_classification_confusionMatrix.jpg')
        #KS统计图
        model = LogisticRegression()
        model = GaussianNB()
        model.fit(X, y)
        probas = model.predict_proba(X)
        skplt.metrics.plot_ks_statistic(y_true=y, y_probas=probas)
        plt.savefig('pic/model_classification_ks.jpg')
        #累积增益图
        model = LogisticRegression()
        model = GaussianNB()
        model = model.fit(X_train, y_train)
        y_probas = model.predict_proba(X_test)
        skplt.metrics.plot_cumulative_gain(y_test, y_probas)
        plt.savefig('pic/model_classification_cumulative_gain.jpg')
        #提升曲线
        model = LogisticRegression()
        model = GaussianNB()
        model = model.fit(X_train, y_train)
        y_probas = model.predict_proba(X_test)
        skplt.metrics.plot_lift_curve(y_test, y_probas)
        plt.savefig('pic/model_classification_lift_curve.jpg')
        #学习曲线图
        model = RandomForestClassifier()
        model = GaussianNB()
        skplt.estimators.plot_learning_curve(model, X, y)
        plt.savefig('pic/model_classification_learning_curve.jpg')
        #分类器特征重要性的图
        model = RandomForestClassifier()
        model.fit(X, y)
        skplt.estimators.plot_feature_importances(model, feature_names=['F1','F2','F3','F4','F5'])
        plt.savefig('pic/model_classification_feature_importances.jpg')

上面的代码，以分类为切入点，将Scikit-plot提供的所有分类指标图功能都进行了使用，接下来我们看一下具体结果。

model\_classification\_roc.jpg 分类ROC曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 2][]

model\_classification\_pr.jpg 分类PR曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 3][]

model\_classification\_confusionMatrix.jpg 分类混淆矩阵

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 4][]

model\_classification\_ks.jpg 分类KS统计图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 5][]

model\_classification\_cumulative\_gain.jpg 分类累积增益图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 6][]

model\_classification\_lift\_curve.jpg 分类提升曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 7][]

model\_classification\_learning\_curve.jpg 分类学习曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 8][]

model\_classification\_feature\_importances.jpg 分类特征重要性分析

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 9][]

到这里，分类任务提供的所有指标可视化方法都介绍使用完毕，Scikit-plot对于分类任务也提供了交叉验证方法，这里一并使用介绍一下，交叉验证目前支持的可视化方法主要包括：ROC曲线、P-R曲线、混淆矩阵、KS统计图，结果如下：

model\_classification\_roc\_cv.jpg 分类交叉验证ROC曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 10][]

model\_classification\_pr\_cv.jpg 分类交叉验证PR曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 11][]

model\_classification\_confusionMatrix\_cv.jpg 分类交叉验证混淆矩阵

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 12][]

model\_classification\_ks\_cv.jpg 分类交叉验证KS统计图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 13][]

到这里有关分类任务的指标可视化方法就都介绍使用结束了，接下来我们来看聚类任务的指标可视化分析，代码实现如下所示：

def clusterTask():
        '''
        聚类任务
        '''
        X, y = getClusterData(ns=1000,nf=5,centers=[[-1,-1],[1,1],[2,2]],cluster_std=[0.4,0.5,0.2])
        kmeans = KMeans(n_clusters=3, random_state=1)
        cluster_labels = kmeans.fit_predict(X)
        #轮廓系数曲线
        skplt.metrics.plot_silhouette(X, cluster_labels)
        plt.savefig('pic/kmeans_silhouette.jpg')
        #KMeans聚类肘部曲线
        kmeans = kmeans = KMeans(random_state=1)
        skplt.cluster.plot_elbow_curve(kmeans, X, cluster_ranges=range(1, 30))
        plt.savefig('pic/kmeans_elbow_curve.jpg')

接下来来看具体结果数据。

kmeans\_silhouette.jpg 聚类轮廓系数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 14][]

kmeans\_elbow\_curve.jpg 聚类肘部曲线

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 15][]

聚类的可视化相比于分类来说要简单很多，接下来我们来看数据降维可视化的方法，具体代码实现如下所示：

def pcaHandle():
        '''
        数据降维处理
        '''
        X, y = getClassificationData(ns=1000,nf=5,nc=2)
        #PCA 组件的解释方差比
        pca = PCA(random_state=1)
        pca.fit(X)
        skplt.decomposition.plot_pca_component_variance(pca)
        plt.savefig('pic/pca_component_variance.jpg')
        #PCA 的二维投影
        pca = PCA(random_state=1)
        pca.fit(X)
        skplt.decomposition.plot_pca_2d_projection(pca, X, y)
        plt.savefig('pic/pca_2d_projection.jpg')

结果数据如下所示。

pca\_component\_variance.jpg PCA的解释方差比

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 16][]

pca\_2d\_projection.jpg PCA二维投影

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 17][]

之所以称Scikit-plot为机器学习领域里面的可视化神器，主要就是它与sklearn完美兼容，另外其提供的主要方法都是我们使用频度很高的，所以有这么一款神器，对于每一位机器学习从业者来说都可以节省很多不必要的时间开销，从而大幅提升工作效率。

[Link 1]: https://github.com/reiinakano/scikit-plot
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70]: /images/20221005/3ca881d982784f9dbdbee52ff34de422.png
[Link 2]: https://scikit-plot.readthedocs.io/en/stable/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 1]: /images/20221005/b59dd5af477a49808662a19b360cdf8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 2]: /images/20221005/12212bcc79d14095aff372bf6c5cc07f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 3]: /images/20221005/062df5dfab174246bb6c440e5a52764d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 4]: /images/20221005/67ca7cce5f7b42a2a7ae33538e6cf375.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 5]: /images/20221005/55a9aa2125e24098a21ebceb5afe7125.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 6]: /images/20221005/2cd403395ede4c899fb8f6a9551530be.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 7]: /images/20221005/a212ee81cced41ed9cd5f9436794ab8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 8]: /images/20221005/fac393b3332b41db9ae5ea739c815abc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 9]: /images/20221005/56d90aba8453434e9032d3f1aec2ae47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 10]: /images/20221005/f81d0c4061a640648ecd9f3e7e745f79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 11]: /images/20221005/33cfa36f674849e99a985c191eaaa955.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 12]: /images/20221005/1fc9be7c15884dc8a1863d7d95f41bdf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 13]: /images/20221005/ae85ce07be4c40b3a714e18345d79699.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 14]: /images/20221005/dd2e5814d7404df58f9fc31d123698b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 15]: /images/20221005/e7f3992ae24a46919487c856ccc5bfe1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 16]: /images/20221005/9319158b21bd4765b7044d492644317e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RvZ2V0aGVyX0Na_size_16_color_FFFFFF_t_70 17]: /images/20221005/d101e81b7caa4e2a997cc2bc14e4b6a3.png