Python中使用sklearn 的 Pipeline 管道机制

蔚落 2022-05-20 01:49 172阅读 0赞

pipeline管道机制使用方法：

流水线的输入为一连串的数据挖掘步骤，其中最后一步必须是估计器（Estimator），可理解成分类器  
前几步是转换器（Transformer）。输入的数据集经过转换器的处理后，输出的结果作为下一步的输入。

最后，用位于流水线最后一步的估计器对数据进行分类。

每一步都用元组（ ‘名称’，步骤）来表示。现在来创建流水线。

pipe = Pipeline([('sc',StandardScaler()),
                     ('pca',PCA(n_components=2)),
                     ('clf',LogisticRegression(random_state=666))   #设置随机种子，使测试结果复现
                     ])

#coding=gbk
    #sklearn 中pipeline管道机制的使用
    
    '''
    流水线的功能：
    跟踪记录各步骤的操作（以方便地重现实验结果）
    对各步骤进行一个封装
    确保代码的复杂程度不至于超出掌控范围
    '''
    import pandas as pd
    from sklearn.cross_validation  import train_test_split
    from sklearn.preprocessing import LabelEncoder
    data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/'
                     'breast-cancer-wisconsin/wdbc.data', header=None)
    print(data.shape)
    x, y = data.values[:,2:],data.values[:,1]
    encoder = LabelEncoder()
    y= encoder.fit_transform(y)     #将 标签 'm', 'b' 转换成1,0
    
    x_train, x_test, y_train, y_test = train_test_split(x,y,test_size= 0.2,random_state= 666)
    
    #使用pipeline管道机制
    from sklearn.preprocessing import StandardScaler        #规范化，使各特征的均值为1，方差为0
    from sklearn.decomposition import PCA
    from sklearn.linear_model import LogisticRegression
    
    from sklearn.pipeline import Pipeline
    pipe = Pipeline([('sc',StandardScaler()),
                     ('pca',PCA(n_components=2)),
                     ('clf',LogisticRegression(random_state=666))   #设置随机种子，使测试结果复现
                     ])
    pipe.fit(x_train, y_train)
    print('Test accuracy is %.3f' % pipe.score(x_test, y_test))
    # Test accuracy is 0.921

当我们执行 `pipe.fit(X_train, y_train)`时，首先由StandardScaler在训练集上执行 fit和transform方法，transformed后的数据又被传递给Pipeline对象的下一步，也即PCA()。和StandardScaler一样，PCA也是执行fit和transform方法，最终将转换后的数据传递给 LosigsticRegression。

--------------------

### 项目推荐： ###

**[2000多G的计算机各行业电子资源分享（持续更新）][2000_G]**

**[2020年微信小程序全栈项目之喵喵交友【附课件和源码】][2020]**

**[Spring Boot开发小而美的个人博客【附课件和源码】][Spring Boot]**

**[Java微服务实战296集大型视频-谷粒商城【附代码和课件】][Java_296_-]**

**[Java开发微服务畅购商城实战【全357集大项目】-附代码和课件][Java_357_-]**

**[最全最详细数据结构与算法视频-【附课件和源码】][-]**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]

参考：[inside\_zhang 的blog][inside_zhang _blog]

[2000_G]: https://mp.weixin.qq.com/s/sP4JgGWkCzpgwKr9sAV2_Q
[2020]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487704&idx=1&sn=5f4b2127c4d49fd07ae072a0721424a2&chksm=e8036fc2df74e6d489c4aa9b06f917ef7cee6027f13e150fca53cf79d5d188d4ccc1af49e098&scene=21#wechat_redirect
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487798&idx=2&sn=ac0293b996521b872a9dba5fbb3e65e6&chksm=e8036e2cdf74e73aba104a9a994a5b2e31483e8dcbe0f1d9936f6d5173b887e1560f59d2819c&scene=21#wechat_redirect
[Java_296_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487674&idx=1&sn=7aff0bdf2bb727303f3d3618995aef21&chksm=e8036fa0df74e6b6d872c7e6ece179c524ed463a4a6b74c96875475c9a3d5ddb903427dd993b&scene=21#wechat_redirect
[Java_357_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247486376&idx=1&sn=d1fef270c463ea8ac663f6fbfedd70a0&chksm=e80374b2df74fda4d3bafba878a106a19e18c5fcda266008f4f37975847a21bc612ffcd5ff39&scene=21#wechat_redirect
[-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487750&idx=1&sn=747bccbb5f5ea6b58915198de40da777&chksm=e8036e1cdf74e70ae97a5e8e265b49d7236d904d291203309159d07ba1724033062c0e370843&scene=21#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]: /images/20220520/f8affdc2bab24fd582553158a86e051d.png
[inside_zhang _blog]: https://blog.csdn.net/lanchunhui/article/details/50521648