使用sklearn处理数据和降维

ゞ浴缸里的玫瑰 2022-11-12 10:54 211阅读 0赞

放在最前面：可以通过官网[https://scikit-learn.org/stable/user\_guide.html][https_scikit-learn.org_stable_user_guide.html]查询关于sklearn的任一函数，右上角搜索框直接搜索就行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70]  
当然，中文版的用户指南也少不了：[https://sklearn.apachecn.org/][https_sklearn.apachecn.org]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 1]

### 使用sklearn处理数据和降维 ###

*  1.加载datasets模块中的数据集
 *  2.划分训练集和测试集
 *  3.使用sklearn转换器数据预处理与降维

sklearn提供了model\_selection模型选择模块、processing数据预处理模块与decompisition特征分解模块。通过这三个模块可以实现数据预处理与模型构建前的数据标准化、二值化、数据集的分割、交叉验证和PCA降维等工作，下面以乳腺癌的数据集，从应用角度进行介绍：

# 1.加载datasets模块中的数据集 #

sklearn库中的**datasets模块**集成了部分数据分析的经典数据集，可以使用这些数据集可以熟悉数据预处理的流程以及建模的流程。关于datasets模块常用的数据集和加载函数和解释如下表：

<table> 
 <thead> 
  <tr> 
   <th>数据集加载函数</th> 
   <th>数据集任务类型</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>load_boston</td> 
   <td>回归</td> 
  </tr> 
  <tr> 
   <td>fetch_califonia_housing</td> 
   <td>回归</td> 
  </tr> 
  <tr> 
   <td>load_breast_cancer</td> 
   <td>分类、聚类</td> 
  </tr> 
  <tr> 
   <td>load_iris</td> 
   <td>分类、聚类</td> 
  </tr> 
  <tr> 
   <td>load_digits</td> 
   <td>分类</td> 
  </tr> 
  <tr> 
   <td>load_wine</td> 
   <td>分类</td> 
  </tr> 
 </tbody> 
</table>

如果要获取某个数据集，可以将对应的函数赋值给某个变量，加载后的数据集可以看作一个字典，几乎所有的sklearn数据集都可以使用data、target、featur\_names、DESCR分别获取数据集的数据、标签、特征名称和描述信息(包含每个特征的最大最小值)。

例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 5]

# 2.划分训练集和测试集 #

sklearn的model\_selection模块提供了train\_test\_split函数，能够对数据集进行拆分。  
关于该函数的应用示例：

Examples
    --------
    >>> import numpy as np
    >>> from sklearn.model_selection import train_test_split
    >>> X, y = np.arange(10).reshape((5, 2)), range(5)
    >>> X
    array([[0, 1],
           [2, 3],
           [4, 5],
           [6, 7],
           [8, 9]])
    >>> list(y)
    [0, 1, 2, 3, 4]
    
    >>> X_train, X_test, y_train, y_test = train_test_split(
    ...     X, y, test_size=0.33, random_state=42)
    ...
    >>> X_train
    array([[4, 5],
           [0, 1],
           [6, 7]])
    >>> y_train
    [2, 0, 3]
    >>> X_test
    array([[2, 3],
           [8, 9]])
    >>> y_test
    [1, 4]
    
    >>> train_test_split(y, shuffle=False)
    [[0, 1, 2], [3, 4]]

该函数的常用参数如下：

<table> 
 <thead> 
  <tr> 
   <th align="left">参数名称</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">*arrays</td> 
   <td align="left">接收一个或多个数据集，代表要划分的数据集。若为分类或回归任务，则分别传入数据和标签；若为聚类，则传入数据。该参数无默认。</td> 
  </tr> 
  <tr> 
   <td align="left">test_size</td> 
   <td align="left">接收folat、int类型的数据或者None。代表测试集的大小。如果传入float类型的数据，则需要限定在0-1之间，代表测试集在总数中的占比；如果传入的为int类型的数据，则表示测试集记录的绝对数目。该参数与train_size可以只传入一个。</td> 
  </tr> 
  <tr> 
   <td align="left">train_size</td> 
   <td align="left">接收folat、int类型的数据或者None。代表训练集的大小。该参数与test_size可以只传入一个。</td> 
  </tr> 
  <tr> 
   <td align="left">random_state</td> 
   <td align="left">接收int，代表随机种子编号，相同随机种子编号产生相同的随机结果，不同的随机种子编号产生不同的随机结果。默认为None</td> 
  </tr> 
  <tr> 
   <td align="left">shuffle</td> 
   <td align="left">接收boolean。代表是否进行有放回的采样，若该参数取值为True，则stratify参数必须不能为空。</td> 
  </tr> 
  <tr> 
   <td align="left">stratify</td> 
   <td align="left">接收array或者None。如果不为None，则使用传入的标签进行分层采样。</td> 
  </tr> 
 </tbody> 
</table>

train\_test\_split函数分别将传入的数据划分为训练集和测试集，如果传入的是一组数据，那么生成的就是这一组数据随机划分后的训练集和测试集，总共两组，如果传入的是两组数据，那么生成的训练集和测试集分别两组，总共四组。也就是可以传入多个数据集，然后分别进行划分。

例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 6]  
train\_test\_split是最常用的数据划分方法，在model\_selection模块中还提供了其他数据划分的函数，如PredfinedSplit、ShuffleSplit等，可以查看官方文档。

# 3.使用sklearn转换器数据预处理与降维 #

sklearn把大量特征处理的相关操作封装为转换器，放在了preprocessing模块，转换器主要包括3个方法：fit、transform、fit\_transform，这三种方法相关说明如下：

<table> 
 <thead> 
  <tr> 
   <th align="left">方法</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">fit</td> 
   <td align="left">主要通过分析特征和目标值提取有价值的信息，这些信息可以是统计量，也可以是权值系数等</td> 
  </tr> 
  <tr> 
   <td align="left">transform</td> 
   <td align="left">该方法主要用来对特征进行转换，从可利用信息的角度分为无信息转换和有信息转换。无信息转换是指不利用任何其他信息进行转换，比如指数和对数函数转换等。有信息转换根据是否利用目标值向量又可分为无监督转换和有监督转换。无监督转换指只利用特征的统计信息的转换，比如标准化和PCA降维。有监督转换是指既利用了特征信息又利用了目标值信息的转换，比如通过模型选择特征和LDA降维等。</td> 
  </tr> 
  <tr> 
   <td align="left">fit_transform</td> 
   <td align="left">该方法是先调用fit方法、然后调用transform方法</td> 
  </tr> 
 </tbody> 
</table>

sklearn转换器能够实现对传入的Numpy数组进行标准化处理、归一化处理、二值化处理和PCA降维等操作。

> 在数据分析的时候，对各类特征的处理相关的操作都需要对训练集和测试集分开进行，需要将训练集的操作规则、权重系数等应用到测试集，如果自己去实现这个过程会相对比较繁琐，而sklearn转换器可以很好的解决这个问题。

例：对iris数据集进行离差标准化（最大最小标准化）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 7]

可以看出训练集在离差标准化之后的最小值、最大值被限定在\[0, 1\]区间，同时由于测试集应用了训练集的离差标准化规则，数据超出了\[0, 1\]范围，这也侧面证明了此处应用了训练集的规则。

MinMaxScaler()的官方说明：

Examples
    --------
    >>> from sklearn.preprocessing import MinMaxScaler
    >>> data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
    >>> scaler = MinMaxScaler()
    >>> print(scaler.fit(data))
    MinMaxScaler()
    >>> print(scaler.data_max_)
    [ 1. 18.]
    >>> print(scaler.transform(data))
    [[0.   0.  ]
     [0.25 0.25]
     [0.5  0.5 ]
     [1.   1.  ]]
    >>> print(scaler.transform([[2, 2]]))
    [[1.5 0. ]]
    
    See also
    --------
    minmax_scale: Equivalent function without the estimator API.
    
    Notes
    -----
    NaNs are treated as missing values: disregarded in fit, and maintained in
    transform.
    
    For a comparison of the different scalers, transformers, and normalizers,
    see :ref:`examples/preprocessing/plot_all_scaling.py

sklearn除了提供离差标准化函数MinMaxScaler外，还提供了一系列数据预处理函数，具体如下：

<table> 
 <thead> 
  <tr> 
   <th align="left">函数名称</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">StandardScaler</td> 
   <td align="left">对特征进行标准差标准化</td> 
  </tr> 
  <tr> 
   <td align="left">Normalizer</td> 
   <td align="left">对特征进行归一化</td> 
  </tr> 
  <tr> 
   <td align="left">Binarizer</td> 
   <td align="left">对定量特征进行二值化处理</td> 
  </tr> 
  <tr> 
   <td align="left">OneHotEncoder</td> 
   <td align="left">对定性特征进行独热编码处理</td> 
  </tr> 
  <tr> 
   <td align="left">Function Transformer</td> 
   <td align="left">对特征进行自定义函数变化</td> 
  </tr> 
 </tbody> 
</table>

> 关于这些函数，后面会以一个案例进行使用，此处不再多说明。

sklearn除了提供了基本的特征变换函数外，在decomposition模块还提供了降维算法、特征选择算法，这些算法的使用也是通过转换器的方式进行的。

例如：对breast\_cancer数据集进行PCA降维  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 8]  
关于PCA()的应用示例：

Examples
    --------
    >>> import numpy as np
    >>> from sklearn.decomposition import PCA
    >>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
    >>> pca = PCA(n_components=2)
    >>> pca.fit(X)
    PCA(n_components=2)
    >>> print(pca.explained_variance_ratio_)
    [0.9924... 0.0075...]
    >>> print(pca.singular_values_)
    [6.30061... 0.54980...]
    
    >>> pca = PCA(n_components=2, svd_solver='full')
    >>> pca.fit(X)
    PCA(n_components=2, svd_solver='full')
    >>> print(pca.explained_variance_ratio_)
    [0.9924... 0.00755...]
    >>> print(pca.singular_values_)
    [6.30061... 0.54980...]
    
    >>> pca = PCA(n_components=1, svd_solver='arpack')
    >>> pca.fit(X)
    PCA(n_components=1, svd_solver='arpack')
    >>> print(pca.explained_variance_ratio_)
    [0.99244...]
    >>> print(pca.singular_values_)
    [6.30061...]

关于PCA降维算法函数常用的参数及其作用如下：

<table> 
 <thead> 
  <tr> 
   <th align="left">参数名称</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">n_components</td> 
   <td align="left">接收None、int、float或mle。未指定时，代表所有的特征都会留下来；如果为int，则表示将原始数据降低到n个维度；如果为float，则PCA根据样本特征方差来决定降维后的维度数；赋值为mle，PCA会用MLE算法根据特征的方差分布情况自动选择一定数量的主成分特征来降维。默认为None。</td> 
  </tr> 
  <tr> 
   <td align="left">copy</td> 
   <td align="left">接收boolean。代表是否在运行算法时将原始数据复制一份，如果为True，则运行后，原始数据的值不会有任何变化，如果为False，则运行PCA算法后，原始数据的值会发生改变，默认为True。</td> 
  </tr> 
  <tr> 
   <td align="left">whiten</td> 
   <td align="left">接收boolean，表示白化，所谓白化，就是对降维后的数据的每个特征进行归一化，让方差都为1.默认为False。</td> 
  </tr> 
  <tr> 
   <td align="left">svd_solver</td> 
   <td align="left">接收auto、full、arpack、randomized。代表使用的SVD算法。randomized一般适用于数据量大，数据维度多，同时主成分数目比例又比较低的PCA降维，它使用了一些加快SVD的随机算法。full是使用SciPy库实现的传统SVD算法。arpack和randomized的适用场景类似，区别是，randomized使用的是sklearn自己的SVD实现，而arpack直接使用了SciPy库的sparse SVD实现。auto则代表PCA类会自动在上述3种算法中去权衡，选择一个合适的SVD算法来降维。默认为auto。</td> 
  </tr> 
 </tbody> 
</table>

本文中的完整代码如下：

#!/usr/bin/env python
    # coding: utf-8
    
    
    from sklearn.datasets import load_breast_cancer
    cancer = load_breast_cancer()
    print(len(cancer))
    print(type(cancer))
    
    
    # In[25]:
    
    
    cancer_data = cancer['data']
    print(cancer_data.shape)
    
    
    # In[26]:
    
    
    print(type(cancer_data)) # 可以看出获取data的数据类型是ndarray。
    
    
    # In[27]:
    
    
    cancer_target = cancer['target']
    print(cancer_target)
    
    
    # In[28]:
    
    
    cancer_names = cancer['feature_names']
    print(cancer_names)
    
    
    # In[29]:
    
    
    cancer_desc = cancer['DESCR']
    print(cancer_desc)
    
    
    # In[30]:
    
    
    print(cancer_data.shape)
    print(cancer_target.shape)
    
    
    # In[31]:
    
    
    from sklearn.model_selection import train_test_split
    print(cancer_data.shape, cancer_target.shape)
    
    
    # In[32]:
    
    
    data_train, data_test, target_train, target_test = train_test_split(cancer_data, cancer_target, test_size=0.2, random_state=42)
    
    print(data_train.shape, data_test.shape, target_train.shape, target_test.shape)
    
    
    # In[48]:
    
    
    import numpy as np
    from sklearn.preprocessing import MinMaxScaler
    Scaler = MinMaxScaler().fit(data_train) # 生成规则
    # 可以查看生成规则的中间值的情况
    print(Scaler.data_max_[0], Scaler.data_min_[0], Scaler.data_range_[0]) # 输出特征的第一维的最大值、最小值，二者的差值
    # 将规则应用到训练集
    cancer_trainScaler = Scaler.transform(data_train)
    # 将规则应用到测试集
    cancer_testScaler = Scaler.transform(data_test)
    print("离差标准化前训练集数据的最小值", np.min(data_train))
    print("离差标准化前训练集数据的最大值", np.max(data_train))
    print("离差标准化后训练集数据的最小值", np.min(cancer_trainScaler))
    print("离差标准化后训练集数据的最大值", np.max(cancer_trainScaler))
    
    print('-------------------------------------')
    print("离差标准化前测试集数据的最小值", np.min(data_test))
    print("离差标准化前测试集数据的最大值", np.max(data_test))
    print("离差标准化后测试集数据的最小值", np.min(cancer_testScaler))
    print("离差标准化后测试集数据的最大值", np.max(cancer_testScaler))
    
    
    # In[50]:
    
    
    from sklearn.decomposition import PCA
    pca_model = PCA(n_components=10).fit(cancer_trainScaler) # 对离差标准化的训练集，生成规则
    # 应用规则到训练集
    cacer_trainPca = pca_model.transform(cancer_trainScaler) 
    # 应用规则到测试集
    cacer_testPca = pca_model.transform(cancer_testScaler) 
    print('降维前训练集的维度', data_train.shape)
    print('降维后训练集的维度', cacer_trainPca.shape)
    print('降维前测试集的维度', data_test.shape)
    print('降维后测试集的维度', cacer_testPca.shape)

[https_scikit-learn.org_stable_user_guide.html]: https://scikit-learn.org/stable/user_guide.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70]: /images/20221022/3225897acf8e44ffb784e1bd2b849350.png
[https_sklearn.apachecn.org]: https://sklearn.apachecn.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 1]: /images/20221022/bbf5bd750515407b860a39e598df0680.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 2]: /images/20221022/7a1a5126967a4d1e953fc700cfc62cf5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 3]: /images/20221022/8f4bffa5c5c64cb7a8af368f91a57ac6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 4]: /images/20221022/477d4f1225b547a88f2c7696366ab50a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 5]: /images/20221022/1e8d4f59639d4abd861f8588dabaaccd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 6]: /images/20221022/7042f2d7906d434e871821c408d6c160.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 7]: /images/20221022/033034a8ff3f4f4eb3fca8954bf8cd17.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 8]: /images/20221022/b495f6a6376e422bb5bf9c48f53e23f9.png