机器学习-数据预处理01-缺失值处理

妖狐艹你老母 2023-07-22 03:46 6阅读 0赞

## 目录 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70]

# 1、数据处理 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 1]在缺失值里面的缺失值表示是NAN，这不是一个数据类型无法进行计算，必须做处理。

## 1.1、缺失值处理方法： ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 2]对于直接删除的话可能导致数据集少，从而出现过拟合的现象。所以工程上常用的是均值填充。再看看方法三，其实是没啥用的，因为标签之间的关系是难以确定的。  
**缺失值填充**  
  缺失值是计算模型时最大的绊脚石，如果出现缺失值的情况，模型就不能正常进行数据拟合，会报错导致程序无法运行，所以我们需要对缺失值进行填充。

import numpy as np
    from sklearn.impute import SimpleImputer as Imputer
    x = np.array([
        [2, 2, 4, 1], 
        [np.nan, 3, 4, 4],
        [1, 1, 1, np.nan],
        [2, 2, np.nan, 3]
    ])
    print(x)

拟合的数据采用x的数据进行操作，这里是按照列操作，所有的预测值只根据非空数值计算，做均值处理就是求出所有非空数值的和，再除以非空数值的数量，得到均值

imp1 = SimpleImputer(missing_values=np.nan, strategy='mean')#处理缺失值nan， 填充策略 均值，  axis=0横向比较
    imp1.fit(x)#拟合
    print(imp1.transform(x))#转化

out:
    [[2.         2.         4.         1.        ]
     [1.66666667 3.         4.         4.        ]
     [1.         1.         1.         2.66666667]
     [2.         2.         3.         3.        ]]

imp1 = SimpleImputer(missing_values=np.nan, strategy='median') #中位数处理
    imp2 = SimpleImputer(missing_values=np.nan, strategy='most_frequent') #众数处理
    print(imp1.fit_transform(x2))
    print('--------------------')
    print(imp2.fit_transform(x2))

out:
    [[2. 6. 1. 1.]
     [2. 5. 1. 1.]
     [1. 1. 1. 1.]
     [2. 2. 1. 3.]]
    --------------------
    [[2. 6. 1. 1.]
     [2. 5. 1. 1.]
     [1. 1. 1. 1.]
     [2. 2. 1. 3.]]

**二值化处理**

为了保证能够更明确的表示特征的处理后的结果，一般情况下可以把连续性问题调整为离散型特征  
只要通过设定阈值的方式就可以进行调整，大于阈值返回1，小于阈值返回0

from sklearn.preprocessing import Binarizer
    a = np.array([
        [1, 1.5, 2.3],
        [0.6, 3, 2.2]
    ])
    model = Binarizer(threshold=2)#  阈值：考试通过是80分，如果低于80，就为0， 高于80就为1
    print(model.fit_transform(a))

out:
    [[0. 0. 1.]
     [0. 1. 1.]]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70]: /images/20230528/2e6e39c286624896b281d67ee11164b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 1]: /images/20230528/a94f0910b6af4fd4b7b154e26302e398.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70 2]: /images/20230528/da6c7fa5893846019104cfbc9c8cc8a8.png