「Python 数据处理基础」数据缺失值的可视化和处理8种常用方法

╰半橙微兮° 2022-10-12 12:57 806阅读 0赞

### 文章目录 ###

*  内容介绍
 *  缺失值的定义
 *  缺失值的可视化
 *  缺失值的处理方法

# 内容介绍 #

在日常的数据分析工作中，数据中的缺失值是最头疼的一个内容。

在日常数据采集的过程中，由于各种原因在数据采集的过程中会造成数据的部分缺失，一般会用空格、Nan、占位符表示。但是对于应用的机器学习或者深度学习模型中这些内容是无法被算法兼容，因为在input过程中的自变量必须是有具体意义的元素。

由于各种各样的原因，真实世界中的许多数据集都包含缺失数据，这些数据经常被编码成空格、nans或者是其他的占位符。但是这样的数据集并不能被scikit - learn算法兼容，因为大多数的学习算法都会默认数组中的元素都是数值，因此素偶有的元素都有自己的代表意义。

本文介绍在日常工作中，对于数据缺失值的可视化和处理套路。

数据集应用公开的竞赛案例数据进行举例，下载地址 **[Machine Learning Repository 机器学习库][Machine Learning Repository]**。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]

# 缺失值的定义 #

是数据记录中行记录丢失，也称为数据记录丢失。数据列的缺失值，即由于各种原因导致数据缺失的情况。

# 缺失值的可视化 #

# 安装缺失值处理第三方依赖
    pip install missingno
    
    # 使用missingno
    import missingno as msno
    
    # 对已读取的数据缺失值可视化,空白部分是该列数据缺失的部分
    # 原始数据如下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]

# 矩阵显示缺失数据
    msno.matrix(data, labels=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]

# 条形图显示缺失数据
    msno.bar(data, labels=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]

# 热力图显示缺失数据,通过热力图的方式直接显示各字段数据间的相关性
    msno.heatmap(data, labels=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]

# 树图显示缺失数据,兵通过热力图的方式直接显示各字段数据间的相关性
    msno.dendrogram(recent)

# 缺失值的处理方法 #

**直接丢弃：** 整行或整列的删，切记别把重要的字段删了。

# 直接覆盖原表结构进行删除包含缺失数据的行
    recent.dropna(inplace=True)

**统计方法：** 数字数据用于平均值，加权平均值，中位数等。

# 假设缺失的字段名称为 col
    
    # 使用均值填充缺失数据
    recent['col'].fillna(recent['col'].mean())
    # 使用中位数填充空白数据
    recent['col'].fillna(recent['col'].median())
    # 使用众数填充空白数据
    recent['col'].fillna(recent['col'].mode())

**建模方法：** 数值变量，使用回归模型；分类变量，使用分类模型。

# 即缺失的字段作为因变量，其他能够提供信息的字段作为因变量当作一个简单的回归方程处理
    
    # 线性回归模型数值预测
    import numpy as np
    from sklearn.linear_model import LinearRegression
    X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
    # y = 1 * x_0 + 2 * x_1 + 3
    y = np.dot(X, np.array([1, 2])) + 3
    reg = LinearRegression().fit(X, y)
    reg.predict(np.array([[3, 5]]))
    
    # SVM分类模型类别预测 
    from sklearn.svm import LinearSVC
    from sklearn.pipeline import make_pipeline
    from sklearn.preprocessing import StandardScaler
    from sklearn.datasets import make_classification
    X, y = make_classification(n_features=4, random_state=0)
    clf = make_pipeline(StandardScaler(),
                        LinearSVC(random_state=0, tol=1e-5))
    clf.fit(X, y)
    clf.predict([[0, 0, 0, 0]])

**专家补充：** 对于少量重要数据，专家或者业务员根据经验补充。

**其他方法：** 例如随机方法，特殊值方法，多次填充等。

**真值转换：** 转换数据中的非数字数据不能参与模型和统计的计算。

# 使用字典遍历的方式进行转换
    size_mapping = { 'str1':1, 'str2':2, 'str3':3}
    import numpy as np
    class_mapping = { label: idx for idx, label in enumerate(np.unique(recent['classlabel']))}
    recent['classlabel'] = recent['classlabel'].map(class_mapping)

**无需处理：** 不处理的情况下尽量选择容忍缺失值的算法模型例如DBSCAN。

**降维处理：** 在某些情况下，我们可以忽略缺失值的影响。

# 使用PCA降维操作，转换原始数据为不太好解释的样子
    import numpy as np
    from sklearn.decomposition import PCA
    X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
    pca = PCA(n_components=2)
    pca.fit(X)

[Machine Learning Repository]: https://archive.ics.uci.edu/ml/datasets.php
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20221005/39e65e8afcda40e59db7396aac663ab4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]: /images/20221005/88cac4f9fda74d24974a629229b74eac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]: /images/20221005/4862de964b484e76932b2429c5241c94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]: /images/20221005/ca50acbd73bc44988a94c7735cecae49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]: /images/20221005/338700094f974a5292c9a79075c92085.png