pandas对缺失值的处理，清洗数据

清疚 2023-02-25 08:33 36阅读 0赞

### Pandas对缺失值的处理 ###

**isnull和notnull**：检测是否是空值，可用于df和series  
**dropna**：丢弃、删除缺失值  
**axis :** 删除行还是列，\{0 or ‘index’, 1 or ‘columns’\}, default 0  
**how :** 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除  
**inplace :** 如果为True则修改当前df，否则返回新的df  
**fillna**：填充空值  
**value**：用于填充的值，可以是单个值，或者字典（key是列名，value是值）  
**method :** 等于ffill使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充backword fill  
**axis :** 按行还是列填充，\{0 or ‘index’, 1 or ‘columns’\}  
**inplace :** 如果为True则修改当前df，否则返回新的df  
**清洗前数据：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70]  
**清洗后数据：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70 1]

import pandas as pd
    
    # 读取excel的时候，忽略前几个空行
    studf = pd.read_excel("./pandas/ant-learn-pandas/datas/student_excel/student_excel.xlsx",
                          skiprows=2)  # 忽略前两行
    
    print(studf.head())
    
    # 检测空值
    print(studf.isnull())
    ''' Unnamed: 0 姓名 科目 分数 0 True False False False 1 True True False False 2 True True False False 3 True True True True 4 True False False False 5 True True False True 6 True True False False 7 True True True True 8 True False False False 9 True True False False 10 True True False False'''
    
    # 检测分数这一列空值
    print(studf["分数"].isnull())
    
    # 检测不为空
    print(studf["分数"].notnull())
    
    # 筛选没有空分数的所有行
    res = studf.loc[studf["分数"].notnull(), :]
    print(res)
    
    # 删除掉全是空值的列
    # True则修改当前df，否则返回新的df
    studf.dropna(axis="columns", how='all', inplace=True)
    print(studf)
    
    # 删除掉全是空值的行
    studf.dropna(axis="index", how='all', inplace=True)
    print(studf)
    
    # 将分数列为空的填充为0分
    res3 = studf.fillna({ "分数": 0})
    print(res3)
    
    # 等同于
    studf.loc[:, '分数'] = studf['分数'].fillna(0)
    print(studf)
    
    # 将姓名的缺失值填充
    # 使用前面的有效值填充，用ffill：forward fill
    studf.loc[:, '姓名'] = studf['姓名'].fillna(method="ffill")
    print(studf)
    
    # 将清洗好的excel保存
    # index=False表示去除索引列
    studf.to_excel("student_excel_clean.xlsx", index=False)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70]: /images/20230209/fa6856103f234241b2b735634813098c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200711132043114.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwNjAxMQ==,size_16,color_FFFFFF,t_70