pandas数据清洗的7种方式

谁借莪１个温暖的怀抱￠ 2022-09-08 11:36 142阅读 0赞

### 1.处理数据中的空值 ###

我们在处理真实的数据时，往往会有很多缺少的的特征数据，就是所谓的空值，必须要进行处理才能进行下一步分析

空值的处理方式有很多种，一般是删除或者填充

Excel通过“查找和替换”功能实现空值的统一替换：

![09758a5d9435f068c9c0571b5554605c.png][]

通过“定位”删除空值：

![7eb29fc1fb1e53ebf29ecb202e6b8008.png][]

pandas处理空值的方式比较灵活，可以使用dropna函数删除空值

import pandas as pd
    data=pd.read_csv('成绩表.csv',encoding='gbk')
    data.dropna(how='any')

![9f1f9b4adaa3147fa6a1c2d9f8566e70.png][]

![6d49d1d276c2491b1aaa9bb170bd9a43.png][]

用fillna函数实现空值的填充

①使用数字0填充数据表中的空值

data.fillna(value=0)

![fee6b56fe74facced53474b98d726e63.png][]

②使用平均值填充数据表中的空值

data['语文'].fillna(data['语文'].mean())

###  ###

![735ea68bbecfa7a3c0536caee8e9dc04.png][]

### 2.删除空格    ###

excel中清理空格很简单，直接替换即可

pandas删除空格也很方便，主要使用map函数

data['姓名']=data['姓名'].map(str.strip)
    data

###  ###

![251769d2dd035f0e74d8a0596d109f4f.png][]

### 3.大小写转换    ###

excel中大小写转换函数分别为upper()和lower()

pandas中转换函数也为upper()和lower()

data['拼音']=data['拼音'].str.upper()
    data

![32252011d799862deacfe7c192cb5503.png][]

data['拼音']=data['拼音'].str.lower()
    data

###  ###

![0931c1b1af28fa7ebd201725cc4d9d36.png][]

### 4.更改数据格式    ###

excel中更改数据格式通过快捷键“ctrl+1”打开“设置单元格格式”：

![80538597301245d1ea752120153fedd4.png][]

pandas使用astype来修改数据格式，以将“语文”列改成整数为例

data['语文'].dropna(how='any').astype('int')

###  ###

![e09ed6484ecc4da10b911565ce586ff8.png][]

### 5.更改列名称    ###

excel中更改列名称就不说了，大家都会

pandas使用rename函数更改列名称，代码如下：

data.rename(columns={'语文':'语文成绩'})

###  ###

![154854e0a4da3028d38900ec28dae465.png][]

### 6.删除重复值    ###

excel的功能区“数据”下有“删除重复项”，可以用来删除表中的重复值，默认保留最第一个重复值，把后面的删除：

![8afd4a43f67af2ebeaabd483f2ac49d1.png][]

pandas使用drop\_duplicates函数删除重复值：

data['数学'].drop_duplicates()  #默认删除后面的重复值

data['数学'].drop_duplicates(keep='last')  #删除第一项重复值

### 7.修改及替换数据 ###

excel中使用“查找和替换”功能实现数值的替换

pandas中使用replace函数实现数据替换

data['姓名'].replace('成  功','失  败')

\- **END -**

本文为转载分享&推荐阅读，若侵权请联系后台删除
    -------------------------------------
    长按识别下方二维码，并关注公众号
    
    1.回复“PY”领取1GB Python数据分析资料
    
    2.回复“BG”领取3GB 名企数据分析报告

[09758a5d9435f068c9c0571b5554605c.png]: /images/20220829/66c7f47b744f4e599574a6cb41dc13ac.png
[7eb29fc1fb1e53ebf29ecb202e6b8008.png]: /images/20220829/10757102582c4566a8ff1dbca8e96f61.png
[9f1f9b4adaa3147fa6a1c2d9f8566e70.png]: /images/20220829/df09ae06d4b9447888d6973e346d0bca.png
[6d49d1d276c2491b1aaa9bb170bd9a43.png]: /images/20220829/acba7d771c0545a8b1db1a018e9859c3.png
[fee6b56fe74facced53474b98d726e63.png]: /images/20220829/a57143e7ff51475e872dccb79ba78bbe.png
[735ea68bbecfa7a3c0536caee8e9dc04.png]: /images/20220829/7cefbfb6118b48ccb0735bd3fff9e609.png
[251769d2dd035f0e74d8a0596d109f4f.png]: /images/20220829/316ab39222cd484d9e9afdb6e627297a.png
[32252011d799862deacfe7c192cb5503.png]: /images/20220829/9a0c31d1d53b486081385c97e1ac8614.png
[0931c1b1af28fa7ebd201725cc4d9d36.png]: /images/20220829/b31554206ee646d2b37cfb942a5e8e22.png
[80538597301245d1ea752120153fedd4.png]: /images/20220829/98402e4bc51545a08941783c27a81a32.png
[e09ed6484ecc4da10b911565ce586ff8.png]: /images/20220829/cbe8d0b49f3d421192b0e1d5d9bd6391.png
[154854e0a4da3028d38900ec28dae465.png]: /images/20220829/e5a87908040e4daeb458a4fe0c9fc547.png
[8afd4a43f67af2ebeaabd483f2ac49d1.png]: /images/20220829/c9a3175765cc458895632c072fedbd1e.png