Python数据分析入门（十）：数据清洗和准备

短命女 2022-11-15 12:54 226阅读 0赞

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

数据清洗是数据分析关键的一步，直接影响之后的处理工作

数据需要修改吗？有什么需要修改的吗？数据应该怎么调整才能适用于接下来的分析和挖掘？

是一个迭代的过程，实际项目中可能需要不止一次地执行这些清洗操作

# 1. 处理缺失数据: #

*  pd.fillna()
 *  pd.dropna()
    
     
    
    ![5e7750cac8bb93c95a6c04ca85a50ecc.png][]

# 2. 数据转换 #

### 2.1 处理重复数据 ###

**duplicated()返回布尔型Series表示每行是否为重复行**

示例代码：

import numpy as np
    import pandas as pd
    
    df_obj = pd.DataFrame({'data1' : ['a'] * 4 + ['b'] * 4,
                           'data2' : np.random.randint(0, 4, 8)})
    print(df_obj)
    
    print(df_obj.duplicated())

运行结果：

# print(df_obj)
      data1  data2
    0     a      3
    1     a      2
    2     a      3
    3     a      3
    4     b      1
    5     b      0
    6     b      3
    7     b      0
    
    # print(df_obj.duplicated())
    0    False
    1    False
    2     True
    3     True
    4    False
    5    False
    6    False
    7     True
    dtype: bool

**drop\_duplicates()过滤重复行**

*  默认判断全部列
 *  可指定按某些列判断

示例代码：

print(df_obj.drop_duplicates())
    print(df_obj.drop_duplicates('data2'))

运行结果：

# print(df_obj.drop_duplicates())
      data1  data2
    0     a      3
    1     a      2
    4     b      1
    5     b      0
    6     b      3
    
    # print(df_obj.drop_duplicates('data2'))
      data1  data2
    0     a      3
    1     a      2
    4     b      1
    5     b      0

### 2.2 利用函数或映射进行数据转换 ###

根据map传入的函数对每行或每列进行转换

示例代码：

ser_obj = pd.Series(np.random.randint(0,10,10))
    print(ser_obj)
    
    print(ser_obj.map(lambda x : x ** 2))

运行结果：

# print(ser_obj)
    0    1
    1    4
    2    8
    3    6
    4    8
    5    6
    6    6
    7    4
    8    7
    9    3
    dtype: int64
    
    # print(ser_obj.map(lambda x : x ** 2))
    0     1
    1    16
    2    64
    3    36
    4    64
    5    36
    6    36
    7    16
    8    49
    9     9
    dtype: int64

### 2.3 替换值 ###

**replace根据值的内容进行替换**

示例代码：

# 单个值替换单个值
    print(ser_obj.replace(1, -100))
    
    # 多个值替换一个值
    print(ser_obj.replace([6, 8], -100))
    
    # 多个值替换多个值
    print(ser_obj.replace([4, 7], [-100, -200]))

运行结果：

# print(ser_obj.replace(1, -100))
    0   -100
    1      4
    2      8
    3      6
    4      8
    5      6
    6      6
    7      4
    8      7
    9      3
    dtype: int64
    
    # print(ser_obj.replace([6, 8], -100))
    0      1
    1      4
    2   -100
    3   -100
    4   -100
    5   -100
    6   -100
    7      4
    8      7
    9      3
    dtype: int64
    
    # print(ser_obj.replace([4, 7], [-100, -200]))
    0      1
    1   -100
    2      8
    3      6
    4      8
    5      6
    6      6
    7   -100
    8   -200
    9      3
    dtype: int64

# 3. 字符串操作 #

### 3.1 字符串方法 ###

![4ecb8caf45ce2c5bf4a9acad83bb8fef.png][]

### 3.2 正则表达式方法 ###

![a18d864d0d8be13178e3e09444b04fdd.png][]

### 3.3 pandas字符串函数 ###

![1b08f3a66fd476376e2d6fb7106bbfa7.png][]

[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[5e7750cac8bb93c95a6c04ca85a50ecc.png]: /images/20221022/d8e584f893754102a5de68365f7aa9b9.png
[4ecb8caf45ce2c5bf4a9acad83bb8fef.png]: /images/20221022/fefd6d9a345d430ca50e38729db10e72.png
[a18d864d0d8be13178e3e09444b04fdd.png]: /images/20221022/5001241b3afa4f95a17b761729c78652.png
[1b08f3a66fd476376e2d6fb7106bbfa7.png]: /images/20221022/394b6b3437804258938f66dc9b5e488a.png