收藏贴：数据这么「洗」，分析才能做的好！

雨点打透心脏的1/2处 2023-01-18 04:22 68阅读 0赞

数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。

Pandas中常见的数据清洗操作有空值和缺失值的处理、重复值的处理、异常值的处理、统一数据格式等。今天，播妞来带大家研究研究Pandas进行数据清洗的方法！

![3b7afe652038ba5495bac7c7afb6551a.gif][]

前期采集到的数据或多或少都存在一些瑕疵和不足，如数据缺失、极端值、数据格式不统一等问题。

在分析数据之前需要对数据进行预处理，包括数据的清洗、合并、重塑与转换。Pandas中专门提供了用于数据预处理的很多函数与方法，用于替换异常数据、合并数据、重塑数据等。

数据清洗的目的在于提高数据质量，将脏数据（脏数据在这里指的是对数据分析没有实际意义、格式非法、不在指定范围内的数据）清洗干净，使原数据具有完整性、唯一性、权威性、合法性、一致性等特点。

![523fd8dbdd46329299472f0abed0fec8.png][]

空值一般表示数据未知、不适用或将在以后添加数据。缺失值是指数据集中某个或某些属性的值是不完整的，产生的原因主要有人为原因和机械原因两种，其中机械原因是由于机器故障造成数据未能收集或存储失败，人为原因是由主观失误或有意隐瞒造成的数据缺失。

一般空值使用None表示，缺失值使用NaN表示。Pandas中提供了一些用于检查或处理空值和缺失值的函数，其中，使用isnull()和notnull()函数可以判断数据集中是否存在空值和缺失值，对于缺失数据可以使用dropna()和fillna()方法对缺失值进行删除和填充。

**1、isnull()函数**

isnull()函数的语法格式如下：

![77e8943e5e12a64a8bae3940dfe3c978.png][]

上述函数中只有一个参数obj，表示检查空值的对象，该函数会返回一个布尔类型的值，如果返回的结果为True，则说明有空值或缺失值，否则为False。（NaN或None映射到True值，其它内容映射到False）

接下来，通过一段示例来演示如何通过isnull()函数来检查缺失值或空值，具体代码如下：

![9aa54699840fc2360cf7ae9d53268eb4.png][]

上述示例中，首先创建了一个Series对象，该对象中包含1、None和NaN三个值，然后调用isnull()函数检查Series对象中的数据，数据为空值或缺失值就映射为True，其余值就映射为False。从输出结果看出，第一个数据是正常的，后两个数据是空值或缺失值。

**2、 notnull()函数**

notnull()函数与isnull()函数的功能是一样的，都是判断数据中是否存在空值或缺失值，不同之处在于，前者发现数据中有空值或缺失值时返回False，后者返回的是True。

将上述调用isnull()函数的代码改为调用notnull()函数，改后的代码如下：上述示例中，通过notnull()函数来检查空值或缺失值，只要出现空值或缺失值就映射为False，其余则映射为True。

从输出结果看出，索引0对应的数据为True，说明没有出现空值或缺失值，索引1和2对应的数据为False，说明出现了空值或缺失值。

**3、dropna()方法**

dropna()方法的作用是删除含有空值或缺失值的行或列，其语法格式如下：

![18ed6ad1aeac04ed11b3dac0ed66951b.png][]

上述方法中部分参数表示的含义如下：

(1) axis：确定过滤行或列，取值可以为：

0或index：删除包含缺失值的行，默认为0。

1或columns：删除包含缺失值的列。

(2) how：确定过滤的标准，取值可以为：

any：默认值。如果存在NaN值，则删除该行或该列。

all：如果所有值都是NaN值，则删除该行或该列。

(3) thresh：c表示有效数据量的最小要求。若传入了2，则是要求该行或该列至少有两个非NaN值时将其保留。

(4) subset：表示在特定的子集中寻找NaN值。

(5) inplace：表示是否在原数据上操作。如果设为True，则表示直接修改原数据；如果设为False，则表示修改原数据的副本，返回新的数据。

**4、填充空值/缺失值**

填充缺失值和空值的方式有很多种，比如人工填写、特殊值填写、热卡填充等。Pandas中的fillna()方法可以实现填充空值或缺失值。

![df45efec0bca44405cc140744a96368d.png][]

**· 推荐阅读 ·**

[Linux之父炮轰：C++是一门很烂的语言，不会用其重写Linux内核][Linux_C_Linux]

[2021-04-23][Linux_C_Linux]

[![da2a855c4117a36be72f3ad25ed8f940.png][] ][Linux_C_Linux]

[这个「垃圾」问题也能冲上热搜？引得Java大牛在线怒怼...][Java_...]

[2021-04-22][Java_...]

[![4e93a72913e4d96d23228a191d78376e.png][] ][Java_...]

[编程过来人的5点建议，听进去的人离「高薪」更近！][5]

[2021-04-21][5]

[![f16d588ae604ba7e91cb9d81c9ffcb5b.png][] ][5]

![854654e3aba1e1369692ee13ca60cbe2.png][]

**点个在看，播妞爱你们呦**

[3b7afe652038ba5495bac7c7afb6551a.gif]: /images/20221021/5fb542af48504e188c5b7d06205a7e38.png
[523fd8dbdd46329299472f0abed0fec8.png]: /images/20221021/3f3c8988ccd14cc38e2c34aa9dafce42.png
[77e8943e5e12a64a8bae3940dfe3c978.png]: /images/20221021/197f5e7bdd16461ebf5d841a703a43c0.png
[9aa54699840fc2360cf7ae9d53268eb4.png]: /images/20221021/7d1350e5c3754b1b9eeab1caa7448bfd.png
[18ed6ad1aeac04ed11b3dac0ed66951b.png]: /images/20221021/8f780d530d164e8f822afad93a74132f.png
[df45efec0bca44405cc140744a96368d.png]: /images/20221021/c62d6d4541ca46dbb23d2a0f7e76d89a.png
[Linux_C_Linux]: http://mp.weixin.qq.com/s?__biz=MzU0ODExNTc5MQ%3D%3D&chksm=fb46060ccc318f1a061a7f16edf2ab2156a5cb8bc0ef1d2c420b1bf2c588e222cb843d95a100&idx=2&mid=2247533100&scene=21&sn=dd734a8146acac9e1375474e1cc0b1b7#wechat_redirect
[da2a855c4117a36be72f3ad25ed8f940.png]: /images/20221021/4d1b99b88c6e4470abbf9d39427edad8.png
[Java_...]: http://mp.weixin.qq.com/s?__biz=MzU0ODExNTc5MQ%3D%3D&chksm=fb460580cc318c96869bf9df16107f7743d72896f710ab88e02be37d63e35ff4a9d4d9df0b4a&idx=1&mid=2247532960&scene=21&sn=c1258d943160424d0299321f1823da8c#wechat_redirect
[4e93a72913e4d96d23228a191d78376e.png]: /images/20221021/11d3127f8ea344179b35065174a9d686.png
[5]: http://mp.weixin.qq.com/s?__biz=MzU0ODExNTc5MQ%3D%3D&chksm=fb460533cc318c253f1ecf964c93a39b72d4b1e1f3176f9c28d56d1f07acca390e1f1e9b62e5&idx=2&mid=2247532819&scene=21&sn=cc880d02633839962183851973545691#wechat_redirect
[f16d588ae604ba7e91cb9d81c9ffcb5b.png]: /images/20221021/ecd067c0fc424e86ad3825463c3ad52e.png
[854654e3aba1e1369692ee13ca60cbe2.png]: /images/20221021/3c7b3c0e518a4e0796a1644310339515.png