Python数据处理工具之Pandas

向右看齐 2023-07-04 04:54 44阅读 0赞

# ![20191009191333910.png][] #

# [日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

Pandas最核心的两个数据结构是一维的Series和二维的DataFrame，Series是带有标签的同构类型数组，而DataFrame是一个二维的表结构。
    在同构类型的数据中，一个DataFrame可以看作是由多个Series组成的。
    
    1.3.1 数据读取和存储
    	Pandas是处理结构化数据非常重要的一个工具，其功能强大且好用。
    	Pandas可以从CSV、JSON、Text等格式文件中读取数据，本节讲解CSV、JSON格式数据的读取和存储。
    
    	1.CSV文件的读取和存储
    		对CSV文件进行操作有两个接口（API），分别是read_csv和to_csv。
    
    		（1）API: read_csv
    			read_csv()是用来读取CSV文件的接口，其具有丰富的参数，可以配置来满足实际的数据读取需要。
    			下面介绍一些关键的且常用的参数。
    			• filepath_or_buffer：配置所需读取CSV文件的路径。
    			• sep：配置CSV文件的列分隔符，默认是逗号“，”。
    			• delimiter：可选配置，作为sep配置分隔符的别名。
    			• delim_whitespace：配置是否用空格来作为列分隔符。如果设置为True，那么sep配置参数就不起作用了。
    			• header：配置用行数来作为列名，默认配置成自动推断。
    			• names：配置列名，如果所读取的CSV文件没有表头，那么需要配置header=None，否则会将第一行数据作为对应的列名。
    			• usecols：当只需要读取CSV文件中的部分数据时，可以使用usecols来指定读取列名以获取数据。
    			• dtype：配置所读取数据的类型。
    			• encoding：配置文件的编码方式，一般使用UTF-8或者GBK。
    
    		（2）API: to_csv
    			to_csv()用于将数据保存到CSV文件中。其参数比较多，如下所示，但只有第一个参数是必需的。
    			• path_or_buf：配置CSV文件的保存路径。
    			• sep：配置保存文件的分隔符，默认是逗号“，”。
    			• na_rep：配置空值补全的值，默认用空格代替。
    			• float_format：配置将浮点数格式化成字符串类型。
    			• columns：配置需要写入列的列名，如果不配置，则默认从第1列开始写入。
    			• header：配置是否写入列名，默认是需要写的。
    			• index：配置是否写入行名，默认是需要写的。
    			• index_label：配置用来作为列索引的列，默认是没有的。
    			• mode：配置写入模式，默认是W。
    			• encoding：配置编码格式，该配置只针对Python 3以前的版本。
    			• line_terminator：配置每行的结束符，默认使用“\n”。
    			• quotin：配置CSV的引用规则。
    			• quotechar：配置用来作为引用的字符，默认是空格。
    			• chunksize：配置每次写入的行数。
    			• tuplesize_cols：配置写入list的格式，默认以元组的方式写入。
    			• date_format：配置时间数据的格式。
    
    	2.JSON文件的读取和存储
    		对JOSN文件进行操作有两个API，分别是read_json和to_json。
    
    		（1）API:read_json()
    			read_json()是用于读取JSON文件或者返回JSON数据的接口。日常需要用到的配置参数如下。
    			• filepath_or_buffer：配置有效的JSON字符串、JSON文件的路径或者数据接口。数据接口可以是一个URL地址。
    			• type：配置将读取的数据生成Series还是DataFrame，默认是DataFrame。
    
    		（2）API:to_json()
    			to_json()用于将数据保存为JSON格式。日常需要用到的配置参数如下。
    			• path_or_buf：配置JSON数据保存的路径或者写入的内存区域。
    			• date_format：配置时间数据的格式，epoch表示配置成时间戳的格式，iso表示配置成ISO 8601的格式。
    			• double_precision：配置小数点后保留的位数，默认是10位。
    			• force_ascii：配置是否强制将String转码成ASCII，默认强制进行转码。
    			• date_unit：配置时间数据的格式，可以实现精确到秒级或毫秒级。
    
    1.3.2 数据查看和选取
    	Pandas的数据对象有Series、DataFrame和Panel，常用的数据类型是一维的Series和二维的DataFrame。
    	DataFrame拥有非常丰富的API，能够满足我们对数据选取和处理的需求。
    
    	1.查看数据
    		（1）df.shape
    			df.shape用于查看数据的维度。由于DataFrame是二维的，因此df.shape的返回值包含两个元素，df.shape[0]返回的是行数，
    			df.shape[1]返回的是列数。示例代码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

（2）df.head()
    			df.head()默认返回DataFrame数据的前5行，如果需要查看更多的行数，则只要传参进去即可。
    			df.tail()默认返回数据的后5行，想要查看更多的数据同样可以传参进去。
    			想要查看列名可以使用df.columns()，查看各列的平均值可以直接用df.mean()。
    			查看数据的汇总统计可以使用df.describe()，查看数据概况可以使用df.info。示例代码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1][]

2.选取数据
    		在选取数据时，既可以使用列名来选取，也可以使用索引来选取。
    		如果要查看某列的数据，则可以用df[col_name]或者df.col_name，当查看多列时可以将多列的列名作为一个数组传参进去，
    		如df[[col1，col2]]。使用索引来选取数据，则要用到df.iloc。大家要注意df.loc和df.iloc在使用上是有区别的，
    		df.loc传递的是索引的名称，df.iloc传递的是索引的相对位置，我们常用的是df.iloc。
    		示例代码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2][]

1.3.3 数据处理
    	Pandas DataFrame提供了丰富的数据处理方法，为我们进行必要的数据操作和预处理提供了非常大的帮助。
    	下面我们来看看常用的数据处理方法。
    
    	1.数据合并
    		在进行数据预处理时，需要进行必要的数据合并操作，将分散的数据或者部分数据整合到一起进行神经网络模型训练。
    		DataFrame提供了多个数据拼接的方法，使用pd.concat()可以直接放到数组中按行拼接，也可以使用pd.merge()按列拼接，
    		或者使用df.append()增加某列数据。
    		示例代码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3][]

2.数据清理
    		在使用DataFrame进行数据处理时，如果数据质量不高，则需要清理一些空值或者进行空值补全。
    		我们可以使用df3.isnull()检查数据是否为空值，使用df3.isnull().sum()进行空值的统计。
    		如果需要对空值进行补全，则可以使用df3.fillna（n），n值就是替换空值的值。
    		如果想要去掉所有带有空值的数据，则可以使用df3.dropna()删除包含空值的行和列，默认删除包含空值的行。
    		df3.dropna（axis=1）会删除包含空值的列。
    		示例代码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4][]

3.数据处理
    		在进行数据处理时，我们还会遇到诸如转换数据类型、统计唯一值的个数以及序列排序等需求。
    		DataFrame也提供了一些对应的操作方法供使用，比如，转换数据类型可以使用df3.astype()，统计唯一值的个数可以使用df3.columns.value_counts()，
    		序列排序可以使用df3.sort_values(by=colname, ascending=True)。
    		示例代码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5][]

[20191009191333910.png]: https://img-blog.csdnimg.cn/20191009191333910.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200208132244201.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200208132254111.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200208132304171.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200208132304111.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200208132324327.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200208132331895.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70