pandas读写文件

素颜马尾好姑娘i 2022-09-04 06:47 196阅读 0赞

Pandas读取的数据为DataFrame类型，而DataFrame可以写入到各种格式的文件中，其中包括json、html、文本文件、数据库、Excel文件等等。（注：DataFrame对象可以转化为Numpy的ndarray对象，通过to\_numpy函数）。

Pandas内置了10余种数据源读取函数和对应的数据写入函数，常见的数据源有3种，分别为数据库数据，文本文件（包括txt和csv文件）和Excel文件。

下面主要介绍文本文件以及Excel文件的读取：

### 目录 ###

*  1.读写文本文件
 *   *  1.1 文本文件的写入
     *  1.2 文本文件的读取
     *  1.3 文本文件读写的例子
 *  2.读写Excel文件
 *   *  2.1 Excel文件的写入
     *  2.2 Excel文件的读取
     *  2.3 Excel文件读写的例子

# 1.读写文本文件 #

csv文件是一种用分隔符分隔的文件格式，因为其分隔符不一定是逗号，因此又被称为字符分隔文件。csv文件也是一种文本文件，因此也可以通过文本文件的读取函数对csv文件进行读取。

## 1.1 文本文件的写入 ##

对于DataFrame数据，可以写入到各种格式的文件中，其中包括json、html、使用DataFrame对象的to\_csv函数实现csv文件的写入，该函数将DataFrame数据写入到文本文件中。

该函数的语法及常用参数如下：

DataFrame.to_csv(path_or_buf=None, sep=",", na_rep="", float_format=None, 
                     columns=None, header=True, index=True, index_label=None, 
                     mode="w", encoding=None, compression="infer", quoting=None, 
                     quotechar='"', line_terminator=None, chunksize=None, 
                     date_format=None, doublequote=True, escapechar=None, decimal=".",)

参数介绍：

path\_or\_buf:接收string,代表文件路径  
seq:接收string,代表分隔符，默认’,’  
na\_rep:接收string,代表缺失值，默认’’  
columns:接收list,代表写入的列名，默认none  
header:接收boolean,代表是否将列名写入,默认true  
index: 接收boolean,代表是否将行名写入,默认true  
index\_label: 接收sequence,代表行索引名,默认None  
mode:接收特定string,代表数据写入模式，默认w  
encoding:接收string,代表存储文件的编码方式，默认None

## 1.2 文本文件的读取 ##

pandas提供了read\_table来读取文本文件，提供了read\_csv函数来读取csv文件。对于这两个函数的很多参数是相同的，由于其参数过多，下面只介绍常用的参数如下：

filepath: 接收string。代表文件路径。无默认  
sep: 接收string,代表分隔符,read\_csv 默认为’,’， read\_table 默认为制表符‘Tab’  
header: 接收int或sequence表示将某行数据作为列名。默认为infer,表示自动识别，None表示数据里面不含列名  
names: 接收array，表示列名，默认为None  
engine：接收c或者python。代表数据解析引擎。默认为c  
nrows：接收int，表示读取前n行。默认为None  
usecols:接收元组，读取的为该元组中对应的列  
dtype:接收dict,可以读取并结构化数据类型

## 1.3 文本文件读写的例子 ##

**1.准备要保存的数据**  
4行3列数据，列名为’age’, ‘name’, ‘sex’

![在这里插入图片描述][683f5b39feec4af18d08f90400c3b4db.png]  
**2.写入文件**  
将dataframe类型的数据存入文件3.csv，分隔符为" , "

data.to_csv('3.csv', sep=',')  # 此处可以通过columns控制写入的列，例如columns=['age']表示仅将age这一列数据写入

![在这里插入图片描述][95382594a7254abc9f2ec8ffd1f8514a.png]  
将dataframe类型的数据存入文件3.txt，分隔符为tab,不将列名和行名写入

data.to_csv('3.txt', sep='\t', header=False, index=False)

![在这里插入图片描述][6d815d62c5d54e4c854e4e2a72c39cd7.png]  
**3.读取3.csv中的数据**  
使用read\_csv读取3.csv中前两行的数据

x1 = pd.read_csv('3.csv', sep=',', encoding='utf-8', nrows=2, index_col=0)
    print(x1)

![在这里插入图片描述][761b3f38277d4ccfac433e6134a8f695.png]  
使用read\_table读取3.txt中前两行前两列的数据,并指定列名为’age’, ‘name’

x2 = pd.read_table('3.txt', sep='\t', encoding='utf-8', names=['age', 'name'], usecols=(0, 1), nrows=2)
    print(x2)

![在这里插入图片描述][4bed8869368040f1ae0030a0fa155c6c.png]  
**完整代码：**

import numpy as np
    import pandas as pd
    from pandas import DataFrame
    
    x = np.arange(12).reshape(4, 3)
    data = DataFrame(x, columns=['age', 'name', 'sex'])  # 将ndarray数组变为dataFrame
    print(data.values)  # 输出该dataFrame数据
    
    data.to_csv('3.csv', sep=',')  # 此处可以通过columns控制写入的列，例如columns=['age']表示仅将age这一列数据写入
    data.to_csv('3.txt', sep='\t', header=False, index=False)
    
    x1 = pd.read_csv('3.csv', sep=',', encoding='utf-8', nrows=2, index_col=0)
    print(x1)
    
    x2 = pd.read_table('3.txt', sep='\t', encoding='utf-8', names=['age', 'name'], usecols=(0, 1), nrows=2)
    print(x2)

**运行结果：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70]

# 2.读写Excel文件 #

## 2.1 Excel文件的写入 ##

使用DataFrame对象的to\_excel函数实现excel文件的写入，该函数将DataFrame数据写入到excel文件中。

DataFrame.to_excel(excel_writer=None, sheet_name="Sheet1", na_rep="", 
                       header=True, index=True, index_label=None, mode='w', encoding=None)

to\_excel函数与to\_csv函数常用的参数基本一致，区别在于to\_excel函数指定存储文件的文件路径参数名称为excel\_writer，没有seq参数，另外增加了sheet\_name参数，用来指定存储的excel sheet的名称，默认为sheet1

## 2.2 Excel文件的读取 ##

pandas还提供了read\_excel函数来读取xls与xlsx两种excel文件，其语法和常用参数如下：

pd.read_excel(io, sheet_name=0, header=0, names=None,dtype=None)

io:接收string  
sheet\_name:接收string,int，代表Excel表内分表的位置，默认为0  
header:接收int或sequence,表示将某行数据作为列名，默认为infer表示自动识别，None表示数据里面不含列名  
names: 接收array，表示列名，默认为None  
dtype:接收dict,可以读取并结构化数据类型

## 2.3 Excel文件读写的例子 ##

**1.准备要保存的数据**

4行3列数据，列名为’age’, ‘name’, ‘sex’

![在这里插入图片描述][683f5b39feec4af18d08f90400c3b4db.png]  
**2.写入文件**  
写入1.xlsx文件中的表一

data.to_excel(excel_writer='1.xlsx', sheet_name="Sheet1")

打开后该文件中的内容如下：  
![在这里插入图片描述][248b28c3187b4a1e9bb2596e26faa28c.png]  
**3.读取1.xlsx文件**  
读取1.xlsx中的表1的内容，此处index\_col=0参数表明第一列为索引列，不是数据内容，没有该参数，显示的内容会有第一列0,1,2,3的内容。

a = pd.read_excel('1.xlsx', sheet_name=0, index_col=0)

![在这里插入图片描述][ee9582af3e7142bfb158d52d1c82ccec.png]  
完整代码：

import numpy as np
    import pandas as pd
    from pandas import DataFrame
    
    x = np.arange(12).reshape(4, 3)
    data = DataFrame(x, columns=['age', 'name', 'sex'])
    print(data)
    
    data.to_excel(excel_writer='./data/1.xlsx', sheet_name="Sheet1")  # 写入1.xlsx文件中的表一
    # 读取1.xls中表索引为0的表的数据
    a = pd.read_excel('./data/1.xlsx', sheet_name=0, index_col=0)
    print(a)

运行结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 1]

[683f5b39feec4af18d08f90400c3b4db.png]: /images/20220829/643a611a56614c809aec5a38e0eb8e6c.png
[95382594a7254abc9f2ec8ffd1f8514a.png]: /images/20220829/53b5fd3e7e654e809893d14f2aa0097d.png
[6d815d62c5d54e4c854e4e2a72c39cd7.png]: /images/20220829/637ceae021514cf6b25db326effa4ca0.png
[761b3f38277d4ccfac433e6134a8f695.png]: /images/20220829/505d946a39af4c65a2eb5d1b6c36adf0.png
[4bed8869368040f1ae0030a0fa155c6c.png]: /images/20220829/192dc6dc352043c3a60c42f805fda3cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70]: /images/20220829/b1163d4b2bd246f69e25d48ea983fe20.png
[248b28c3187b4a1e9bb2596e26faa28c.png]: /images/20220829/22f598a0ae6b44708c59c0707dec3880.png
[ee9582af3e7142bfb158d52d1c82ccec.png]: /images/20220829/e23b91aa3b634ca3a596e078c4e8b3b4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM4MDQ4NzU2_size_16_color_FFFFFF_t_70 1]: /images/20220829/155d9865937348ae8c2f78eae0f95982.png