pandas读取表格后的常用数据处理操作

男娘i 2023-07-14 08:25 19阅读 0赞

↑ 关注 + 星标 ~ 有趣的不像个技术号

每晚九点，我们准时相约  ![format_png][]

![format_png 1][]

大家好，我是Sp4rkW![format_png 2][]

今天给大家讲讲**pandas读取表格**后的一些常用**数据处理**操作。

这篇文章其实来源于自己的数据挖掘课程作业，通过完成老师布置的作业，感觉对于使用python中的pandas模块读取表格数据进行操作有了更深层的认识，这里做一个整理总结。

本文总结了一些通过pandas读取表格并进行常用数据处理的操作，更详细的参数应该关注官方参数文档

## 1、读取10行数据 ##

相关参数简介：

*  names：用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None

name_columns = [' ','名字','类型', '城市', '地区', '地点', '评分', '评分人数', '价格']
    
    tabledata = pandas.read_excel("./hotel.xlsx", header=0, names=name_columns, sep=',', nrows=10)
    
    print(tabledata)

## 3、取出某列值为指定值的所有数据 ##

这里我们做一个简单的遍历操作即可完成，取值使用的函数是ix。

更加详细的使用说明可以参考昨日「凹凸数据」的另一条推文，[《 ix | pandas读取表格后的行列取值改值操作》][ix _ pandas]。

name_columns = [' ','名字','类型', '城市', '地区', '地点', '评分', '评分人数', '价格']
    
    tabledata = pandas.read_excel("./hotel.xlsx", header=0, names=name_columns, sep=',')
    
    hotel_name_list = []
    
    for i in range(421):
        if tabledata.ix[i,2] == "商务出行":
            hotel_name_list.append(tabledata.ix[i,1])
    
    print(hotel_name_list)

## 4、取出某一列的数值是缺失值的数据 ##

这里开始出现缺失值，提一下缺失值相关的两个参数：

*  na\_values：默认会将'-1.\#IND', '1.\#QNAN', '1.\#IND', '-1.\#QNAN', '\#N/A N/A','\#N/A', 'N/A', 'NA', '\#NA', 'NULL', 'NaN', '-NaN', 'nan', '-nan', '', 转换为NaN，且na\_values参数还支持定义另外的应处理为缺失值的值

原版解释：

na_values
    : scalar, str, list-like, or dict, default None
    Additional strings to recognize as NA/NaN. If dict passed, specific per-column NA values. By default the following values are interpreted as NaN: '-1.#IND', '1.#QNAN', '1.#IND', '-1.#QNAN', '#N/A N/A','#N/A', 'N/A', 'NA', '#NA', 'NULL', 'NaN', '-NaN', 'nan', '-nan', ''

*  keep\_default\_na：bool型，决定是否自动转NaN

## 5、只修改某一列的缺失值 ##

fillna函数用于替换缺失值，常见参数如下：

*  value参数决定要用什么值去填充缺失值
 *  axis：确定填充维度，从行开始或是从列开始
 *  limit：确定填充的个数，int型

通常limit参数配合axis可以用于替换数量方向的控制

我们这里根据需求，最简单的就是将需要修改的这一列取出来进行修改，之后对原数据进行列重新赋值即可

name_columns = [' ','名字','类型', '城市', '地区', '地点', '评分', '评分人数', '价格']
    
    tabledata = pandas.read_excel("./hotel.xlsx", header=0, names=name_columns, sep=',')
    
    tableline = tabledata['类型'].fillna(value='其他')
    
    tabledata['类型'] = tableline
    
    print(tabledata)

## 6、修改某一列，用平均值代替缺失值 ##

这个的思路和上面一个基本一致，区别在于我们需要线求出平均值。平均值的求解肯定不需要缺失值参与，于是我们先取出某一列不存在的缺失值的所有数据，再取出这一列数据，通过mean函数直接获取平均值。

同理的函数使用还有：

*  mean()平均值
 *  median()中位数
 *  max()最大值
 *  min()最小值
 *  sum()求和
 *  std()标准差
 *  Series类型独有的方法：argmax()最大值的位置 argmin()最小值的位置

name_columns = [' ','名字','类型', '城市', '地区', '地点', '评分', '评分人数', '价格']
    
    tabledata = pandas.read_excel("./hotel.xlsx", header=0, names=name_columns, sep=',')
    
    tableline = tabledata[tabledata['评分'].isnull().values==False]
    
    score_avg = tableline['评分'].mean()
    
    tableline = tabledata['评分'].fillna(value=score_avg)
    
    tabledata['评分'] = tableline
    
    print(tabledata)

![format_png 3][]

**后台回复关键词「****进群****」，即刻加入读者交流群~**

![format_png 4][]

**五**

学好潘大师~ 数据分析 so easy！

![format_png 5][]

朱小五

[format_png]: /images/20230529/07f0b1e830014890af2b62539833d081.png
[format_png 1]: /images/20230529/ccf0e44976f44fa79c3f4a48e3fcf881.png
[format_png 2]: /images/20230529/7de67643b4344e669b4fac4ae7f64910.png
[ix _ pandas]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4d23ccc93aaada055fa5158ba12cb2b41d432a13e7af1bcb78d156219e4170c829dd662b45&idx=3&mid=2247485000&scene=21&sn=4e17b5be51086d773e02fbc522eb1192#wechat_redirect
[format_png 3]: /images/20230529/cd62f7f02c4e4114bf5c6d78b83e75b0.png
[format_png 4]: /images/20230529/dcff68eee11940aca53b40f4967f4b7c.png
[format_png 5]: /images/20230529/12eee74d3ea74c8b8a5e814e55a3fc31.png