13个Pandas实用技巧，有点香！

妖狐艹你老母 2023-02-19 10:21 22阅读 0赞

![format_png][]

原作：风控猎人

归纳整理了一些工作中常用到的pandas使用技巧，方便更高效地实现数据分析。文章很短，不用收藏就能Get~

## 1.计算变量缺失率 ##

df=pd.read\_csv('titanic\_train.csv')  
def missing\_cal(df):  
   """  
   df :数据集  
     
   return：每个变量的缺失率  
   """  
   missing\_series = df.isnull().sum()/df.shape\[0\]  
   missing\_df = pd.DataFrame(missing\_series).reset\_index()  
   missing\_df = missing\_df.rename(columns=\{'index':'col',  
                                           0:'missing\_pct'\})  
   missing\_df = missing\_df.sort\_values('missing\_pct',ascending=False).reset\_index(drop=True)  
   return missing\_df  
missing\_cal(df)

如果需要计算样本的缺失率分布，只要加上参数axis=1.

## 2.获取分组里最大值所在的行方法 ##

分为分组中有重复值和无重复值两种。无重复值的情况。

df = pd.DataFrame(\{'Sp':\['a','b','c','d','e','f'\], 'Mt':\['s1', 's1', 's2','s2','s2','s3'\], 'Value':\[1,2,3,4,5,6\], 'Count':\[3,2,5,10,10,6\]\})  
df  
  
df.iloc\[df.groupby(\['Mt'\]).apply(lambda x: x\['Count'\].idxmax())\]

先按Mt列进行分组，然后对分组之后的数据框使用idxmax函数取出Count最大值所在的列，再用iloc位置索引将行取出。有重复值的情况

df\["rank"\] = df.groupby("ID")\["score"\].rank(method="min", ascending=False).astype(np.int64)  
df\[df\["rank"\] == 1\]\[\["ID", "class"\]\]

对ID进行分组之后再对分数应用rank函数，分数相同的情况会赋予相同的排名，然后取出排名为1的数据。

## 3.多列合并为一行 ##

df = pd.DataFrame(\{'id\_part':\['a','b','c','d'\], 'pred':\[0.1,0.2,0.3,0.4\], 'pred\_class':\['women','man','cat','dog'\], 'v\_id':\['d1','d2','d3','d1'\]\})  
  
df.groupby(\['v\_id'\]).agg(\{'pred\_class': \[', '.join\],'pred': lambda x: list(x),  
'id\_part': 'first'\}).reset\_index()

## 4.删除包含特定字符串所在的行 ##

df = pd.DataFrame(\{'a':\[1,2,3,4\], 'b':\['s1', 'exp\_s2', 's3','exps4'\], 'c':\[5,6,7,8\], 'd':\[3,2,5,10\]\})  
df\[df\['b'\].str.contains('exp')\]

## 5.组内排序 ##

df = pd.DataFrame(\[\['A',1\],\['A',3\],\['A',2\],\['B',5\],\['B',9\]\], columns = \['name','score'\])

介绍两种高效地组内排序的方法。

df.sort\_values(\['name','score'\], ascending = \[True,False\])  
df.groupby('name').apply(lambda x: x.sort\_values('score', ascending=False)).reset\_index(drop=True)

## 6.选择特定类型的列 ##

drinks = pd.read\_csv('data/drinks.csv')  
\# 选择所有数值型的列  
drinks.select\_dtypes(include=\['number'\]).head()  
\# 选择所有字符型的列  
drinks.select\_dtypes(include=\['object'\]).head()  
drinks.select\_dtypes(include=\['number','object','category','datetime'\]).head()  
\# 用 exclude 关键字排除指定的数据类型  
drinks.select\_dtypes(exclude=\['number'\]).head()

## 7.字符串转换为数值 ##

df = pd.DataFrame(\{'列1':\['1.1','2.2','3.3'\],  
                 '列2':\['4.4','5.5','6.6'\],  
                 '列3':\['7.7','8.8','-'\]\})  
df  
df.astype(\{'列1':'float','列2':'float'\}).dtypes

用这种方式转换第三列会出错，因为这列里包含一个代表 0 的下划线，pandas 无法自动判断这个下划线。为了解决这个问题，可以使用 to\_numeric() 函数来处理第三列，让 pandas 把任意无效输入转为 NaN。

df = df.apply(pd.to\_numeric, errors='coerce').fillna(0)

## 8.优化 DataFrame 对内存的占用 ##

方法一：只读取切实所需的列，使用usecols参数

cols = \['beer\_servings','continent'\]  
small\_drinks = pd.read\_csv('data/drinks.csv', usecols=cols)

方法二：把包含类别型数据的 object 列转换为 Category 数据类型，通过指定 dtype 参数实现。

dtypes =\{'continent':'category'\}  
smaller\_drinks = pd.read\_csv('data/drinks.csv',usecols=cols, dtype=dtypes)

## 9.根据最大的类别筛选 DataFrame ##

movies = pd.read\_csv('data/imdb\_1000.csv')  
counts = movies.genre.value\_counts()  
movies\[movies.genre.isin(counts.nlargest(3).index)\].head()

## 10.把字符串分割为多列 ##

df = pd.DataFrame(\{'姓名':\['张 三','李 四','王 五'\],  
                  '所在地':\['北京-东城区','上海-黄浦区','广州-白云区'\]\})  
df  
df.姓名.str.split(' ', expand=True)

## 11.把 Series 里的列表转换为 DataFrame ##

df = pd.DataFrame(\{'列1':\['a','b','c'\],'列2':\[\[10,20\], \[20,30\], \[30,40\]\]\})  
df  
  
df\_new = df.列2.apply(pd.Series)  
pd.concat(\[df,df\_new\], axis='columns')

## 12.用多个函数聚合 ##

orders = pd.read\_csv('data/chipotle.tsv', sep='\\t')  
orders.groupby('order\_id').item\_price.agg(\['sum','count'\]).head()

## 13.分组聚合 ##

import pandas as pd  
df = pd.DataFrame(\{'key1':\['a', 'a', 'b', 'b', 'a'\],  
   'key2':\['one', 'two', 'one', 'two', 'one'\],  
   'data1':np.random.randn(5),  
    'data2':np.random.randn(5)\})  
df  
  
for name, group in df.groupby('key1'):  
   print(name)  
   print(group)  
  
dict(list(df.groupby('key1')))

通过字典或Series进行分组

people = pd.DataFrame(np.random.randn(5, 5),  
    columns=\['a', 'b', 'c', 'd', 'e'\],  
    index=\['Joe', 'Steve', 'Wes', 'Jim', 'Travis'\])  
mapping = \{'a':'red', 'b':'red', 'c':'blue',  
    'd':'blue', 'e':'red', 'f':'orange'\}  
by\_column = people.groupby(mapping, axis=1)  
by\_column.sum()

###  ###

- end -
    
    
    小白踩坑记第二章：Python第二期
    
    
    期待您的进步
    在看和转发都是一种支持

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9xaWFTbDNSVDFSYzFWVTREQk8xanBxQjZCUGNvaHh0SkFZUVBBUGQ0YXJXSkdLdUNiTlBnN2cwSWlhTWJOdzhQZ2NjaWNqVUxRVk5hTDgzVVNLTmVrcFJpYWcvNjQw?x-oss-process=image/format,png