数据分析(四)学习笔记,Pandas进阶

阳光穿透心脏的1/2处 2023-07-11 06:24 10阅读 0赞

安装更新pandas:pip install pandas --upgrade i https://mirrors.163.com/pypi/simple/

# 一.Pandas中的数据类型 #

### 1.常用的7种 ###

**object** :这种数据类型是常见的字符串类型  
**int64** : 64位整数   2\*\*8,-127  127  
float64 :浮点数,常用于表示带有小数的数字  
bool :逻辑值，常用于True/False  
datetime64 :时间和日期类型  
timedelta:用于表示两个时间之间的差值  
category:分类(Category) 数据:直白来说,就是取值为有限的，或者说是固定  
数量的可能值。例如:性别、血型

### 2.数据类型转换模式 ###

在Pandas中数据类型转换常用如下两种方式:  
1 <column>.**astype**(<desired type>)这样的方式  
2使用转换帮助函数,例如pd.to\_numeric or pd.to\_datetime

### 3.数据类型转换函数的最常见模式 ###

1 pd.to\_numeric()   等同于.astype(int)  
2 pd.to\_datetime()   重要度75%  
3 pd.to\_timedelta()   计算时间差 6/2--6/5  
138>.  
使用转换函数:最大的好处是如果转换过程出现值的错误，可以忽略转换错  
误，例如errors='ignore'  开关

### 动手实战环节   实战1:通过info和desc查看数据类型   实战2:通过astype进行转换类型   实战3:利用转换帮助函数进行类型转换 ###

在jupyter中 可以实现用录播达到同步互动教学效果

# 数据类型转换, #

# pandas.to\_numeric   优点:加参数errors='ignore'可以使错误忽略. #

官方文档[https://pandas.pydata.org/docs/reference/api/pandas.to\_numeric.html?highlight=to\_numeric\#pandas.to\_numeric][https_pandas.pydata.org_docs_reference_api_pandas.to_numeric.html_highlight_to_numeric_pandas.to_numeric]

`pandas.``to_numeric`(*arg*, *errors='raise'*, *downcast=None*)[\[source\]][source][ ][https_pandas.pydata.org_docs_reference_api_pandas.to_numeric.html_highlight_to_numeric_pandas.to_numeric]

<table> 
 <tbody> 
  <tr> 
   <td>arg : scalar, list, tuple, 1-d array, or Series</td> 
  </tr> 
  <tr> 
   <td>errors : {'ignore', 'raise', 'coerce'}, default 'raise'</td> 
  </tr> 
  <tr> 
   <td>- If 'raise', then invalid parsing will raise an exception.</td> 
  </tr> 
  <tr> 
   <td>- If 'coerce', then invalid parsing will be set as NaN.</td> 
  </tr> 
  <tr> 
   <td>- If 'ignore', then invalid parsing will return the input.&nbsp; 虽有错,但依然继续.</td> 
  </tr> 
 </tbody> 
</table>

Examples

Take separate series and convert to numeric, coercing when told to

>>> s= pd.Series(['apple', '1.0', '2', -3])
    >>> pd.to_numeric(s, errors='ignore')
    0    apple
    1      1.0
    2        2
    3       -3
    dtype: object

数据清洗,**先检测**,再置空并填充,用to\_    与astype配合.

1.invoices\['Meal Price'\].**apply**(lambda x: type(x)).**value\_counts**()

2.invoices\['Meal Price'\] = pd.to\_numeric(invoices\['Meal Price'\],**errors='coerce')   设coere,置数据为空NaN,然后填充.**

3.invoices\['Meal Price'\] = invoices\['Meal Price'\].**fillna**(invoices\['Meal Price'\].median())  \#median取中位数

#    二.Pandas中常用的数据转换访问器 #

### 1.常用的3种数据访问转换器 ###

Pandas中accessor功能很强大，可以将它理解为一-种属性接口，通  
过它获得额外的方法。  
●.cat:用于分类数据(Categorical data)  
●.str:用于字符数据(String Object data)  
●.dt:用于时间数据(datetime-like data)

**(1).Dt数据转换器**

Pandas中的**dt** accessor功能非常常用，主要的功能就是将时间字段  
进行拆分，自动获得相关属性。

invoices['Date of Meal'].dt.date

**(2).Str数据转换器**  
Pandas中的**Str** accessor功能也常用，主要的功能就是将当前字段  
自动转换为字符串，同时顺势拥有字符串相关的属性。

invoices['Type of Meal'].str.upper()

**(3).Cat数据转换器**  
Pandas中的**Cat** accessor功能，主要的功能就是将当前字段作为一个  
分类，然后拥有分类所特有的一些属性。

invoices['Type of Meal'].cat.categories

![20200305112336420.png][]

## 动手实战环节 ##

### 实战1:实战dt访问器   实战2:实战str访问器   实战3:6实战cat访问器     ###

# 三.Pandas的DFDF合并功能 #

## 1.常用的Concatenating方法(垂直合并) ##

Pandas中的ConcatenatingConcatenating功能强大,可以将多个结构相同的数据DF合并成一个大的DF

2.水平合并

3.Merging方法

MergingMerging功能和数据库中的SQL的join类似,可以将多个数据DF合并成一个大的DF,由于是Merge,所以无需两边结构完全一样,但需要有共同的链接字段.

[https_pandas.pydata.org_docs_reference_api_pandas.to_numeric.html_highlight_to_numeric_pandas.to_numeric]: https://pandas.pydata.org/docs/reference/api/pandas.to_numeric.html?highlight=to_numeric#pandas.to_numeric
[source]: http://github.com/pandas-dev/pandas/blob/v1.0.1/pandas/core/tools/numeric.py#L19-L194
[20200305112336420.png]: https://img-blog.csdnimg.cn/20200305112336420.png