【数据挖掘】Pandas介绍

布满荆棘的人生 2024-04-26 03:28 8阅读 0赞

> 🔥一个人走得远了，就会忘记自己为了什么而出发，希望你可以不忘初心，不要随波逐流，一直走下去🎶  
> 🦋 欢迎关注🖱点赞👍收藏🌟留言🐾  
> 🦄 本文由 [程序喵正在路上][Link 1] 原创，CSDN首发！  
> 💖 系列专栏：[Python数据挖掘][Python]  
> 🌠 首发时间：2022年8月31日  
> ✅ 如果觉得博主的文章还不错的话，希望小伙伴们三连支持一下哦

#### 阅读指南 ####

*  一、学习目标
 *  二、Pandas简介
 *  三、Pandas的优点
 *  四、DataFrame
 *   *  DataFrame的引入
     *  DataFrame的结构
     *  DataFrame的属性
     *  DataFrame的方法
     *  DataFrame索引的设置
     *  设置新索引案例
 *  五、MultiIndex与Panel
 *   *  MultiIndex
     *  Panel
 *  六、Series
 *   *  创建Series
     *  Series获取索引和值
 *  七、总结

## 一、学习目标 ##

1.  了解 **Numpy** 与 **Pandas** 的不同
2.  了解 **Pandas** 的 **MultiIndex** 与 **panel** 结构
3.  说明 **Pandas** 的 **Series** 与 **Dataframe** 两种结构的区别

## 二、Pandas简介 ##

![在这里插入图片描述][324716cf1c2145589473c974a52fa5b7.png]

*  **2008** 年 **WesMcKinney** 开发的库
 *  一个专门用于数据挖掘的开源 **Python** 库
 *  以 **Numpy** 为基础，借力 **Numpy** 模块在计算方面性能高的优势
 *  基于 **Matplotlib**，能够进行简便地画图
 *  独特的数据结构

## 三、Pandas的优点 ##

**Numpy** 已经能够帮助我们处理数据，能够结合 **matplotlib** 解决部分数据展示等问题，那么学习 **Pandas** 的目的是什么呢？

> 便捷的数据处理功能

*  读取文件方便
 *  封装了 **Matplotlib**、**Numpy** 的画图和计算

**Pandas** 拥有三大数据结构 —— **DataFrame**、**Panel**、**Series**

## 四、DataFrame ##

### DataFrame的引入 ###

回顾我们在 **Numpy** 当中创建的股票涨跌幅数据的形式？

import numpy as np
    
    # 创建一个符合正态分布的10个股票5天的涨跌幅数据
    stock_change = np.random.normal(0, 1, (10, 5))

会得到类似于下面的一组数据：

>     array([[-0.76262691, -1.53906032, -1.19438127, -1.81317422, -0.3470865 ],
>            [ 0.59125622, -2.19342596, -0.64091173,  0.71351875, -0.09791594],
>            [-0.43086545,  0.25453646, -0.15989081, -2.37560652,  0.14228323],
>            [-0.59931837,  0.92769144, -1.32584091, -0.50051822, -0.91595638],
>            [ 0.97610619,  0.01210933, -0.40116201,  0.67677703,  0.07081736],
>            [ 0.48321613,  1.03806051,  0.64154591, -0.05624017,  1.14431186],
>            [ 0.50118994, -0.41052898,  0.90930519, -1.99978121, -0.91814337],
>            [-0.08912512, -2.38287704, -2.13710752,  0.29732938, -1.50453318],
>            [ 0.18190879, -0.72589502, -1.07843733, -1.33786192,  0.11145101],
>            [ 0.40291687, -1.09541242, -0.81029028, -0.47490371, -1.90883155]])

上面数据的结构为：既有行索引，又有列索引的二维数组

但是这样的数据形式**很难看到存储的是什么样的数据，并且也很难获取相应的数据**，比如需要获取某个指定股票的数据，就很难去获取

> 问题：如何让数据更加有意义地去显示出来？

import pandas as pd
    
    # 使用Pandas中的数据结构
    pd.DataFrame(stock_change)

运行代码，会出现下图的效果，默认索引是从 **0** 开始：

![在这里插入图片描述][c62945d6b9554c83bb95745bb65609e1.png]

这样效果还不是很好，我们可以给股票涨跌幅数据增加行列索引，这样显示效果更佳

*  添加行索引

# 添加行索引
    stock = ["股票{}".format(i) for i in range(10)]
    pd.DataFrame(stock_change, index=stock)

*  添加行索引

# 添加列索引
    date = pd.date_range(start="20180101", periods=5, freq="B")
    pd.DataFrame(stock_change, index=stock, columns=date)

最终呈现效果如下：  
![在这里插入图片描述][afdbdd51d23f48dfa870ba21c486f48f.png]

### DataFrame的结构 ###

**DataFrame** 对象既有行索引，又有列索引，类似于二维表

*  行索引，表明不同行，横向索引，称为 **index**
 *  列索引，表明不同列，纵向索引，称为 **columns**

### DataFrame的属性 ###

将刚才得到的表用变量保存起来

data = pd.DataFrame(stock_change, index=stock, columns=date)

常用属性：

*  shape

data.shape

![在这里插入图片描述][21817852f04046be8a8f25b040874259.png]

*  index

data.index

![在这里插入图片描述][6c3a6717c0674b0f86fc024e99d5f6a9.png]

*  columns

data.columns

![在这里插入图片描述][b7c8f1f7d91042de84573db2378279c3.png]

*  values

data.values

![在这里插入图片描述][dae873dd524b4b4790a4e2ca26043d95.png]

*  T

data.T

![在这里插入图片描述][408ab20cfe5e4fc483eaee01e8db8f2b.png]

### DataFrame的方法 ###

*  head()

data.head(3)

![在这里插入图片描述][c26cf7332cae42559ca8384436b9832f.png]

*  tail()

data.tail(2)

![在这里插入图片描述][ed4e11330a5a4e0381c69090fafaa184.png]

### DataFrame索引的设置 ###

*  修改行列索引值

请注意：以下修改方式是错误的，**不能单独修改某一个索引**

# 错误的修改方式
    data.index[3] = '股票_3'

正确的方式：

stock_code = ["股票_" + str(i) for i in range(stock_change.shape[0])]
    
    # 必须整体全部修改
    data.index = stock_code

效果如下：

![在这里插入图片描述][18120be4a02840c4b54f50153259f793.png]

*  重设索引
    
     *  **reset\_index(drop=False)**
        
         *  设置新的下标索引
         *  **drop**：默认为 **False**，不删除原来索引，如果为 **True**，删除原来的索引

data.reset_index()

![在这里插入图片描述][96cc44d97d5441b389ee1cdf2e9781fa.png]

data.reset_index(drop=True)

![在这里插入图片描述][f8d90560e167414cb184c6257e8191de.png]

*  以某列值设置为新的索引
    
     *  **set\_index(keys, drop=True)**
        
         *  **keys**：列索引名称或者列索引名称的列表
         *  **drop**：**boolean**、**default True**，当作新的索引，删除原来的列

### 设置新索引案例 ###

1.  创建

import pandas as pd
    
    df = pd.DataFrame({
        'month': [1, 4, 7, 10],
                      'year': [2012, 2014, 2013, 2014],
                      'sale': [55, 40, 84, 31]})

![在这里插入图片描述][753ad460280b4f5f8b97541464090b3a.png]

1.  设置一个索引，以月份为例

# 将月份设置为新的索引
    df.set_index("month", drop=True)

![在这里插入图片描述][2d9ead8bc1db4c79aeefe831a9ac6778.png]

1.  设置多个索引，以年和月份为例

# 设置多个索引，以年和月份为例
    new_df = df.set_index(["year", "month"])

![在这里插入图片描述][7fb4d4a9488c446bbdd5c9948e13430a.png]

> 请注意：通过我们刚才的一波操作，这个 DataFrame 已经变成了一个具有 MultiIndex 的 DataFrame

查看它的行索引，可以发现已经改变了

new_df.index

![在这里插入图片描述][4d9025c4d93544a4b72f6097f62793e2.png]

## 五、MultiIndex与Panel ##

### MultiIndex ###

多级或分层索引对象

*  **index属性**
    
     *  **names**：**levels** 的名称
     *  **levels**：每个 **level** 的元组值

new_df.index.names

![在这里插入图片描述][cd2837e8a0bb44379abbcaf229ec7d6a.png]

new_df.index.levels

![在这里插入图片描述][11acb5d8e1b841c2bc7124a43d912fe1.png]

### Panel ###

*  **class pandas.Panel(data=None, items=None, major\_axis=None, minor\_axis=None, copy=False, dtype=None)**
    
     *  存储 **3** 维数组的 **Panel** 结构

p = pd.Panel(np.arange(24).reshape(4, 3, 2),
                 items=list('ABCD'),
                 major_axis=pd.date_range('20130101', periods=3),
                 minor_axis=['first', 'second'])

*  **items** —— **axis 0**，每个项目对应于内部包含的数据帧（**DataFrame**）
 *  **major\_axis** —— **axis 1**，它是每个数据帧（**DataFrame**）的索引（行）
 *  **minor\_axis** —— **axis 2**，它是每个数据帧（**DataFrame**）的列

> 请注意：Pandas 从版本 0.20.0 开始弃用，现在推荐用于表示 3D 数据的方法是 DataFrame 上的 MultiIndex 方法，也就是类似于前面的 new\_df

## 六、Series ##

*  **series结构只有行索引**

我们将之前的涨跌幅数据进行转置，然后获取 ’股票0‘ 的所有数据

### 创建Series ###

通过已有数据创建

*  指定内容，默认索引

pd.Series(np.arange(10))

![在这里插入图片描述][e1e317aad0d94508995eb8613b6cef4f.png]

*  指定索引

pd.Series([6.7, 5.6, 3, 10, 2], index=[1, 2, 3, 4, 5])

![在这里插入图片描述][c34fe894b5bd43ea88aa64e111cb2d54.png]

通过字典数据创建

pd.Series({
        'red':100, 'blue':200, 'green':500, 'yellow':1000})

![在这里插入图片描述][f798dd2cc1084723979d9ceb5d77d867.png]

### Series获取索引和值 ###

*  **index**
 *  **values**

## 七、总结 ##

*  **DataFrame** 是 **Series** 的容器
 *  **Panel** 是 **DataFrame** 的容器

[Link 1]: https://blog.csdn.net/weixin_62511863?spm=1011.2421.3001.5343
[Python]: https://blog.csdn.net/weixin_62511863/category_11943238.html?spm=1001.2014.3001.5482
[324716cf1c2145589473c974a52fa5b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/7c6909b27edb419ab97f5dcdb7b6c0ef.png
[c62945d6b9554c83bb95745bb65609e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/b2a802b0b5104a2d8303a94fc6bc460d.png
[afdbdd51d23f48dfa870ba21c486f48f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/ee6ac34802b6402b9df3da288e6af9a0.png
[21817852f04046be8a8f25b040874259.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/011ad2d3d5d8472f9fa78d90cf3cb4ed.png
[6c3a6717c0674b0f86fc024e99d5f6a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/b5556bdb668d47cdb2215d5387f87f23.png
[b7c8f1f7d91042de84573db2378279c3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/5d02926441bf4d38953d02a4d5377af9.png
[dae873dd524b4b4790a4e2ca26043d95.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/8e75641a9633453d9e7c82404942b7ac.png
[408ab20cfe5e4fc483eaee01e8db8f2b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/93e83276f7d04f1b82dcf53977450913.png
[c26cf7332cae42559ca8384436b9832f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/0110b5cc16844ba79ec74401da8e5ef9.png
[ed4e11330a5a4e0381c69090fafaa184.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/a287cc3f53b14771bfee7bc62362d64d.png
[18120be4a02840c4b54f50153259f793.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/3ba1ff8dbe284d9281efa38c256fa8b8.png
[96cc44d97d5441b389ee1cdf2e9781fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/6c2efc7e4d2b445ab39412dc3354cd58.png
[f8d90560e167414cb184c6257e8191de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/de1f09b9376b4986bb3a091978db339b.png
[753ad460280b4f5f8b97541464090b3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/55e35f1c10e845e0b4f6d831ff10c84f.png
[2d9ead8bc1db4c79aeefe831a9ac6778.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/6e3ad3560f10484da089753fc879a13f.png
[7fb4d4a9488c446bbdd5c9948e13430a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/e65a4cb81ca14328af0855ebf6296f04.png
[4d9025c4d93544a4b72f6097f62793e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/1f7a968f153f4257a1c247870cdc61e6.png
[cd2837e8a0bb44379abbcaf229ec7d6a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/dad39aa0d7a84219add4150a0a295c92.png
[11acb5d8e1b841c2bc7124a43d912fe1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/67018ae68ab94baeb3c8a577296905b0.png
[e1e317aad0d94508995eb8613b6cef4f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/d29c207aedd2405ca7a52c33858a37bc.png
[c34fe894b5bd43ea88aa64e111cb2d54.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/219e1a03ab714dd68ef320e20f5020c6.png
[f798dd2cc1084723979d9ceb5d77d867.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/26/29696a4816494b33a6c1648f4591bc20.png