一口气说完Pandas数据结构简介

浅浅的花香味﹌ 2024-04-29 01:41 9阅读 0赞

接下来我将对 pandas 的基本数据结构进行快速、非全面的概述，以帮助您入门。有关数据类型、索引、轴标签和对齐的基本行为适用于所有对象。首先，导入 NumPy 并将 pandas 加载到您的命名空间中：

import numpy as np
    
    import pandas as pd

从根本上说，**数据对齐是固有的**。除非您明确这样做，否则标签和数据之间的链接不会被破坏。

### Series ###

Series是一个一维标记数组，能够保存任何数据类型（整数、字符串、浮点数、Python 对象等）。轴标签统称为索引。创建 a 的基本方法Series是调用：

s = pd.Series(data, index=index)

data：可以有很多不同的东西：

*  Python 字典
 *  一个ndarray
 *  标量值（如 917）

> 传递的索引是轴标签的列表。因此，根据数据是什么，这分为几种情况：

1.  来自ndarray  
    如果data是 ndarray，则索引必须与数据长度相同。如果没有传递索引，则会创建一个具有 value 的索引。\[0, …, len(data) - 1\]  
    ![在这里插入图片描述][653f23d794b543ac80d6c4ee42b2adad.png]
2.  来自字典

> Series可以从字典实例化

![在这里插入图片描述][e01130f693a540ffaecf9d9ed46a000e.png]

> 如果传递了索引，则将拉出索引中标签对应的数据中的值。

![在这里插入图片描述][7a229daa96ba49d1976f2b8070372d4d.png]  
**NaN（不是数字）是 pandas 中使用的标准缺失数据标记。**  
3. 从标量值

> 如果data是标量值，则必须提供索引。该值将重复以匹配索引的长度。

![在这里插入图片描述][1cd6db171c394e0f88bdd61f6c760c96.png]

### Series似于 ndarray ###

Series其行为与 a ndarray非常相似，ndarray并且是大多数 NumPy 函数的有效参数。然而，切片等操作也会对索引进行切片。  
![在这里插入图片描述][672d716e81924d8cb4288a199991c60f.png]  
![在这里插入图片描述][bba127a49d864706b5dee753d91406d9.png]

> 与 NumPy 数组一样，pandas 也有一个dtype类型

![在这里插入图片描述][37fecebd59a94117b26b556504a2011e.png]  
这通常是 NumPy dtype。然而，pandas 和第 3 方库在几个地方扩展了 NumPy 的类型系统，在这种情况下，dtype 将是ExtensionDtype. pandas 中的一些示例是分类数据和可为空整数数据类型。

> Series.array永远是一个ExtensionArray.简而言之，ExtensionArray 是一个或多个具体数组（如 numpy.ndarray. pandas 知道如何获取 aExtensionArray并将其存储在 aSeries或 a 的列中DataFrame。

**虽然Series与 ndarray 类似，但如果您需要实际的ndarray，请使用 Series.to\_numpy().**  
![在这里插入图片描述][724d25579c31498db3be13b3c3161240.png]

### Series类似于字典 ###

> ASeries也类似于固定大小的字典，您可以通过索引标签获取和设置值：

![在这里插入图片描述][56d0f5b7e9c94afb9e312cd45d88fe83.png]  
**如果索引中不包含标签，则会引发异常：**  
![在这里插入图片描述][d9e688bcb2654646acd6dd14a01d070c.png]

> 使用该Series.get()方法，丢失的标签将返回 None 或指定的默认值：

![在这里插入图片描述][4a2c2d5c94dd4f0eb03424551bef0892.png]

### 矢量化操作和标签对齐系列 ###

使用原始 NumPy 数组时，通常不需要逐值循环。Series在 pandas 中 使用时也是如此。Series也可以传递到大多数需要 ndarray 的 NumPy 方法中。  
![在这里插入图片描述][c3d8af36f9ec4cdda28280db3a4c70b7.png]

> Series和 ndarray之间的一个关键区别是，它们之间的操作Series 会根据标签自动对齐数据。因此，您可以在编写计算时无需考虑所Series涉及的标签是否相同。

![在这里插入图片描述][c44c347555694f2993c467b1cc7baeb3.png]  
**未对齐之间的运算结果Series将包含所涉及索引的并集。如果在其中一个或另一个中找不到标签Series，结果将被标记为丢失NaN。能够在不进行任何显式数据对齐的情况下编写代码，为交互式数据分析和研究提供了巨大的自由度和灵活性。 pandas 数据结构的集成数据对齐功能使 pandas 与大多数处理标记数据的相关工具区分开来。**

### 名称属性 ###

> Series还有一个name属性:

![在这里插入图片描述][9192cb1eae8f49058ea2c259363589ec.png]

> 在许多情况下可以自动分配 ，特别是当从 中选择单个列时，将会被分配列标签。
> 
> 您可以Series使用该pandas.Series.rename()方法重命名

![在这里插入图片描述][cbbdf084334443d18cb62983c549a044.png]  
**请注意，s和s2指的是不同的对象。**

### DataFrame ###

DataFrame是一个二维标记数据结构，其中包含可能不同类型的列。您可以将其视为电子表格或 SQL 表，或者 Series 对象的字典。它通常是最常用的 pandas 对象。与 Series 一样，DataFrame 接受许多不同类型的输入：

*  一维 ndarray、列表、字典或的字典Series
 *  二维 numpy.ndarray
 *  结构化或记录ndarray
 *  A Series
 *  其他DataFrame  
    除了数据之外，您还可以选择传递索引（行标签）和 列（列标签）参数。如果您传递索引和/或列，则可以保证生成的 DataFrame 的索引和/或列。因此，Series 的字典加上特定索引将丢弃所有与传递的索引不匹配的数据。

如果未传递轴标签，它们将根据常识规则从输入数据构建。

### 来自Series字典或字典 ###

> 生成的索引将是各个系列的索引的并集。如果有任何嵌套字典，它们将首先转换为系列。如果没有传递列，则列将是字典键的有序列表。

![在这里插入图片描述][68ad9c51d63e491aa91f1a87376ef08d.png]  
![在这里插入图片描述][96923d46cacc4589b990daf1987c9b8f.png]

> 可以通过访问index和columns属性来分别访问行和列标签 ：  
> **当一组特定的列与数据字典一起传递时，传递的列会覆盖字典中的键。**

![在这里插入图片描述][4ee716a73dcd4c2eb35f12eeec395aa1.png]

### 来自 ndarrays / 列表的字典 ###

> 所有 ndarray 必须具有相同的长度。如果传递索引，它也必须与数组的长度相同。如果没有传递索引，结果将为range(n)，其中n是数组长度。

![在这里插入图片描述][11ce5531c35f464d9f0b89ef40b9f969.png]

### 来自结构化或记录数组 ###

> 这种情况的处理方式与数组字典相同。

![在这里插入图片描述][d6047d5a45d24f6d8fb3185eed03fdbd.png]  
![在这里插入图片描述][a65dbae0ca5648a885d05405a2789c79.png]  
**DataFrame 的工作原理并不像二维 NumPy ndarray。**

### 来自字典列表 ###

![在这里插入图片描述][4cf9332f9218429f8890c412a644c166.png]

### 来自元组的字典 ###

![在这里插入图片描述][3236f89e2aee4268a1d36fe7e8be70de.png]

### 来自Series ###

![在这里插入图片描述][07bd87040494476ba2b93eebea4493ae.png]

### 来自命名元组列表 ###

> namedtuple列表中第一个字段的字段名称决定了DataFrame.剩余的命名元组（或元组）被简单地解压缩，并将它们的值输入到DataFrame.如果这些元组中的任何一个比第一个元组短，namedtuple则相应行中后面的列将被标记为缺失值。如果有一个比第一个长namedtuple，则ValueError引发

![在这里插入图片描述][4ed484c7e7924cb0998a2a66f0a5dcf1.png]

### 来自数据类列表 ###

> PEP557中引入的数据类可以传递到 DataFrame 构造函数中。传递数据类列表相当于传递字典列表。
> 
> 请注意，列表中的所有值都应该是数据类，列表中的混合类型将导致TypeError.

![在这里插入图片描述][1c473db92ae644eea6a42608754f03b1.png]

### 备用构造函数 DataFrame.from\_dict ###

> DataFrame.from\_dict()接受一个字典的字典或一个类似数组序列的字典并返回一个 DataFrame。它的操作类似于DataFrame构造函数，除了默认orient参数之外’columns’，但可以设置该参数’index’以便使用字典键作为行标签。

![在这里插入图片描述][5c087eee79654ff995b992b0ba2d984f.png]

> 如果通过orient=‘index’，键将是行标签。在这种情况下，您还可以传递所需的列名称：

![在这里插入图片描述][753ca23f09e64730ada0c6b0a9fe4e3c.png]

> DataFrame.from\_records()接受元组列表或具有结构化数据类型的 ndarray。它的工作方式与普通DataFrame构造函数类似，只是生成的 DataFrame 索引可能是结构化数据类型的特定字段。

![在这里插入图片描述][d8cbed9b8a2d4e0ebe044e58ae293c9b.png]

### 列选择、添加、删除 ###

> 您可以DataFrame在语义上将语义视为相似索引Series 对象的字典。获取、设置和删除列的语法与类似的 dict 操作相同：

![在这里插入图片描述][895868d8788b4d8a961aef74e59fe3a0.png]

> 可以像字典一样删除或弹出列：

![在这里插入图片描述][0499722dc9794bf09107fae9f416e1a8.png]

> 当插入标量值时，它自然会传播以填充列：

![在这里插入图片描述][09e9b1c555c246a88d7e12b7b5523a00.png]

> 当插入Series与 不具有相同索引的时DataFrame，它将符合 DataFrame 的索引：

![在这里插入图片描述][c40642343a124c4caa5ed2bfc7ed7e0f.png]  
**您可以插入原始 ndarray，但它们的长度必须与 DataFrame 索引的长度匹配。**

> 默认情况下，列会插入到末尾。DataFrame.insert() 在列中的特定位置插入：

![在这里插入图片描述][451aab11f09c458ea103706e10f4484e.png]

### 在方法链中分配新列 ###

> 受dplyr mutate动词的启发，DataFrame 有一种assign() 方法可以让您轻松创建可能从现有列派生的新列

![在这里插入图片描述][da589b3240344898b0e6f5bc39d31329.png]  
![在这里插入图片描述][2de2b57676c94b6b83081613f720d670.png]  
![在这里插入图片描述][618aa0cec0854ae680ea0514b2a74bd4.png]  
![在这里插入图片描述][b7b8dfb2a9c24134b7a936aa5c517e68.png]  
![在这里插入图片描述][566cf7bbc584401fbb95841a4f3e4459.png]

### 索引/选择 ###

![在这里插入图片描述][0b0b7e7844244ef78e64a21e09f31f70.png]

> 例如，行选择返回一个Series，其索引是 的列 DataFrame：

![在这里插入图片描述][301752b2bbb0408e9ad1a1f840f33b54.png]

### 数据对齐和算术 ###

> DataFrame对象之间的数据对齐会在列和索引（行标签）上自动对齐。同样，生成的对象将具有列标签和行标签的并集。

![在这里插入图片描述][b39eb872f1cf4d2f8d180043d8656d7d.png]

> DataFrame在和之间执行操作时Series，默认行为是对齐列上的索引，从而 按行广播。

![在这里插入图片描述][d4a5ccc53b6f4a668504b811aa0ebb01.png]

> 标量的算术运算按元素进行：

![在这里插入图片描述][89fb4ad74b674662a86f457e44aec648.png]  
![在这里插入图片描述][c21a6178146c4981895ad5367acb1e62.png]  
![在这里插入图片描述][92cd8ac17b0d4e518f3bb74c44048a78.png]

> 布尔运算符也按元素进行操作：

![在这里插入图片描述][5e7ef3bbe88a4eac9840d93c123c1622.png]  
![在这里插入图片描述][13720dd907404657857764961af00d26.png]

### 转置 ###

> 要转置，请访问T属性 or DataFrame.transpose()，类似于 ndarray：

![在这里插入图片描述][7ce97df942be4c51a8979e7340d9a0af.png]

### DataFrame 与 NumPy 函数的互操作性 ###

大多数 NumPy 函数可以直接在Series和上调用DataFrame  
![在这里插入图片描述][3deb6b8464304968a7858a0d11b3348e.png]  
![在这里插入图片描述][05318baf39644cd5b01b98666f689d84.png]  
**DataFrame它并不是 ndarray 的直接替代品，因为它的索引语义和数据模型在某些地方与 n 维数组有很大不同。**

Series实现，这使得它可以与 NumPy 的通用函数\_\_array\_ufunc\_\_一起使用 。  
![在这里插入图片描述][271c5b6a0a8e4a3b8797234d47232c6e.png]

> 当多个Series传递给 ufunc 时，它们会在执行操作之前对齐。
> 
> 与库的其他部分一样，pandas 会自动将带标签的输入作为 ufunc 的一部分与多个输入对齐。例如，numpy.remainder()  
> 在两个Series顺序不同的标签上使用将在操作之前对齐。

np.remainder(ser1,ser2) 这个是求余数操作  
![在这里插入图片描述][39a4c662479f445099a38b94733d2e92.png]

> 像往常一样，取两个索引的并集，并且不重叠的值用缺失值填充

![在这里插入图片描述][23a7c382d2054cd7b32e290be3d024e1.png]

> 当二进制 ufunc 应用于 aSeries和时Index，Series 实现优先并Series返回 a

![在这里插入图片描述][f98b8b019c754a9981ee046a3166406c.png]  
**亲爱的架构爱好者们！👩💻👨💻 如果你对今天的技术分享感到兴奋，那我保证，在“舒一笑的架构笔记”公众号上，还有更多等待你挖掘的宝藏！🚀 深入解析、干货满满，我们不仅仅是在表面上略过！🛠️  
是不是对那些隐藏在代码行间的智慧好奇呢？🔍 想不想知道我们是如何一步步构建起高效、稳健的架构的呢？那你绝对不能错过！点击这里 \[立即探索\]，一起深入架构的奥秘！🏗️  
我在“舒一笑的架构笔记”等你，带你领略更多精彩的架构艺术和未曾揭晓的技术干货！📚 不要让你的求知欲孤单地等待，加入我们，一起揭开技术世界的神秘面纱吧！🌟 我们在公众号见！✨**

[653f23d794b543ac80d6c4ee42b2adad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/84488f78714c4cc19d096ff3e1b9f37a.png
[e01130f693a540ffaecf9d9ed46a000e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/a563133f1dd44bba8a2594905f05a0f0.png
[7a229daa96ba49d1976f2b8070372d4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/eab6a630a0e84fae9509d9b4acbe0625.png
[1cd6db171c394e0f88bdd61f6c760c96.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/70643f29af3045ca9be1521d0865a625.png
[672d716e81924d8cb4288a199991c60f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/7046e13ae74a418f93fb0117993b7fda.png
[bba127a49d864706b5dee753d91406d9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/d8d2603b574649259dbe8d1a5962ee03.png
[37fecebd59a94117b26b556504a2011e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/701b1dc3e5554d91bd6376e8278b212d.png
[724d25579c31498db3be13b3c3161240.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/572159ed93ee4d5caea5944a57bee591.png
[56d0f5b7e9c94afb9e312cd45d88fe83.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/25e9556402b64ee4baf3ab9b6ddc9b2f.png
[d9e688bcb2654646acd6dd14a01d070c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/6500602c1ba64b9abea1b3be7620534d.png
[4a2c2d5c94dd4f0eb03424551bef0892.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/19a10d98234f410b80c0599ee83f5a3c.png
[c3d8af36f9ec4cdda28280db3a4c70b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/4e5abe62024a402da350749eaafe3f7a.png
[c44c347555694f2993c467b1cc7baeb3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/ea9e291ebc3142ac919910d31cc5884b.png
[9192cb1eae8f49058ea2c259363589ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/c4883dd105c94c129b146c71b14347fd.png
[cbbdf084334443d18cb62983c549a044.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/16addd5e9f6c42dab61210fab7a4de29.png
[68ad9c51d63e491aa91f1a87376ef08d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/2ca316d865b3425a834c72664446deb0.png
[96923d46cacc4589b990daf1987c9b8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/7e714f4c290843a19d1d5e507bda0925.png
[4ee716a73dcd4c2eb35f12eeec395aa1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/2893faf261e843ddabb0973b4420ac7e.png
[11ce5531c35f464d9f0b89ef40b9f969.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/cbb0ac30758f451c8c7ea96c218d2343.png
[d6047d5a45d24f6d8fb3185eed03fdbd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/65a4ffde57c246fe9a2e5205487d53a2.png
[a65dbae0ca5648a885d05405a2789c79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/10dbd8129c554c3ca31ec66a51a33a3a.png
[4cf9332f9218429f8890c412a644c166.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/436448bc8014441599e0fd721faa3e15.png
[3236f89e2aee4268a1d36fe7e8be70de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/cce69865fa5d4488a973437f541f8d0b.png
[07bd87040494476ba2b93eebea4493ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/3a63121daf394809b92c4320975d7e8a.png
[4ed484c7e7924cb0998a2a66f0a5dcf1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/dac02a4e361f430aa1918788a96a78f7.png
[1c473db92ae644eea6a42608754f03b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/c09528be0d9f42beb89267353b0f4d3f.png
[5c087eee79654ff995b992b0ba2d984f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/e152c6c7596f4b52820dcc70dbbc4784.png
[753ca23f09e64730ada0c6b0a9fe4e3c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/0874689f26f84b409b6db64af3118d42.png
[d8cbed9b8a2d4e0ebe044e58ae293c9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/016fda1215fa487d82181b116314e5cf.png
[895868d8788b4d8a961aef74e59fe3a0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/1d5dfe8813914d0e8aae2beebde47ede.png
[0499722dc9794bf09107fae9f416e1a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/5874c49d0ca147989ccdeb772ac1e12b.png
[09e9b1c555c246a88d7e12b7b5523a00.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/6af141a5ce394f87ad175fdd8c7ffe02.png
[c40642343a124c4caa5ed2bfc7ed7e0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/1bac9f2c74d84402874179bd2d4d2cdf.png
[451aab11f09c458ea103706e10f4484e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/6e3e719d180840378b774c2a87775ec7.png
[da589b3240344898b0e6f5bc39d31329.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/d292e295a6354f14adfc131cf528d9c7.png
[2de2b57676c94b6b83081613f720d670.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/e400828c4e3746aaab80c059ce4fd169.png
[618aa0cec0854ae680ea0514b2a74bd4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/6596283848c2463babb39c28775d3bf6.png
[b7b8dfb2a9c24134b7a936aa5c517e68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/1ba2c89dee2c43d98afb699f41a7c65b.png
[566cf7bbc584401fbb95841a4f3e4459.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/d8f3a29e7f424a9c8527d2cf734d2a9f.png
[0b0b7e7844244ef78e64a21e09f31f70.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/30756d61add2418693ba35d35e8b348e.png
[301752b2bbb0408e9ad1a1f840f33b54.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/489d01e521df48839318b8d8766590fc.png
[b39eb872f1cf4d2f8d180043d8656d7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/02b0983dbb0540f78237d924a64c89f0.png
[d4a5ccc53b6f4a668504b811aa0ebb01.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/20d66be5b492418c8a70256b7a5245a0.png
[89fb4ad74b674662a86f457e44aec648.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/dd0766c5653d40a0aaaa6a81a5ee863c.png
[c21a6178146c4981895ad5367acb1e62.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/ad8a2cf0c7114f4c87151facc7107f12.png
[92cd8ac17b0d4e518f3bb74c44048a78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/c7c7ea1d2ffa41f284e19f625b28a83d.png
[5e7ef3bbe88a4eac9840d93c123c1622.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/0c3ffb536aa34f7a92f0adc05fd9b332.png
[13720dd907404657857764961af00d26.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/fac05135879d4344872be651b08065af.png
[7ce97df942be4c51a8979e7340d9a0af.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/3f67605572b0471e87a0917edcdd673b.png
[3deb6b8464304968a7858a0d11b3348e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/171d6a4024e944458fc98742d7797cde.png
[05318baf39644cd5b01b98666f689d84.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/cfdbfa29c8f84ca29516ac403fedec8b.png
[271c5b6a0a8e4a3b8797234d47232c6e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/5c98ae2ec83d45b9932610b2855875cc.png
[39a4c662479f445099a38b94733d2e92.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/2da8d4401c6d472c807405147902599c.png
[23a7c382d2054cd7b32e290be3d024e1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/0f4f205d959d4bfd90f4b6f895a7f35b.png
[f98b8b019c754a9981ee046a3166406c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/29/03b05ab42a984591a71c3942e70d350d.png