pandas之透视表

╰+哭是因爲堅強的太久メ 2023-02-21 06:47 7阅读 0赞

说到透视表，我们可能更多的是想到excel的透视表格，实际上作为比excel更加强大的pandas一样也有透视表的操作，功能可能会更加强大，发现一个比较经典的关于透视表的示例（貌似是一篇翻译出来的），可以和大家一起分享一下。

## 介绍 ##

也许大多数人都有在Excel中使用数据透视表的经历，其实Pandas也提供了一个类似的功能，名为pivot\_table。虽然pivot\_table非常有用，但是我发现为了格式化输出我所需要的内容，经常需要记住它的使用语法。所以，本文将重点解释pandas中的函数[pivot\_table][pivot_table]，并教大家如何使用它来进行数据分析。

如果你对这个概念不熟悉，[wikipedia][]上对它做了详细的解释。顺便说一下，你知道微软为PivotTable（透视表）注册了商标吗？其实以前我也不知道。不用说，下面我将讨论的透视表并不是PivotTable。

作为一个额外的福利，我创建了一个总结pivot\_table的简单备忘单。你可以在本文的最后找到它，我希望它能够对你有所帮助。如果它帮到了你，请告诉我。

## 数据 ##

使用pandas中pivot\_table的一个挑战是，你需要确保你理解你的数据，并清楚地知道你想通过透视表解决什么问题。其实，虽然pivot\_table看起来只是一个简单的函数，但是它能够快速地对数据进行强大的分析。

在本文中，我将会跟踪一个销售渠道（也称为漏斗）。基本的问题是，一些销售周期很长（可以想一下“企业软件”、“资本设备”等），而管理者想更详细地了解它一整年的情况。

典型的问题包括：

*  本渠道收入是多少？
 *  渠道的产品是什么？
 *  谁在什么阶段有什么产品？
 *  我们年底前结束交易的可能性有多大？

很多公司将会使用CRM工具或者其他销售使用的软件来跟踪此过程。虽然他们可能拥有有效的工具对数据进行分析，但肯定有人需要将数据导出到Excel，并使用一个透视表工具来总结这些数据。

使用Pandas透视表将是一个不错的选择，应为它有以下优点：

*  更快（一旦设置之后）
 *  自行说明（通过查看代码，你将知道它做了什么）
 *  易于生成报告或电子邮件
 *  更灵活，因为你可以定义定制的聚合函数

## Read in the data ##

首先，让我们搭建所需的环境。

如果你想跟随我继续下去，那么可以下载这个[Excel][]文件。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>import&nbsp;pandas&nbsp;as&nbsp;pd</p> <p>import&nbsp;numpy&nbsp;as&nbsp;np</p> </td> 
  </tr> 
 </tbody> 
</table>

版本提醒

因为Pivot\_table API已经随着时间有所改变，所以为了使本文中示例代码能够正常工作，请确保你安装了最近版本的Pandas（>0.15）。本文示例还用到了category数据类型，而它也需要确保是最近版本。

首先，将我们销售渠道的数据读入到数据帧中。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>df&nbsp;=&nbsp;pd.read_excel("../in/sales-funnel.xlsx")</p> <p>df.head()</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png][]

为方便起见，我们将上表中“Status”列定义为category，并按我们想要的查看方式设置顺序。

其实，并不严格要求这样做，但这样做能够在分析数据的整个过程中，帮助我们保持所想要的顺序。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>df["Status"]&nbsp;=&nbsp;df["Status"].astype("category")</p> <p>df["Status"].cat.set_categories(["won","pending","presented","declined"],inplace=True)</p> </td> 
  </tr> 
 </tbody> 
</table>

## 处理数据 ##

既然我们建立数据透视表，我觉得最容易的方法就是一步一个脚印地进行。添加项目和检查每一步来验证你正一步一步得到期望的结果。为了查看什么样的外观最能满足你的需要，就不要害怕处理顺序和变量的繁琐。

最简单的透视表必须有一个数据帧和一个索引。在本例中，我们将使用“Name（名字）”列作为我们的索引。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Name"])</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 1][]

此外，你也可以有多个索引。实际上，大多数的pivot\_table参数可以通过列表获取多个值。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Name","Rep","Manager"])</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 2][]

这样很有趣但并不是特别有用。我们可能想做的是通过将“Manager”和“Rep”设置为索引来查看结果。要实现它其实很简单，只需要改变索引就可以。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep"])</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 3][]

可以看到，透视表比较智能，它已经开始通过将“Rep”列和“Manager”列进行对应分组，来实现数据聚合和总结。那么现在，就让我们共同看一下数据透视表可以为我们做些什么吧。

为此，“Account”和“Quantity”列对于我们来说并没什么用。所以，通过利用“values”域显式地定义我们关心的列，就可以实现移除那些不关心的列。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 4][]

“Price”列会自动计算数据的平均值，但是我们也可以对该列元素进行计数或求和。要添加这些功能，使用aggfunc和np.sum就很容易实现。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep"],values=["Price"],aggfunc=np.sum)</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 5][]

aggfunc可以包含很多函数，下面就让我们尝试一种方法，即使用numpy中的函数mean和len来进行计数。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep"],values=["Price"],aggfunc=[np.mean,len])</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 6][]

如果我们想通过不同产品来分析销售情况，那么变量“columns”将允许我们定义一个或多个列。

列vs.值

我认为pivot\_table中一个令人困惑的地方是“columns（列）”和“values（值）”的使用。记住，变量“columns（列）”是可选的，它提供一种额外的方法来分割你所关心的实际值。然而，聚合函数aggfunc最后是被应用到了变量“values”中你所列举的项目上。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep"],values=["Price"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;columns=["Product"],aggfunc=[np.sum])</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 7][]

然而，非数值（NaN）有点令人分心。如果想移除它们，我们可以使用“fill\_value”将其设置为0。

![format_png 8][]

其实，我觉得添加“Quantity”列将对我们有所帮助，所以将“Quantity”添加到“values”列表中。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep"],values=["Price","Quantity"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;columns=["Product"],aggfunc=[np.sum],fill_value=0)</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 9][]

有趣的是，你可以将几个项目设置为索引来获得不同的可视化表示。下面的代码中，我们将“Product”从“columns”中移除，并添加到“index”变量中。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep","Product"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;values=["Price","Quantity"],aggfunc=[np.sum],fill_value=0)</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 10][]

对于这个数据集，这种显示方式看起来更有意义。不过，如果我想查看一些总和数据呢？“margins=True”就可以为我们实现这种功能。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Rep","Product"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;values=["Price","Quantity"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;aggfunc=[np.sum,np.mean],fill_value=0,margins=True)</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 11][]

下面，让我们以更高的管理者角度来分析此渠道。根据我们前面对category的定义，注意现在“Status”是如何排序的。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Status"],values=["Price"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;aggfunc=[np.sum],fill_value=0,margins=True)</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 12][]

一个很方便的特性是，为了对你选择的不同值执行不同的函数，你可以向aggfunc传递一个字典。不过，这样做有一个副作用，那就是必须将标签做的更加简洁才行。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p>pd.pivot_table(df,index=["Manager","Status"],columns=["Product"],values=["Quantity","Price"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;aggfunc={"Quantity":len,"Price":np.sum},fill_value=0)</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 13][]

此外，你也可以提供一系列的聚合函数，并将它们应用到“values”中的每个元素上。

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p>table&nbsp;=&nbsp;pd.pivot_table(df,index=["Manager","Status"],columns=["Product"],values=["Quantity","Price"],</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;aggfunc={"Quantity":len,"Price":[np.sum,np.mean]},fill_value=0)</p> <p>table</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 14][]

也许，同一时间将这些东西全都放在一起会有点令人望而生畏，但是一旦你开始处理这些数据，并一步一步地添加新项目，你将能够领略到它是如何工作的。我一般的经验法则是，一旦你使用多个“grouby”，那么你需要评估此时使用透视表是否是一种好的选择。

## 高级透视表过滤 ##

一旦你生成了需要的数据，那么数据将存在于数据帧中。所以，你可以使用自定义的标准数据帧函数来对其进行过滤。

如果你只想查看一个管理者（例如Debra Henley）的数据，可以这样：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>table.query('Manager == ["Debra Henley"]')</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 15][]

我们可以查看所有的暂停（pending）和成功（won）的交易，代码如下所示：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p>table.query('Status == ["pending","won"]')</p> </td> 
  </tr> 
 </tbody> 
</table>

![format_png 16][]

这是pivot\_table中一个很强大的特性，所以一旦你得到了你所需要的pivot\_table格式的数据，就不要忘了此时你就拥有了pandas的强大威力。

The full [notebook][] is available if you would like to save it as a reference.

如果你想将其保存下来作为参考，那么这里提供[完整的笔记][Link 1]（[https://pbpython.com/pandas-pivot-table-explained.html][Link 1]）。

## 备忘单 ##

为了试图总结所有这一切，我已经创建了一个备忘单，我希望它能够帮助你记住如何使用pandas的pivot\_table。

![format_png 17][]

图画的很经典，可以对比图，加强记忆，但是更好的是通过大量的实践来练习。

转载：[https://www.cnblogs.com/onemorepoint/p/8425300.html][https_www.cnblogs.com_onemorepoint_p_8425300.html]

[pivot_table]: http://pandas.pydata.org/pandas-docs/stable/generated/pandas.tools.pivot.pivot_table.html
[wikipedia]: http://en.wikipedia.org/wiki/Pivot_table
[Excel]: https://pbpython.com/extras/sales-funnel.xlsx
[format_png]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzkyOGhiNWoyMG1xMDVwcTNwLmpwZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3MS5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzkxdWVlOWoyMG1vMGQxanNuLmpwZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3MS5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzkxZHZuamoyMG1wMGQyZGhvLmpwZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3NC5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzkwdWg3aWoyMG1uMDZsM3ozLmpwZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzkwZGhucGoyMG1sMDZsZ2x4LmpwZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh6cW9qb2oyMG1vMDZtanJwLmpwZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3MS5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh6NXh6ZmoyMG1vMDdrdDk1LmpwZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3MS5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh5a2F5Z2oyMG1wMDhpcTNuLmpwZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh4d2hhcWoyMG1wMDhrcTNsLmpwZw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh3bmdlbGoyMG1wMGJrbXkzLmpwZw?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh2eXdvcWoyMG1wMGV3ZGd2LmpwZw?x-oss-process=image/format,png
[format_png 11]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3Mi5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh2ZXd2NWoyMG1tMGZyNzYyLmpwZw?x-oss-process=image/format,png
[format_png 12]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh1cmgxb2oyMG1wMGJhM3ozLmpwZw?x-oss-process=image/format,png
[format_png 13]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3NC5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh1NW02ZGoyMG1xMGFlbXk2LmpwZw?x-oss-process=image/format,png
[format_png 14]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3Mi5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh0b2E3cGoyMG1yMGJhanNrLmpwZw?x-oss-process=image/format,png
[format_png 15]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3My5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzh0M2U5Y2oyMG15MDdsMHRnLmpwZw?x-oss-process=image/format,png
[format_png 16]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3MS5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlbzhzb2N0Z2oyMG12MDdsM3o5LmpwZw?x-oss-process=image/format,png
[notebook]: http://nbviewer.ipython.org/url/pbpython.com/extras/Pandas-Pivot-Table-Explained.ipynb
[Link 1]: https://pbpython.com/pandas-pivot-table-explained.html
[format_png 17]: https://imgconvert.csdnimg.cn/aHR0cDovL3d3NC5zaW5haW1nLmNuL213NjkwLzY5NDFiYWViZ3cxZXFlb2NkNGI1aGoyMGkwMG5yZGlhLmpwZw?x-oss-process=image/format,png
[https_www.cnblogs.com_onemorepoint_p_8425300.html]: https://www.cnblogs.com/onemorepoint/p/8425300.html