Pandas案例精进 | 自定义截断分组规则

╰+哭是因爲堅強的太久メ 2022-10-31 01:53 124阅读 0赞

![format_png][]

> 小小明：「凹凸数据」专栏作者，Pandas数据处理高手，致力于帮助无数数据从业者解决数据处理难题

## Pandas案例需求 ##

来自一位群友的需求：

![format_png 1][]

求每个level列等于2之间的level等于1或3的dwell time的和。level列碰到2断开便断开，中间等于1或3的行，对dwell time列聚合求和。

要解决这个问题，只需要自定义分组规则即可。

## 数据处理流程 ##

首先，我们读取测试数据：

import pandas as pd
    
    df = pd.read_csv("20200922-02.csv")
    df

<table> 
 <thead> 
  <tr> 
   <th><br></th> 
   <th>level</th> 
   <th>dwell time</th> 
   <th>dwell time of level 1+3</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>2</td> 
   <td>7.8750</td> 
   <td>NaN</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>3</td> 
   <td>0.9065</td> 
   <td>NaN</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>2</td> 
   <td>4.0000</td> 
   <td>NaN</td> 
  </tr> 
  <tr> 
   <td>...</td> 
   <td>...</td> 
   <td>...</td> 
   <td>...</td> 
  </tr> 
  <tr> 
   <td>13095</td> 
   <td>3</td> 
   <td>2.6250</td> 
   <td>NaN</td> 
  </tr> 
  <tr> 
   <td>13096</td> 
   <td>1</td> 
   <td>3.2500</td> 
   <td>NaN</td> 
  </tr> 
  <tr> 
   <td>13097</td> 
   <td>3</td> 
   <td>2.2500</td> 
   <td>NaN</td> 
  </tr> 
 </tbody> 
</table>

13098 rows × 3 columns

为了排除level等于其他数值的数据的干扰，我们取出只需要处理的数据：

df.query('level in (1,2,3)', inplace=True)

13030 rows × 3 columns

开始计算分组id：

group_ids = []
    num = 0
    for i, level in df.level.iteritems():
        if level == 2:
            num += 1
            group_ids.append(None)
        else:
            group_ids.append(num)
    group_ids[:20]

结果：

[None, 1, None, 2, 2, None, 3, 3, 3, 3, 3, 3, None, 4, 4, None, 5, 5, None, 6]

只需要将不参与分组的对应行置为None即可，最终聚合结果将为空值。

计算结果：

df['dwell time of level 1+3'] = df.groupby(group_ids)['dwell time'].transform('sum')
    df

结果：

![format_png 2][]

已经顺利计算出结果，但如果严格要求聚合结果只出现在每组最后一行，计算过程就稍微麻烦一点。

主要是需要在计算分组序号的同时，保存结果行的位置，完整代码如下：

df = pd.read_csv("20200922-02.csv")
    df.query('level in (1,2,3)', inplace=True)
    group_ids = []
    mask = []
    num = 0
    last_i, last_level = -1, 2
    for i, level in df.level.iteritems():
        if level == 2:
            num += 1
            group_ids.append(None)
            if last_level != 2:
                mask.append(last_i)
        else:
            group_ids.append(num)
        last_i, last_level = i, level
    if last_level != 2:
        mask.append(last_i)
    df.loc[mask,'dwell time of level 1+3'] = df.groupby(group_ids)['dwell time'].sum().values
    df

![format_png 3][]

如果要求保留level不在\[1,2,3\]范围的行，可以先只对在\[1,2,3\]范围行进行计算，最终对原始数据进行赋值。

完整代码如下：

df = pd.read_csv("20200922-02.csv")
    tmp = df.query('level in (1,2,3)')
    group_ids = []
    mask = []
    num = 0
    last_i, last_level = -1, 2
    for i, level in tmp.level.iteritems():
        if level == 2:
            num += 1
            group_ids.append(None)
            if last_level != 2:
                mask.append(last_i)
        else:
            group_ids.append(num)
        last_i, last_level = i, level
    if last_level != 2:
        mask.append(last_i)
    df.loc[mask, 'dwell time of level 1+3'] = tmp.groupby(group_ids)['dwell time'].sum().values
    df

![format_png 4][]

欢迎你在下方评论区留言，发表你的看法，给大家分享和互动！

如果大家喜欢我的文章，请动动你的小手，点个赞吧~

![format_png 5][]

**后台回复暗号「****进群****」，即刻加入读者交流群~**

![format_png 6][]

[format_png]: /images/20221024/c953b64517eb4fea89099aa0bf83d182.png
[format_png 1]: /images/20221024/25a7eafbc82249f28c8f9892ed813ed1.png
[format_png 2]: /images/20221024/64dfc35b137b4f0482576166acf663ff.png
[format_png 3]: /images/20221024/a472ef2162c44cf29d894e6cf1dd8a37.png
[format_png 4]: /images/20221024/79c88dcbbc5a4f2698f64331b0dfef72.png
[format_png 5]: /images/20221024/85e29200686844c1aae4b6ed534c0127.png
[format_png 6]: /images/20221024/3dc8fa18a694463d8ea9c3e580b91a3c.png