【python】pandas模块数据处理小案例

痛定思痛。 2023-10-08 21:16 41阅读 0赞

#### 内容目录 ####

*   *   *  1. 添加随机日期
         *  2. 聚合求和
         *  3.聚合求和排序
         *  4. 聚合求和排序取前十
         *  5. 聚合取极值
         *  6. 重新赋值
         *  7. 按条件赋值

> pandas作为数据处理的得力工具，简便了数据开发过程，之前串联了pandas的使用方法，现在用几个小案例巩固一下常用的pandas方法。

前一章节的pandas使用链接：[pandas模块的使用][pandas]  
假设有一个数据文件，是某个网站的点击、下单记录（说明：数据只是模拟案例提供使用，没有任何实际意义）

page click add pay cost		
    1516609143869 2 8 92 9

假设一行数据如上所示，分别为页面、点击、添加、支付、花费等字段，那么需要实现的功能如下。

#### 1. 添加随机日期 ####

数据缺少日期，为了模拟数据，需要对每行数据增加一个随机日期，要求：日期范围在2023-01-01 至 2023-01-15之间

# TODO 1 : 读入数据到DataFrame
    data = pd.DataFrame(pd.read_table(path, sep= ' ', header=None, names=['page','click','add','pay','cost']))

为每行数据增加一个随机日期

# TODO 2 : 增加随机日期，范围在01-01，01-15之间
    dates = pd.date_range(start='2023-01-01', end='2023-01-15', periods=len(data))
    date_rng_formatted = [date.strftime("%Y-%m-%d") for date in dates]
    
    data['dt'] = np.random.choice(date_rng_formatted, len(data))

#### 2. 聚合求和 ####

要求：按照page字段聚合，求click、add、pay的和

# TODO 3 : 每个页面的总共点击、添加、支付、花费总
    df_sum = data.groupby('page').agg({
        'click':'sum','add':'sum','pay':'sum', 'cost':'sum'})

#### 3.聚合求和排序 ####

要求：每个页面的总共点击、添加、支付、花费总量按照点击、添加、支付、花费排序

# TODO 4 : 每个页面的总共点击、添加、支付、花费总量按照点击、添加、支付、花费排序
    df_sort = data.groupby('page').agg({
        'click':'sum','add':'sum','pay':'sum', 'cost':'sum'}).sort_values(['click','add','cost'],ascending=False)

#### 4. 聚合求和排序取前十 ####

这里分为两个类别：

1.  聚合求和排序后取全部的前十

# 方法一
    # TODO 5 : 每个页面的总共点击、添加、支付、花费总量按照点击、添加、支付、花费排序,取前十
    df_sort_get = data.groupby('page').agg({
        'click':'sum','add':'sum','pay':'sum', 'cost':'sum'}).sort_values(['click','add','cost'],ascending=False).head(10)
    
    #方法二
    df_sort_get = data.groupby('page').agg({
        'click':'sum','add':'sum','pay':'sum', 'cost':'sum'}).sort_values(['click','add','cost'],ascending=False).iloc[:10]

1.  聚合求和排序后取每个分组的前十

# TODO 6 : 每个页面总共点击、添加、支付的总和排序并取组内前十
    df_group_sort_get = data.sort_values(['click','add','cost'], ascending=False).groupby('page').head(5).iloc[:,[0,1,2,3]]

#### 5. 聚合取极值 ####

要求：按照日期，取每个日期里点击量最多的记录

# TODO 7 : 求每日点击总和最多的页面并按照dt字段升序输出
    df_dt_page = data.groupby(['page','dt']).agg({
        'click':'sum'}).sort_values(['click'], ascending=False).groupby('dt').head(1).sort_values('dt')

#### 6. 重新赋值 ####

要求：将每个页面总点击数量不超过100的重新赋值为0

# TODO 8 : 将每个页面总点击数量不超过100的重新赋值为0
    data_sum = data.groupby(['page']).agg({
        'click':'sum'})
    data_sum.loc[data_sum['click']<100,'click'] = 0

#### 7. 按条件赋值 ####

要求：将每个页面总点击数量不超过100的重新赋值为0,否则为1,并赋予新列

# TODO 9 : 将每个页面总点击数量不超过100的重新赋值为0,否则为1,并赋予新列
    data_sum_tmp = data.groupby(['page']).agg({
        'click':'sum'})
    def func(x):
        if x['click'] < 100:
            return 0
        else:
            return 1
    data_sum_tmp['new_cloumn'] = data_sum_tmp.apply(func, axis=1)

> 以上列举了几个常用到的pandas处理方法，但是不够全面，在真实使用下肯定用到的方法和技巧会更多，需要多多练习和总结。

[pandas]: https://blog.csdn.net/weixin_46429290/article/details/129572297