groupBy和pivot

系统管理员 2022-12-12 15:10 87阅读 0赞

groupBy方法有两种调用方式，可以传入String类型的字段名，也可传入Column类型的对象。  
使用方法如下：

df.groupBy("user")
    df.groupBy(df("user"))

groupBy方法之后得到的是GroupedData类型对象，不能直接接show方法来展示DataFrame，还需要跟一些分组统计函数，常用的统计函数有：  
max(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的最大值，只能作用于数字型字段  
min(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的最小值，只能作用于数字型字段  
mean(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的平均值，只能作用于数字型字段  
sum(colNames: String*)方法，获取分组中指定字段或者所有的数字类型字段的和值，只能作用于数字型字段  
count()方法，获取分组中的元素个数

agg实现聚合操作：

聚合操作调用的是agg方法，该方法有多种调用方式。一般与groupBy方法配合使用。  
比如我们查找最大的id，并把所有的user值相加，这里只是为了演示代码的作用：

df.agg("id"->"max","user"->"sum").show()
    
    输出：
    +-------+---------+
    |max(id)|sum(user)|
    +-------+---------+
    |     12|     24.0|
    +-------+---------+

collect

例如下面的例子:

df.groupBy("user").max("id").show()
    df.groupBy(df("user")).max("id").show()
    
    输出：
    +----+-------+
    |user|max(id)|
    +----+-------+
    |   3|      8|
    |   1|     12|
    |   2|     10|
    +----+-------+

我们还经常想要实现一个类似excel数据透视表的功能，这里就需要用到pivot函数，比如要统计每个用户通过各种渠道下单的次数：

df.groupBy(df("user")).pivot("type").count().show()
    
    输出：
    +----+----+----+----+----+
    |user|APP1|APP2| 助手1| 助手2|
    +----+----+----+----+----+
    |   3|   2|   1|null|   1|
    |   1|   2|null|   1|   1|
    |   2|null|   1|   3|null|
    +----+----+----+----+----+