轻松入门大数据第10章入门到进阶：如何快速掌握Hive核心函数 10.1 Hive函数 10.1.13 【重要必掌握】动手实操场景题之使用Hive完成wc词频统计

骑猪看日落 2024-03-16 11:33 20阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第10章 入门到进阶：如何快速掌握Hive核心函数
         *   *  10.1 Hive函数
             *   *  10.1.13 【重要必掌握】动手实操场景题之使用Hive完成wc词频统计

![在这里插入图片描述][24aa7a2a4bc8477198ffca7fc18f7f44.png_pic_center]

#### 第10章 入门到进阶：如何快速掌握Hive核心函数 ####

##### 10.1 Hive函数 #####

> 1.  复杂数据类型
> 2.  Hive内置函数
> 3.  Hive UDF函数
> 4.  窗口分析函数
> 5.  SQL场景题

###### 10.1.13 【重要必掌握】动手实操场景题之使用Hive完成wc词频统计 ######

**使用hive完成wc统计** \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*【重要】

数据 `hive-wc.txt`

hello,hello,hello
    world,world
    welcome

![在这里插入图片描述][00f6437c27234b7886d14b589107672c.png_pic_center]

创建表并加载数据，并进行查询：

create table hive_wc(
    sentence string
    );
    
    load data local inpath '/home/hadoop/data/hive-wc.txt' into table hive_wc;
    
    select * from hive_wc;

![在这里插入图片描述][40f73ad11fd14c7dba2d4fa0f2c71e2b.png_pic_center]

没问题，编写查询：

select word ,count(1) cnt
    from
    (
    select explode(split(sentence,',')) as word from hive_wc
    ) t
    group by word
    order by cnt desc;

![在这里插入图片描述][db3026b9e5ed4af6a0fdb1e1cf052b77.png_pic_center]

这个也会跑MR 作业

![在这里插入图片描述][2b893a4b16d040808cb277ec20a417ae.png_pic_center]

没问题。

[24aa7a2a4bc8477198ffca7fc18f7f44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/099d76860d90441387bf7a6af8f17ea7.png
[00f6437c27234b7886d14b589107672c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1ee6f15a076c47569c7be6304d0dd98f.png
[40f73ad11fd14c7dba2d4fa0f2c71e2b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ae2055515e6c44809b3b8056db9a81bf.png
[db3026b9e5ed4af6a0fdb1e1cf052b77.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7edfe44b589e43d9abee2de248ccf04b.png
[2b893a4b16d040808cb277ec20a417ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/82633e63ac334cb1a2e7e373bc62a995.png