轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.16 场景之count(distinct)的数据倾斜解决方案

秒速五厘米 2024-03-16 12:52 26阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.16 场景之count(distinct)的数据倾斜解决方案

![在这里插入图片描述][b40990acb25748a7851278b2af9b34f5.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.16 场景之count(distinct)的数据倾斜解决方案 ######

【count(distinct xxx)】 即对某字段去重后，再进行计数，我们在MR 中做过

看份数据：`page_views.dat`

这里老师并没有给到源数据，就只能看着老师操作一下了

![在这里插入图片描述][0c75824ae3d64888b4c0221707490e4a.png_pic_center]

解释：`时间 url sessionid reference从哪儿跳过来的 ip user cd`

创建表并加载数据 + 查一下：

create table page_views(
    url string,
    session_id string,
    referer string,
    ip string,
    end_user_id string,
    city string
    )row format delimited fields terminated by '\t';
    
    
    load data local inpath '/home/hadoop/data/page_views.dat' into table page_views;
    
    select * from page_views;

![在这里插入图片描述][8779f088b01944dbb9a24fb7f4b4aa00.png_pic_center]

运行语句：`select count(distinct city) from page_views;`

![在这里插入图片描述][0b8521a170a14f3e8111759b204eca78.png_pic_center]

一个作业进行处理

![在这里插入图片描述][220e39a2e24746f682111718b122fdef.png_pic_center]

而且这种语句是不能靠直接修改reducer 数量进行修改的，因为没用

这种只能修改语句本身

select count(1)
    from
    (
    select city from page_views group by city
    ) t;

这样就可以了

![在这里插入图片描述][19f28bdb332242818da59a95144084a6.png_pic_center]

这样写开了两个作业，并且第一个用了5 个reducer ，第二个作业

![在这里插入图片描述][035ee9077b674b57a684def24725422d.png_pic_center]

这样也是可以的。

[b40990acb25748a7851278b2af9b34f5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9977de00d22d42859174070a9091f651.png
[0c75824ae3d64888b4c0221707490e4a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/31c86a5fdf014ab4bc445119faa5d880.png
[8779f088b01944dbb9a24fb7f4b4aa00.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4afc18feffdf446c97d0626055877f8e.png
[0b8521a170a14f3e8111759b204eca78.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/440cd27c94604f25949fb6eecf03347c.png
[220e39a2e24746f682111718b122fdef.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1dd2bb0c873b4fb691148e9351038eaa.png
[19f28bdb332242818da59a95144084a6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/87d6a33919fe418e906464582d2be235.png
[035ee9077b674b57a684def24725422d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2cedfe9e09364ee4b6d8c206940b7216.png