轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.15 场景之groupby的数据倾斜解决方案

淩亂°似流年 2024-03-16 12:52 31阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.15 场景之groupby的数据倾斜解决方案

![在这里插入图片描述][6d56f339ce15468fbea824f130f53260.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.15 场景之groupby的数据倾斜解决方案 ######

【解决数据倾斜的终极方案】先打散再聚合。

![在这里插入图片描述][a1c90c560199438ab67559a525d2c8f0.png_pic_center]

在map 出来的key 中，我们加个随机数前缀，然后reducer 算完后，再开map ，得到真正的key ，最后再来一个reduce ，完成

![在这里插入图片描述][a9157bc1849d4fa0b56fca691441fe3d.png_pic_center]

【group by 的场景】

官网文档：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

![在这里插入图片描述][4ebcf37186094d34bcbe55c0896c0ca9.png_pic_center]

这个参数决定数据存在倾斜是否优化 group by 查询。默认是不优化

我们把它设置为true `set hive.groupby.skewindata=true;` 【其实就这样设置一下就完成了我们先打散再聚合的操作】

除了这个上面还有一个`hive.map.aggr` ，是否在 Hive Group By 查询中使用映射端聚合。

【测试】

![在这里插入图片描述][b6bdf51ffa8648189708edc01078b306.png_pic_center]

先看false的 情况

执行：【执行计划】

explain select deptno from emp group by deptno;

![在这里插入图片描述][c5ec5531eb18473b9f4099d5c8fa774a.png_pic_center]

一共两个`Stage`

如果设置为`true` 后

![在这里插入图片描述][05d8d9ef342f4887b23b23eac22dd569.png_pic_center]

再试一次

![在这里插入图片描述][1bb25f61980e40cebcde96ddbfbfeecd.png_pic_center]

这次开了三个`Stage`， 多了一个，说明它加了一层作业

OK，改回false，直接执行语句：

select deptno from emp group by deptno;

![在这里插入图片描述][79667f991cc7422aa066b45142582e7a.png_pic_center]

![在这里插入图片描述][00846da1bdb84f6185ca007f4edf1cf5.png_pic_center]

总共一个

设置为`true`，再看一次

![在这里插入图片描述][4e3c897018fa4e0d89d0d73e888fd3bb.png_pic_center]

![在这里插入图片描述][f12f794b1fb74bf5bc9d6d5b0b391ffd.png_pic_center]

没问题，多了一个【当然最后我们还是要看性能，不是说job 越多就越好】

还是要在真正的海量数据情况下，才看看效果。

[6d56f339ce15468fbea824f130f53260.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e535736a1015487f9240ebf14aef2208.png
[a1c90c560199438ab67559a525d2c8f0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a5e2661810e542499ac89efa0935616f.png
[a9157bc1849d4fa0b56fca691441fe3d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6b1db21432814d3eaf2f8d8568a8a661.png
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[4ebcf37186094d34bcbe55c0896c0ca9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3a201789bf9d42e1b8bd45ab6ee88b27.png
[b6bdf51ffa8648189708edc01078b306.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9fe8047333e34edeb7887f837846b033.png
[c5ec5531eb18473b9f4099d5c8fa774a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c758f4b772aa4510b0368f5df4d82647.png
[05d8d9ef342f4887b23b23eac22dd569.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/57b9097d917247a9afbc17b6f41ccbee.png
[1bb25f61980e40cebcde96ddbfbfeecd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f42be5d261b2413dac0a2fd653bb8e1e.png
[79667f991cc7422aa066b45142582e7a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6d4abcde6ace48de9ab7152029e71962.png
[00846da1bdb84f6185ca007f4edf1cf5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/246a8ef7963e4dff919aa842560843e3.png
[4e3c897018fa4e0d89d0d73e888fd3bb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3c1d4495fe8f4792b5556ec3f4d07c48.png
[f12f794b1fb74bf5bc9d6d5b0b391ffd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3e73a0d893c44ecea441dd619d5d434d.png