轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.14 分布式计算框架中产生倾斜的根本原因

野性酷女 2024-03-16 12:51 14阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.14 分布式计算框架中产生倾斜的根本原因

![在这里插入图片描述][e3cf070db7974dc8bfc961f5615154ae.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.14 分布式计算框架中产生倾斜的根本原因 ######

【数据倾斜】

先看个图：

![在这里插入图片描述][acace8a7c62b4daf8bf31211525642ed.png_pic_center]

当前这里有4个MT 和 3 RT

其中在计算一些数据

![在这里插入图片描述][6befc483ab2b4ae7b41d5055c0c23ab9.png_pic_center]

4 个MT 中是这样一些数据，经过map 后，reduce中数据情况是这样的

![在这里插入图片描述][d899773d977c4e32a563999d12ea0da4.png_pic_center]

这样区别就出来了，后面两个RT 因为数据量少，所以很容易很快的跑完

这样数据倾斜的情况就产生了：

某个或者某几个key 对应的数据量过大或者过于集中，由于相同的key 都是在RT 中运行的，所以会导致这些RT 运行时间会比较长，这样的情况可能引发的后果：

1.  RT 处理速度很慢，但是能跑完
2.  倾斜过于严重，根本跑不完，甚至于直接跑挂了

而且之前我们已经说到过，**只有在shuffle 时**，才会产生数据倾斜。

这就是数据倾斜情况产生的根本原因。

[e3cf070db7974dc8bfc961f5615154ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2b6b73de2e4a4ef298e57ab55ba83a03.png
[acace8a7c62b4daf8bf31211525642ed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/22802f33836745199feb4f90080ead9f.png
[6befc483ab2b4ae7b41d5055c0c23ab9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fd413b43ceae431a915c60695d33df42.png
[d899773d977c4e32a563999d12ea0da4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/52e3a6dac339482cbdbe5f40724db2a9.png