轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.11 Hive推测式执行为我们带来的利弊

迷南。 2024-03-16 12:51 42阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.11 Hive推测式执行为我们带来的利弊

![在这里插入图片描述][187a9a221af14c328a64c13028d89e26.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.11 Hive推测式执行为我们带来的利弊 ######

先来看个图：

![在这里插入图片描述][5050bcc525fa41798ec1137d392090a1.png_pic_center]

这里我们有一个集群，里面有6 个节点

MapTask、ReduceTask 都是跑在NM 上的container 容器中

假设当前

![在这里插入图片描述][75f2a6449c45466881d242ef7a93748d.png_pic_center]

有三个作业在1、2、3 节点上跑

并假设

*  作业1 一分钟可以跑完
 *  作业2 两分钟可以跑完
 *  作业3 二十分钟可以跑完

整个作业跑完所需要耗费的时间是由最慢的一个task 来决定的【20分钟】

【这就是木桶原理/ 短板效应】

一个Node 负载比较高：可能是跑的有其他作业，也有可能这个作业数据倾斜(key 不够分散，key 的数据量特别大)

这样整个作业如何还是交给一个reduce 进行处理，就会导致可能跑的完但是很慢，也有可能直接跑挂。

所以不管是MR、Hive、Spark → 有了推测式执行的概念

官网文档：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

![在这里插入图片描述][15edf9db435b4bb89713f9b2da5fdc5a.png_pic_center]

`hive.mapred.reduce.tasks.speculative.execution`

这个参数就是是否开启推测式执行，默认是true

![在这里插入图片描述][0ad009a65b9041a394745058221d9aea.png_pic_center]

【机制】

假设task 在3 上已经跑了一定时间(有阈值)了，这个时候会在另外一个节点

![在这里插入图片描述][45d5e3f1a1c540e5b01c52cb0342e5d0.png_pic_center]

比如说5 ，也启动一个相同的task

此时3 和 5 节点上的container 里面跑的task 是一样的，谁先跑完，就以谁的结果为准，然后干掉另外一个没有跑完的task 。

但是这个功能也有一定的适用场景：

如果某个task 数据是倾斜的，在另外一个节点再启一个，同样也是一样的，该跑挂的还是要跑挂。

→ 恶性循环。

[187a9a221af14c328a64c13028d89e26.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2a960e75408a4d6aae237d6aebf3ef0a.png
[5050bcc525fa41798ec1137d392090a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/de1617d50c8b46d792f02b2e01070d75.png
[75f2a6449c45466881d242ef7a93748d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/24fcef029b14402395baf51c5f3d737e.png
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[15edf9db435b4bb89713f9b2da5fdc5a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/443c0e2648844fc4a323f50a0e4c919f.png
[0ad009a65b9041a394745058221d9aea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7adb182b51ef4a63b7679b5a3d68878d.png
[45d5e3f1a1c540e5b01c52cb0342e5d0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/bee08858252d4c22be8f5c0fbf04241b.png