轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.10 Hive并行执行的适用场景

雨点打透心脏的1/2处 2024-03-16 12:51 19阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.10 Hive并行执行的适用场景

![在这里插入图片描述][226bac757efd46dfa97ac3881ab58dfc.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.10 Hive并行执行的适用场景 ######

官网属性文档：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

`hive.exec.parallel`

![在这里插入图片描述][37d79317be9a4d5196949f9554d61e46.png_pic_center]

默认是false，

![在这里插入图片描述][1573979a2c6042b1bc6da81cd7030a3b.png_pic_center]

这个参数的作用：

Whether to execute jobs in parallel. Applies to MapReduce jobs that can run in parallel, for example jobs processing different source tables before a join. As of [Hive 0.14][], also applies to move tasks that can run in parallel, for example moving files to insert targets during multi-insert.

是否并行执行作业。适用于可以并行运行的MapReduce作业，例如在连接之前处理不同源表的作业。从[Hive 0.14][]开始，也适用于可以并行运行的移动任务，例如在多插入期间将文件移动到插入目标。

【并行执行】

select 
    ...
    from
    (
    (select xxxx from t group by a)
    join
    (select xxxx from t1 group by b)
    join
    (select xxxx from t2 group by c)
    ) on ....

这样一个语句，子语句之间好像并没有必然的依赖的关系，谁先谁后都可以

即：

*  一个hive ql可能会被翻译成多个mr作业，
 *  多个mr作业之间并不是相互依赖的
 *  如果**集群资源够**的话，我们就可以开启并行执行这个功能【速度会更快】

还有个设置多少个作业并行的参数：

`hive.exec.parallel.thread.number`

![在这里插入图片描述][15807e2bf8e64690be17adbf8c313504.png_pic_center]

默认是8

[226bac757efd46dfa97ac3881ab58dfc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c9c436907ceb4dd9b76e153d6b940aa3.png
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[37d79317be9a4d5196949f9554d61e46.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/de34bf24508742ab824ce700736c6d01.png
[1573979a2c6042b1bc6da81cd7030a3b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/23574ea545e14d14971e2617628ec9e7.png
[Hive 0.14]: https://issues.apache.org/jira/browse/HIVE-8042
[15807e2bf8e64690be17adbf8c313504.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e5f51a082c0341d68b26449d1ac0e791.png