轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.12 Hive如何设置合理的MapTask数量

￡神魔★判官ぃ 2024-03-16 12:51 5阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.12 Hive如何设置合理的MapTask数量

![在这里插入图片描述][488dc970a3e94a81b0d7efeb1e88bb9d.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.12 Hive如何设置合理的MapTask数量 ######

【关于MapTask数量的合理设置问题】

在我们讲MR 的时候就已经学到了

MapTask 的数量 是在 `FileInputFormat` 中算出来的

看到我们的工程【因为重装过(忘记拿出来了)，所以以前写过的东西，就没贴出来了，主要是看看源码】

![在这里插入图片描述][d21b628d2df6431092af5f67e81ea95d.png_pic_center]

就这个方法，计算切片数量的。

通常情况下，以128M 为例：

780   6个128 + 1个小的  == 7个MapTask
    	
    如果一个文件夹下有三个文件，那就是下面的分片总数【最大值】：
    	10m   1
    	20m    1
    	150m   2

总之，影响MapTask个数的因素：总文件个数、文件大小、block大小

MapTask ReduceTask都是以JVM进程的方式运行的

【问题】

*  MT 越多越好 ？ x
 *  一个MT接近128M就行了？ x
    
    一个大小120M的文件，但是业务非常复杂 ==> 增加MapTask数量

【总之都是一个相对问题】

演示：

现在的本地没开的情况下：

![在这里插入图片描述][263e4962369c4f0fb6d556618e06c280.png_pic_center]

执行：`select count(1) from emp;`

![在这里插入图片描述][59899758c93a4aaeab31a9e3622de4f6.png_pic_center]

![在这里插入图片描述][9bb1f31dd51b497fb56f3380b2e52390.png_pic_center]

OK， 一个mapper，一个reducer

![在这里插入图片描述][22d9081b3a914fc1aa4f2ac967fee72f.png_pic_center]

如何增加？

设置参数：`mapreduce.input.fileinputformat.split.maxsize`

默认值是：

![在这里插入图片描述][0f8cb1251aba4fd18bfa6d6dec98cd1a.png_pic_center]

我们搞小一点，比如，直接给个100

![在这里插入图片描述][4c9ea3dccab74a4b94563925cfab28d4.png_pic_center]

OK， 再试一次

![在这里插入图片描述][a6c5a1fe73b04652a45ec9f5216abdba.png_pic_center]

这次算出来就有7 个了

【当然一般在生产环境中，mapper 的数量一般我们都不会动的，知道怎么调就OK了】

[488dc970a3e94a81b0d7efeb1e88bb9d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4a440e9e7e6b45c38ce7d4b5acc2c104.png
[d21b628d2df6431092af5f67e81ea95d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/eba802b36d684244b39135d401447c65.png
[263e4962369c4f0fb6d556618e06c280.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/394e3a76e511448b9392ffc0cbb6e8df.png
[59899758c93a4aaeab31a9e3622de4f6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/21596dea705e40088161cea830a30122.png
[9bb1f31dd51b497fb56f3380b2e52390.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a16dbca58d9843008b3571de47ddcb3f.png
[22d9081b3a914fc1aa4f2ac967fee72f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7e80ba9976a74ef39d9dc2ac2eb9aaed.png
[0f8cb1251aba4fd18bfa6d6dec98cd1a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a4bfbedabdd74b8f914978073fe49c55.png
[4c9ea3dccab74a4b94563925cfab28d4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4f40418ea07b41acbbe8b056db45c2a2.png
[a6c5a1fe73b04652a45ec9f5216abdba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/51356439d8b64dc2a58f54aef7e71505.png