轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.3 Hive作业如何以本地方式运行

红太狼 2024-03-16 12:11 4阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.3 Hive作业如何以本地方式运行

![在这里插入图片描述][0dca69338ea049da88f96c0f1e5d76fc.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.3 Hive作业如何以本地方式运行 ######

我们来个语句：`select deptno,count(1) cnt from emp group by deptno;`

![在这里插入图片描述][5967f49368fe4c268c1a6ee6017bcf30.png_pic_center]

它会跑MR

![在这里插入图片描述][daf507d455b2415b8362128e467a6866.png_pic_center]

33s 出结果了

如果数据多了，交给yarn，理所当然，但是我们这里就这么十来条数据，还是搞了个MR，即不太舒服了

能不能快点？

官网文档：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

![在这里插入图片描述][dd3627678f1c48c1ba847664a8b24759.png_pic_center]

`hive.exec.mode.local.auto`

默认值false，让 Hive 确定是否自动以本地模式运行。

改成`true`

![在这里插入图片描述][34747f05ea49490aa9040ee59d3f0d06.png_pic_center]

麻瓜了，把日志开开看看

换成`cli` 就出来了

![在这里插入图片描述][597135a3f9c44f68a1d8410750c95039.png_pic_center]

可以看到为`true` 时，它走的是本地的Hadoop 即本地跑的。

还有个参数`hive.exec.mode.local.auto.inputbytes.max`

![在这里插入图片描述][74cae2dee876451bafc4d5c60de9eeed.png_pic_center]

这个参数可以规定输入的最大的数据量，100M +。即就算我们上面开关打开了，它还是会判断我们的数据量有多大。太大的话，还是会走MR。

然后还有一个控制`task` 数量的

`hive.exec.mode.local.auto.tasks.max`

![在这里插入图片描述][74554893da6848ceb6c7c6e0e5140ed5.png_pic_center]

还有个控制输入文件数：`hive.exec.mode.local **.auto.input.files.max**`

![在这里插入图片描述][668a6caacb544b92be8f37f1a29930c5.png_pic_center]

【小结】

*  本地模式 hive.exec.mode.local.auto 开关
    
     *  最大输入数据量
     *  最大task个数
     *  最大输入文件个数

[0dca69338ea049da88f96c0f1e5d76fc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/25575ec53b3f49169cb8cbde0d1b1896.png
[5967f49368fe4c268c1a6ee6017bcf30.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/35355ccf45bb4c318b0e017f3d28d3a6.png
[daf507d455b2415b8362128e467a6866.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0acc347b83fe40e79036b4fc29d836a1.png
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[dd3627678f1c48c1ba847664a8b24759.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4e46c7644712483185249db9dcf507af.png
[34747f05ea49490aa9040ee59d3f0d06.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7d3177d3adc04be699e0853ec85f2e08.png
[597135a3f9c44f68a1d8410750c95039.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/eababded01114c079f1f5926858b438e.png
[74cae2dee876451bafc4d5c60de9eeed.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8da5770e80b745278f02f4d3d6bfd387.png
[74554893da6848ceb6c7c6e0e5140ed5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/49932e42fdb04c409e408bc31ba3b499.png
[668a6caacb544b92be8f37f1a29930c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/76c0be086eec4e21b5abdf85ba378238.png