轻松入门大数据第11章入门到进阶：如何快速学会Hive调优 11.1 Hive调优 11.1.4 Hive严格模式带来的好处

短命女 2024-03-16 12:11 21阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第11章 入门到进阶：如何快速学会Hive调优
         *   *  11.1 Hive调优
             *   *  11.1.4 Hive严格模式带来的好处

![在这里插入图片描述][c828b2f29f414ca4b13b94a39c2b979b.png_pic_center]

#### 第11章 入门到进阶：如何快速学会Hive调优 ####

##### 11.1 Hive调优 #####

> 1.  抓取策略
> 2.  严格模式
> 3.  本地模式
> 4.  排序
> 5.  推测执行
> 6.  Mapper和Reducer个数设置
> 7.  数据倾斜

###### 11.1.4 Hive严格模式带来的好处 ######

官网文档：[https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties][https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]

![在这里插入图片描述][9ed6fa201f6c4e3bb0c340af89fe73d7.png_pic_center]

`hive.mapred.mode`

两个值：

*  Hive 0.x: `nonstrict`
 *  Hive 1.x: `nonstrict`
 *  Hive 2.x: `strict` ([HIVE-12413][])

看下现在的

![在这里插入图片描述][28a26240371e4f1899990353230c3047.png_pic_center]

现在默认要自己添加，没有定义

执行 Hive 操作的模式。在严格模式下，一些有风险的查询是不允许运行的。例如，全表扫描被阻止（参见 HIVE-10454）并且 ORDER BY 需要 LIMIT 子句。【不然数据太多会很危险】

试试严格模式：`set hive.mapred.mode=strict;`

然后试试执行一个没有`limit` 的`order by`

select * from emp order by empno;

![在这里插入图片描述][0b02f708f90b4333b53105842ad3950d.png_pic_center]

直接就报错了，因为我们用了`order by` 但是没用`limit`

还有在连接查询的时候，如果没有写连接条件

select * from emp e join dept d;

![在这里插入图片描述][9bac8e4f79254c85bb067dbc0ec21fad.png_pic_center]

也是直接报错了【这样写是求出笛卡尔积 的意思】，这是严格模式不允许的

还有比如在分区表上进行查询但是你又不指定分区作为条件

select * from dept_partition;

![在这里插入图片描述][2e4a1edb409a4803a49c0bfd9f4cadd5.png_pic_center]

这也是严格模式不允许的

[c828b2f29f414ca4b13b94a39c2b979b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/79d8d8275d124016be5943ac468ab037.png
[https_cwiki.apache.org_confluence_display_Hive_Configuration_Properties]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[9ed6fa201f6c4e3bb0c340af89fe73d7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/31f24eec56ee42f8bc0c8f302f6ad79a.png
[HIVE-12413]: https://issues.apache.org/jira/browse/HIVE-12413
[28a26240371e4f1899990353230c3047.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ad4f050d163c48f7a332c8639e9944b1.png
[0b02f708f90b4333b53105842ad3950d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dc639432595d4beeb0ead44a97a61284.png
[9bac8e4f79254c85bb067dbc0ec21fad.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3a5503a904e64f409a8f044c6ce7af8c.png
[2e4a1edb409a4803a49c0bfd9f4cadd5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/16576ffdf4d44c38884bf2b759a73ee7.png