HIVE开启严格模式后如何使用msck修复分区

一时失言乱红尘 2022-05-12 14:16 257阅读 0赞

HIVE如何开启严格模式：hive-site.xml中添加：

<property>
    	<name>hive.mapred.mode</name>
    	<value>strict</value>
    </property>

为什么要开启严格模式？是为了防止用户执行那些可能会过多消耗集群资源的查询。  
HIVE开启严格模式后——  
(1) 查询有分区的表，必须where条件里包含分区字段，否则不予执行  
(2) 带有order by的查询必须有limit语句,否则不予执行  
(3) 会限制笛卡尔积的查询，就是说join查询中只有where而没有ON，这是不允许的，严格模式下的查询必须加上ON，下面是验证  
`hive> SELECT * FROM user_click JOIN bought WHERE user_click.planner_id = bought.planner_id; FAILED: Error in semantic analysis: In strict mode, cartesian product is not allowed. If you really want to perform the operation, +set hive.mapred.mode=nonstrict+`

但是我有某些表，它分区数不多，仍然希望通过msck repair来修复分区，怎么办？在开启了严格模式的Hive下可以通过在msck之前为当前的hive会话设置一下就可以：set hive.mapred.mode=nonstrict;  
以下是验证过程——  
选其中一个dw\_开头的数仓专用表来测试一下：在HIVE开启了严格模式的前提下是否还能使用msck  
\[hive@tony\_cluster-01 sql\]$ grep --color msck 2018-10-23.11.sql | head  
msck repair table dw\_data.`button_click`;  
msck repair table dw\_data.`_page_view`;

开始测试：  
1，在hive交互页面查看 dw\_data.button\_click

SHOW CREATE TABLE dw_data.button_click;  --查看到分区只有一个名dt
    PARTITIONED BY ( 
    40	  `dt` string)
    SHOW PARTITIONS dw_data.button_click; --查看是否有dt=2017-11-22这个分区

2，删除某一个分区,以便测试msck

ALTER TABLE dw_data.button_click DROP IF EXISTS PARTITION (dt='2017-11-22');
    SHOW PARTITIONS dw_data.button_click;  --目前没有dt=2017-11-22
     	partition
    1	dt=2017-11-23
    2	dt=2017-11-24
    3	dt=2017-11-27
    4	dt=2017-11-28

3，临时在hive会话设置“非严格模式”

[hive@tony_cluster-01 sql]$ hive -e "set hive.mapred.mode=nonstrict; msck repair table dw_data.button_click;"
    
    Logging initialized using configuration in file:/etc/hive/2.5.0.0-1245/0/hive-log4j.properties
    OK
    Partitions not in metastore:	button_click:dt=2017-11-22
    Repair: Added partition to metastore dw_data.button_click:dt=2017-11-22
    Time taken: 24.542 seconds, Fetched: 2 row(s)

说明成功执行。

4，到hive交互页面验证

SHOW PARTITIONS dw_data.button_click;
     	partition
    1	dt=2017-11-22
    2	dt=2017-11-23
    3	dt=2017-11-24
    4	dt=2017-11-27

结果：成功. 已修复了刚才删除的分区dt=2017-11-22  
结论：在HIVE开启了严格模式的前提下通过设置当前会话，可以使用msck修复分区。