hive msck repair

亦凉 2022-12-12 04:57 177阅读 0赞

***msck repair table tablename***

修复表分区，常用于手动复制目录到hive表的location下，此时Hive元数据中没有记录到该目录是hive的分区，所以查不到该分区数据。

表test\_tbl，存储路径为/user/hive/warehouse/test\_tbl，分区字段为pt，正常添加分区是这样的：

*alter table add if not exist partition (pt='20190101');*

然后在hdfs中表的存储目录下会生成分区目录/user/hive/warehouse/test\_tbl/pt=20190101，此时无论是往该目录新增数据文件还是往hive中insert数据，之后都可以在hive中查到该分区的数据。

但如果直接将一个文件夹名为pt=20190201的上传至hdfs的/user/hive/warehouse/test\_tbl/路径下，在hive中是查不到分区pt='20190201'的数据的，就如前面所说，hive的metadata中没有记录到分区20190201这个分区，因此需要执行msck repair table命令修复。

此命令也常用于distcp数据之后修复表分区。

例子：

建表语句：  
CREATE TABLE \`dwa\_w\_mrt\_e\_two\_time\_length\_report\`(   
\`province\_name\` string COMMENT '省份',               
\`city\_name\` string COMMENT '地市',                   
\`channel\_name\` string COMMENT '厅名称',               
\`channel\_id\` string COMMENT '厅编码',                 
\`wait\_time\_avg\` string COMMENT '平均等待时长',           
\`total\_num\_take\` string COMMENT '取号总量',            
\`wait\_time\_30\` string COMMENT '30≤时长-等待',          
\`wait\_time\_15\` string COMMENT '30<时长≤15-等待',       
\`wait\_time\_10\` string COMMENT '15<时长≤10-等待',       
\`wait\_time\_5\` string COMMENT '10<时长≤5-等待',         
\`wait\_time\_4\` string COMMENT '时长<5-等待',            
\`counter\_time\_avg\` string COMMENT '平均临柜时长',        
\`total\_num\_call\` string COMMENT '叫号总量',            
\`counter\_time\_30\` string COMMENT '30≤时长-临柜',       
\`counter\_time\_15\` string COMMENT '30<时长≤15-临柜',    
\`counter\_time\_10\` string COMMENT '15<时长≤10-临柜',    
\`counter\_time\_5\` string COMMENT '10<时长≤5-临柜',      
\`counter\_time\_4\` string COMMENT '时长<5-临柜')         
COMMENT '进厅用户双时长报表-日报表'                            
PARTITIONED BY (                                    
\`month\_id\` string COMMENT '月',                     
\`day\_id\` string COMMENT '日')                    
ROW FORMAT SERDE                                     
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'    
WITH SERDEPROPERTIES (                             
'field.delim'=',',                                
'serialization.format'=',')                        
STORED AS INPUTFORMAT                              
'org.apache.hadoop.mapred.TextInputFormat'       
OUTPUTFORMAT                                     
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'  
TBLPROPERTIES (                                 
'classification'='AL',                          
'createdate'='2020-09-26',                       
'creator'='王洪峰',                               
'cycle'='W',                                     
'domain'='RES',                                 
'email'='jc-wanghf2@chinaunicom.cn',           
'entity'='RES',                            
'last\_modified\_by'='jc-zhangr',             
'last\_modified\_time'='1596693791',       
'layer'='dwa\_db',                      
'process'='USE',                       
'transient\_lastDdlTime'='1601195416')

数据库：zbg\_dwa  
表名：dwa\_w\_mrt\_e\_two\_time\_length\_report  
hdfs表路径：hdfs://nameservice1/inceptor1/user/hive/warehouse/zbg\_dwa.db/jc\_zb\_caiji/dwa\_w\_mrt\_e\_two\_time\_length\_report  
本地路径：/home/jc\_zb\_caiji/dwa\_w\_mrt\_e\_two\_time\_length\_report/month\_id=202009/day\_id=27  
ip,用户,密码：10.161.17.118   jc\_zb\_caiji   udme@2020  
beeline登录语句：beeline -u jdbc:hive2://10.161.17.108:6666/default -n jc\_zb\_caiji -p udme@2020

操作流程：  
1. hdfs dfs -put -f /home/jc\_zb\_caiji/dwa\_w\_mrt\_e\_two\_time\_length\_report/month\_id=202009/day\_id=27   hdfs://nameservice1/inceptor1/user/hive/warehouse/zbg\_dwa.db/jc\_zb\_caiji/dwa\_w\_mrt\_e\_two\_time\_length\_report/month\_id=202009  
2. beeline -u jdbc:hive2://10.161.17.108:6666/default -n xxx -p xxx  
3. use zbg\_dwa;  
4. msck repair table dwa\_w\_mrt\_e\_two\_time\_length\_report;  
查询语句：  
select \* from dwa\_w\_mrt\_e\_two\_time\_length\_report where month\_id='202009'and day\_id='27' limit 10;