hive什么时候用msck修复分区

淩亂°似流年 2022-10-30 09:30 204阅读 0赞

**举个例子**  
创建分区表语法

create table dept(
    name string,age int
    )
    partitioned by (month string)
    row format delimited fields terminated by '\t';

**`插入数据方法`**

load data local inpath '/export/data/dept.txt' into table default.dept partition(month='201709');
    Loading data to table default.dept partition (month=201709)

![在这里插入图片描述][20210218193724271.png]  
**`上传数据方法`**

hadoop fs -mkdir -p  /user/hive/warehouse/dept/month=201710
    hadoop fs -put /export/data/dept.txt /user/hive/warehouse/dept/month=201710

发现没有201710的数据  
**原因:只有数据在hdfs，没有元数据**  
![在这里插入图片描述][20210218193736682.png]  
执行修复分区命令  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]

[20210218193724271.png]: /images/20221024/266b2f32b23b43f7b5eab3518a91438f.png
[20210218193736682.png]: /images/20221024/4c99214acec64380be4d603e5c7699dd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ2NTQ4ODU1_size_16_color_FFFFFF_t_70]: /images/20221024/a1384d61bb9e4ad4bcb5ef88dacecea5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，204人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive的msck repair命令

msck repair table tablename 修复表分区，常用于手动复制目录到hive表的location下，此时Hive元数据中没有记录到该目录是hive的分区，

今天药忘吃喽~/ 2023年05月29日 02:44/ 0 赞/ 5 阅读

相关什么时候需要创建分区表

什么时候需要创建分区表 > 分区表的目的是为了分散数据，将目录中的数据，在次分散到多个分区目录 > > 因此数据量大时可以考虑分区 > 如果在查询时，经常按

朱雀/ 2023年01月02日 12:22/ 0 赞/ 123 阅读

相关 hive msck repair

msck repair table tablename 修复表分区，常用于手动复制目录到hive表的location下，此时Hive元数据中没有记录到该目录是hive的分区，

亦凉/ 2022年12月12日 04:57/ 0 赞/ 180 阅读

相关 hive什么时候用msck修复分区

举个例子创建分区表语法 create table dept( name string,age int ) partitioned by

淩亂°似流年/ 2022年10月30日 09:30/ 0 赞/ 205 阅读

相关什么时候用堆，什么时候用栈？

[点击打开链接][Link 1] 参考文章：《c++面试题之内存分配》见附录一：一、首先，回顾一下c、c++的内存分配机制。一个C、C++程序

浅浅的花香味﹌/ 2022年09月23日 03:46/ 0 赞/ 244 阅读

相关什么时候用@Resource，什么时候用@service

Spring中什么时候用@Resource，什么时候用@service 当你需要定义某个类为一个bean，则在这个类的类名前一行使用@Service(“XXX”),就相当于讲

た入场券/ 2022年07月16日 15:19/ 0 赞/ 228 阅读

相关 HIVE开启严格模式后如何使用msck修复分区

HIVE如何开启严格模式：hive-site.xml中添加： <property> <name>hive.mapred.mode</name> <

一时失言乱红尘/ 2022年05月12日 14:16/ 0 赞/ 262 阅读

相关 Hive分区修复命令MSCK介绍与使用

我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里

清疚/ 2022年02月27日 08:48/ 0 赞/ 678 阅读

相关【hive创建动态分区】使用MSCK命令修复Hive表分区

【hive创建动态分区】使用MSCK命令修复Hive表分区一、介绍我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候

电玩女神/ 2021年12月19日 00:37/ 0 赞/ 553 阅读

相关 Hive分区修复命令MSCK介绍与使用

我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里

桃扇骨/ 2021年06月24日 15:58/ 0 赞/ 431 阅读