HIVE创建动态和静态分区表

怼烎@ 2022-02-24 12:33 294阅读 0赞

## 前言 ##

为什么需要创建分区表？我这里有一张user表，里面记录了用户的职业、年龄、职业编号的信息，当没有条件查询时，速度如下：  
![在这里插入图片描述][20190407154717749.png]  
大概2秒就可以查询完成，但是添加条件查询后，速度如下：![在这里插入图片描述][20190407154628264.png]  
可以看到，差不多需要1分钟才能得出结果，这严重影响效率，因为已经要使用MapReduce来进行计算，用explain来看下：  
select \* from user  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70]  
select \* from user where occupationid = 0  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70 1]  
为了提高效率，创建分区表就很有必要。

## 动态创建HIVE分区表 ##

0: jdbc:hive2://dn2:10000> create table p_user(id int, gender string, age int, zip string)
    . . . . . . . . . . . . .> partitioned by (occupationid int);

p\_user为分区表明，partitioned by 则是根据什么字段来进行分区，我这里是occupationid。

创建成功后，就需要将数据导入分区表：

0: jdbc:hive2://dn2:10000> insert overwrite table p_user partition(occupationid) select id,gender,age,zip,occupationid from user;

当导入完成后，可以到hdfs上面看看p\_user中是怎么存储数据的：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70 2]  
很明显，每个不同的occupationid都会单独存放在一个文件夹中，这样当以occupationid为查询条件时就只需要在某个occupationid中查找，测试下速度：  
![在这里插入图片描述][20190407160210696.png]  
1点几秒就可以完成，速度效率提升非常大，顺便explain一下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70 3]  
并没有开启Mapduce的作业。

## 静态分区表创建 ##

静态分区表和动态差不多一样，只不过在导入数据需要加上条件，如下：

0: jdbc:hive2://dn2:10000> insert overwrite table p_user partition(occupationid=22) select id,gender,age,zip,occupationid from user

静态和动态最大的区别是动态能根据occupationid的不同而创建不同的分区表，而静态则是指定创建occupationid某个值的分区，上面是occupation=22。

## 结尾 ##

分区表的使用能够提供我们的条件查询效率，但是并不是什么字段都能作为分区表的依据，像身份证号码这种有上亿个不同值是不能作为分区依据的。

## 错误 ##

若出现以下错误：

> Permission denied: user=anonymous, access=WRITE, inode="/user/anonymous":hdfs:supergroup:drwxr-xr-x

只需要输入

hadoop dfs -chmod -R 777 /user/anonymous

即可解决

[20190407154717749.png]: /images/20220224/0b04541ac46340c4a6e7cb3a4bf5d43e.png
[20190407154628264.png]: /images/20220224/3b380c975c9b4255a29ba20ffe796c06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70]: /images/20220224/11468da89d0d48d286164c9b528810de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70 1]: /images/20220224/af9b515279ce4b52b2d371bac8e78bc8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70 2]: /images/20220224/1889a1647f694e5bb624ef2e166ad5d9.png
[20190407160210696.png]: /images/20220224/ba9b154b9b3644abb03eccb8facf33ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODE2ODk0Nw_size_16_color_FFFFFF_t_70 3]: /images/20220224/db676778124344f0b90b5750a3052b25.png