对现有Hive的大表进行动态分区

Myth丶恋晨 2022-01-26 05:19 176阅读 0赞

分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围，从而提高速度。分区分为两种：静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时，是手动输入分区名称，还是通过数据来判断数据分区。对于大数据批量导入来说，显然采用动态分区更为简单方便。

\- 对现存hive表的分区

首先，新建一张我们需要的分区以后的表create table like 'origin'

然后，我们修改一下hive的默认设置以支持动态分区：

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

第二步仅在你仅使用动态分区字段做分区索引时。

然后用hive的insert命令进行插入操作。注意，除了所有列外，需要将分区的动态字段跟在后面。

INSERT OVERWRITE TABLE target PARTITION (dt)   
SELECT id,user\_id,app\_id,time,ip,substr(time,0,10) FROM origin

可以看到，动态分区的字段支持函数操作。

这样，我们得到了一张分区后的hive大表。

参考：[https://cwiki.apache.org/Hive/dynamicpartitions.html][https_cwiki.apache.org_Hive_dynamicpartitions.html]

转载地址： [http://blog.csdn.net/awayyao/article/details/7630000][http_blog.csdn.net_awayyao_article_details_7630000]

[https_cwiki.apache.org_Hive_dynamicpartitions.html]: https://cwiki.apache.org/Hive/dynamicpartitions.html
[http_blog.csdn.net_awayyao_article_details_7630000]: http://blog.csdn.net/awayyao/article/details/7630000