hive partition维护

ゞ浴缸里的玫瑰 2021-06-22 15:38 476阅读 0赞

在创建hive表时，可以指定分区，如下创建了一个按天、小时分区的表：

CREATE EXTERNAL TABLE `test`(
      `name` string,
      `uri` string,
      `reqMethod` string,
      `status` int) 
    PARTITIONED by (
      `dt` string, 
      `hour` string) 
    LOCATION '/data/test'

接下来，我们在hdfs上按照如下目录结构写入数据：

hadoop fs -ls /data/test/dt=2020-08-20/hour=09

写入数据后是无法通过sql从hive表中查询到数据的，因为分区信息没有添加到hive中。我们可以使用如下命令添加分区：

hive> alter table $TABLE add partition (dt ='2020-08-20',hour='09');

如果分区特别多，使用上面命令按个添加就非常麻烦，所以，可以使用如下命令一次添加完：

msck repair table test;

添加完分区后，我们就可以通过sql按照分区数据查hive表了。

可以通过如下命令查看分区信息：

hive> show partitions test;
    OK
    dt=2020-07-24/hour=00
    ...

另外，假设数据只需要保留3天，我们可以通过cron定时执行如下命令：

#!/bin/bash
    
    if [ $# -eq 0 ];
    then
    	DT=`date -d"3 days ago" +'%F'`
    else
    	DT=$1
    fi
    
    hadoop fs -rm -r -skipTrash /data/test/flink/abc/dt=$DT

需要注意的是，通过上述命令在hdfs上直接删除了数据文件，这时再使用msck命令创建hive分区时，会出现如下提示：

hive> msck repair table test;
    OK
    Partitions missing from filesystem:	test:dt=2020-07-29/hour=00	test:dt=2020-07-29/hour=01	...
    Time taken: 1.37 seconds, Fetched: 1 row(s)

原因是我们直接在hdfs上删除了数据文件，hive的meta信息中仍然保存了partition相关信息，而msck命令不会自动删除不存在数据的分区信息，只会添加分区信息。

在hive3.0中msck命令支持删除partition信息，例如：

MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS]

发表评论取消回复

表情：

评论列表（有 0 条评论，476人围观）

还没有评论，来说两句吧...

相关阅读

相关【Hive-Partition】Hive添加分区及修改分区location

【Hive-Partition】Hive添加分区及修改分区location 1）整表修复数据 2）单独分区修复当我们在 Hive 中创建外表时，需要映射

柔光的暖阳◎/ 2023年10月13日 11:13/ 0 赞/ 28 阅读

相关 hive分区partition介绍

一、简要概述 1. Hive分区更方便于数据管理，常见的有时间分区和业务分区。二、hive分区原理通过实例来理解Hive分区的原理：（一）多分区操作： 1.

快来打我*/ 2022年10月25日 00:48/ 0 赞/ 234 阅读

相关 hive分区（partition）简介

一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。

本是古典何须时尚/ 2022年09月19日 01:58/ 0 赞/ 197 阅读

相关 hive OVER(PARTITION BY)函数用法

[OVER(PARTITION BY)函数用法][OVER_PARTITION BY] 2010年10月26日 OVER(PARTITION BY)函数介绍开窗函数

你的名字/ 2022年07月14日 02:12/ 0 赞/ 244 阅读

相关 Hive partition 分区表

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通

迈不过友情╰/ 2022年04月25日 04:14/ 0 赞/ 332 阅读

相关 Hive Partition简介

一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。

怼烎@/ 2022年03月28日 17:38/ 0 赞/ 223 阅读

相关 Hive Partition简介

一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念

你的名字/ 2022年03月28日 17:37/ 0 赞/ 227 阅读

相关 Hive：Alter Table/Partition/Column

Alter Table/Partition/Column Alter Table 修改表 Rename Table 重命名表

我就是我/ 2022年03月19日 07:20/ 0 赞/ 422 阅读

相关【转】hive分区（partition）简介

一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。

素颜马尾好姑娘i/ 2021年09月27日 07:42/ 0 赞/ 343 阅读

相关 hive partition维护

在创建hive表时，可以指定分区，如下创建了一个按天、小时分区的表： CREATE EXTERNAL TABLE `test`( `name` strin

ゞ浴缸里的玫瑰/ 2021年06月22日 15:38/ 0 赞/ 477 阅读