hive分区表增加字段会导致新增字段为NULL

Bertha 。 2022-02-17 00:50 433阅读 0赞

# hive分区表增加字段会导致新增字段无法显示值的BUG #

问题：

创建了hive表：

create table default.temp (id int,name string) partitioned by (logdate string);

插入数据：

insert into table default.temp partition (logdate='2019-03-01') values(1,'zhangsan'),(2,'lisi');

清空表数据：

truncate table default.temp;

新增字段：

alter table default.temp add columns (address string);

再次插入数据(注意是同上面是相同的分区情况下)：

insert into table default.temp partition (logdate='2019-03-01') values(1,'zhangsan','shanghai'),(2,'lisi','beijin');

hive查询结果：

hive>select * from defaul.temp;
    1	zhangsan	NULL	2019-03-01
    2	lisi	NULL	2019-03-01

sparksql(presto同sparksql)查询结果：

spark-sql>select * from default.temp;
    1	zhangsan	shanghai	2019-03-01
    2	lisi	beijin	2019-03-01

查看hdfs上面的数据内容如下：

![20190418155038927.png][]

sparksql查询和hdfs上面的是正常数据，但是hive查询新增字段是为NULL。  
当使用hive查询时，虽然HDFS上的数据更新了，但是查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息）  
解决方法：  
方法一：  
    （解决该问的关键是删除旧分区，在第一次插入完数据之后，需要删除元数据的旧分区，再插入新数据）  
    1.alter table table\_name drop partition (logdate='2019-03-01');  \#注意 删除当前分区重建，可能会导致数据丢失  
    修复分区：msck repair table table\_name（经测试无效，暂时还没查到原因）

案例：

1）create table default.temp (id int,name string) partitioned by (logdate string);
        2）insert into table default.temp  partition (logdate='2019-03-01') values(1,'zhangsan'),(2,'lisi');
        3）truncate table default.temp;
        4）alter table default.temp drop partition (logdate='2019-03-01');
        5）alter table default.temp add columns (address string);
        6）insert into table default.temp  partition (logdate='2019-03-01') values(1,'zhangsan','shanghai'),(2,'lisi','beijin');

方法二：

两种情况  
    1).分区在修改表结构前存在  
    2).分区在修改表结构前不存在  
    对于第二种情况，bug（即NULL）不存在  
    针对第一种情形，  
    执行alter table default.temp add columns(address string);  查分区数据新增字段值为空，  
    需再执行alter table default.temp partition(logdate='2019-03-01') add columns(address string);  
      
    案例：

1）create table default.temp (id int,name string) partitioned by (logdate string);
        2）insert into table default.temp  partition (logdate='2019-03-01') values(1,'zhangsan'),(2,'lisi');
        3）truncate table temp;
        4）alter table default.temp add columns (address string);
        5）alter table default.temp partition (logdate='2019-03-01') add columns (address string);
        6）insert into table default.temp  partition (logdate='2019-03-01') values(1,'zhangsan','shanghai'),(2,'lisi','beijin');

这样问题就解决了。

[20190418155038927.png]: /images/20220217/ca5e47b3bb434adeb0a6f44f49292e0e.png