HIVE 分区表添加字段后的奇怪现象

清疚 2022-09-18 15:42 195阅读 0赞

情况：

表: test\_table

已有字段 (a,b,c)

已有分区:

day\_key=20131201

day\_key=20131202

day\_key=20131203

需求是需要添加一个字段d

并且重新生成 所有分区的数据

步骤

1.添加字段：

alter table test\_table add columns (d string);

2.执行语句

insert overwrite table test\_table

select ....

此时问题产生了：

发现 新加的字段d 列 生成出来的数据

在已有的分区中

全是NULL

解决办法3个：

**A1.新版本解决办法: **

修改分区表修改语句 在最后加上关键字 cascade 即可。

alter table test\_table changge .....   **cascade**;

**A.直接在hive里面解决**

删除对应的分区 day\_key=20131201

alter table test\_table drop partition (day\_key='20131201');

然后再次生成数据 发现d列的数据产生了。

**B.修改元数据库**

修改SDS表 老分区对应的 CD\_ID

与表的 CD\_ID 保持一致。

在元数据库查询：

select \* from SDS where LOCATION like '%tb\_name%'\\G

我们可以看到  所有分区 以及表 对应的CD\_ID

如果我们对字段进行了修改

新生成分区的   CD\_ID  的最新的 (与COLUMS表的一致)

而老分区 (不管你重新插入数据多少次) 都是与表(TBLS)的TBL\_ID保持一致的！！

当我们重新计算数据之后 又不想重建分区

只需 :

update SDS set CD\_ID=119 where SD\_ID=116;

其中 119为其它新分区的 CD\_ID  116 为表的TBL\_ID

当然后面如果再次 add columns

也可以用同样的办法

update SDS set CD\_ID=120 where SD\_ID=119;

其中 120 为其它新分区的 CD\_ID   119 为表之前过期的CD\_ID

希望能帮助有同样问题的人。

发表评论取消回复

表情：

评论列表（有 0 条评论，195人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive分区表新增字段注意事项

分区表新增字段注意事项对Hive表新增字段时，官方给出语法结构如下 alter table table_name [partition partiti

￡神魔★判官ぃ/ 2023年06月29日 12:57/ 0 赞/ 9 阅读

相关 HIVE 分区表添加字段后的奇怪现象

情况：表: test\_table 已有字段 (a,b,c) 已有分区: day\_key=20131201 day\_key=20131202 day\_key

清疚/ 2022年09月18日 15:42/ 0 赞/ 196 阅读

相关 hive分区表

分区表 1 为什么出现分区表？假设有海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会

朱雀/ 2022年06月12日 05:28/ 0 赞/ 335 阅读

相关 Hive分区表简介

简介：如果一个表中数据很多，我们查询时就很慢，耗费大量时间，如果要查询其中部分数据该怎么办呢，这时我们引入分区的概念。 Hive中的分区表分为两种：静态分区和动态分区

浅浅的花香味﹌/ 2022年05月21日 06:45/ 0 赞/ 239 阅读

相关 Hive 分区表

Hive 分区表创建 hive> CREATE TABLE t3(id int,name string,age int) PARTITIONED BY (Year I

小灰灰/ 2022年05月13日 23:11/ 0 赞/ 263 阅读

相关 Hive partition 分区表

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通

迈不过友情╰/ 2022年04月25日 04:14/ 0 赞/ 333 阅读

相关 hive分区表增加字段会导致新增字段为NULL

hive分区表增加字段会导致新增字段无法显示值的BUG 问题：创建了hive表： create table default.temp (id int,nam

Bertha 。/ 2022年02月17日 00:50/ 0 赞/ 440 阅读

相关 Hive外表批量添加分区

简介我们有一批日志数据存储在hdfs上，按天创建目录，如2018-07-31的日志hdfs路径为：/data/logs/gateway/20180731。现在要用

我不是女神ヾ/ 2022年01月11日 03:13/ 0 赞/ 442 阅读

相关一个奇怪的现象

我删除了在windows中创建的性能收集器。随之oracle的数据文件就消失了。这个现象是说明了我删除windows的性能收集器，就自带的把oracle的数据文件给删除了吗

逃离我推掉我的手/ 2021年12月14日 08:07/ 0 赞/ 232 阅读

相关 hive 分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际

缺乏、安全感/ 2021年06月24日 14:37/ 0 赞/ 587 阅读