迁移老集群的Hive表结构和数据到新集群中

悠悠 2021-09-25 11:02 408阅读 0赞

总体思路：

1、从旧集群中导出表结构，库和表众多的情况下，使用shell脚本批量导出

2、从旧集群导出的sql建表语句做一些修改，在新集群中执行即可

3、使用distcp命令复制数据文件，需要指定hive表的路径

4、验证是否数据是否迁移成功，可以到hdfs网页查看和在hive库中查看

## 一、导出表结构 ##

1、首先在hive中执行 show databases;

2、把需要导出的hive库都准备好，然后修改下面的命令，导出某个库里的所有表名到文件中

hive -e "use mxsj;show tables;" > tables.txt

3、修改下面的脚本，下面的脚本是把某库中的所有表结构导出到文件中，把脚本内容写到一个文件exporttab.sh中

#!/bin/bash
    cat trajx_tables.txt |while read eachline
    do
    hive -e "use trajx;show create table $eachline" >>trajx_tablesDDL.txt
    echo ";" >> trajx_tablesDDL.txt
    done

## 二、在新集群中导入表结构 ##

把导出的trajx\_tablesDDL.txt文件scp 到新集群的服务器上

需要用vim修改一下文件内容，在开头增加建库语句和use语句

如下：

create database mxsj;
    use mxsj;

以及注释掉无用行，否则执行会报错

sed -i 's/WARN/--WARN/g' /root/trajx_tablesDDL.txt

最后执行导入

hive -f trajx_tableDDL.txt

## 三、复制数据到新集群 ##

在新集群的主节点上执行如下命令

hadoop distcp hdfs://老集群主节点ip:8020/user/hive/warehouse/trajx.db/adm_gj_wp_ds hdfs://新集群主节点ip:8020/user/hive/warehouse/trajx.db

每次需要修改hive库和表，目的地不需要写表名，否则会在表名下面建子文件夹。

## 四、验证数据是否可查 ##

在hive中查看数据

select \* from xxx limit 10;

如果是分区表需要执行分区修复，否则无法查到数据

MSCK REPAIR TABLE xxx;

发表评论取消回复

表情：

评论列表（有 0 条评论，408人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis单实例数据迁移到集群

目录 [环境说明][Link 1] [迁移步骤][Link 2] [查看集群状态及节点槽分布][Link 3] [把101:

﹏ヽ暗。殇╰゛Y/ 2023年02月27日 13:47/ 0 赞/ 21 阅读

相关 Redis单实例数据迁移到集群

迁移步骤：（1）停掉项目，停止对redis单实例的数据写入。（2）登录单实例redis客户端通过命令keys \查看当前单实例缓存的所有数据条数，记录下来。（3）假

待我称王封你为后i/ 2023年02月27日 13:46/ 0 赞/ 20 阅读

相关 elaticsearch集群数据迁移

第三方工具迁移或elasticsearch本身快照方式迁移，这里以第三方工具迁移为例，elaticsearch-dump 和esm 两个。安装elaticsearch-

绝地灬酷狼/ 2022年11月27日 00:44/ 0 赞/ 194 阅读

相关 ES集群数据迁移工具

[https://github.com/medcl/esm][https_github.com_medcl_esm] copy index `index_name` from

布满荆棘的人生/ 2022年09月15日 14:57/ 0 赞/ 197 阅读

相关 hive集群间数据迁移，export+import

官方参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport The

Myth丶恋晨/ 2022年06月16日 14:49/ 0 赞/ 317 阅读

相关跨集群hive批量建表

【需求】在集群A建表，需要同步到集群B并修复历史分区。表用到的数据源在云上。【操作过程】先在老集群A中获取指定表的建表语句，把建表语句放到文件中，再把该文件发送到B集

ゞ浴缸里的玫瑰/ 2022年05月14日 02:37/ 0 赞/ 286 阅读

相关 redis集群数据迁移总结

一、背景银行方面要求生产环境上所有软件的安装都要用普通用户安装，将会收回之前给的root用户的权限，于是我就开始了重装redis集群. 二、准备工作配置各个端

小咪咪/ 2021年10月23日 11:36/ 0 赞/ 521 阅读

相关迁移ElasticSearch老集群中的数据到新集群

思路：在网上查找迁移方法，发现elasticdump工具可以实现数据迁移，故安装测试。在一台能够同时访问新老集群的Windows电脑中安装elasticdump工具，然后执行命

淡淡的烟草味﹌/ 2021年09月25日 11:04/ 0 赞/ 420 阅读

相关迁移老集群的Hive表结构和数据到新集群中

总体思路： 1、从旧集群中导出表结构，库和表众多的情况下，使用shell脚本批量导出 2、从旧集群导出的sql建表语句做一些修改，在新集群中执行即可 3、使用distcp

悠悠/ 2021年09月25日 11:02/ 0 赞/ 409 阅读

相关 hive集群部署

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL

傷城~/ 2021年06月24日 14:37/ 0 赞/ 532 阅读