Hadoop升级步骤cdh3u3到cdh3u6

分手后的思念是犯贱 2022-09-17 13:17 234阅读 0赞

8月份的时候做了下hadoop的升级，小版本升级

参考文档：[http://wiki.apache.org/hadoop/Hadoop\_Upgrade][http_wiki.apache.org_hadoop_Hadoop_Upgrade]

原文地址：[http://blog.csdn.net/lxpbs8851/article/details/12968997][http_blog.csdn.net_lxpbs8851_article_details_12968997]

在此做一个记录：

从版本 hadoop-0.20.2-cdh3u3 升级到 hadoop-0.20.2-cdh3u6

步骤如下：

1.备份namenode信息

\#hadoop dfs –lsr / >/opt/namenode\_back/namenode-lsr-v-old.log

\#hadoop fsck / >/opt/namenode\_back/namenode-fsck-v-old.log

前面2项用于升级之后对数据的对比

\#cp –r $\{dfs.name.dir\} /opt/ namenode\_back/name/

备份namenode的meta数据，用户升级失败后的恢复

2.关闭旧集群，上传最新稳定版本cdh3u6,配置各个文件：core、hdfs、mapred、master、slaves，也可以使用先前的配置文件，根据当前版本的情况来决定是否要对配置文件做修改，配置hadoop-env.sh

3.将配置好的新版本目录分发给集群中所有的机器节点，注意文件目录的所属用户，若不同则用chown进行修改。

4.将老版本$\{dfs.name.dir\}目录下的文件拷贝到新版本$\{dfs.name.dir\}的目录下面，要是新老版本的目录一样，可以不要拷贝

5.开始更新操作：

\#$\{NEW\_HADOOP\_HOME\}/bin/start-dfs.sh–upgrade

使用如下命令进行监控，查看是否升级完成:

\#$ \{ NEW\_HADOOP\_HOME \}/bin/hadoop dfsadmin -upgradeProgressstatus

出现Upgrade for version - hadoop-0.20.2-cdh3u6 has been completed.的提示即完成了升级。

6.修改环境变量:

在root用户下修改。

\#vi /etc/profile

主要是修改$HADOOP\_HOME

7.启动新集群

\#$\{NEW\_HADOOP\_HOME\}/bin/start-all.sh

8.生成新的信息：

\#hadoop fs –lsr / >/opt/namenode\_back/namenode-lsr-v-new.log

\#hadoop fsck / >/opt/namenode\_back/namenode-fsck-v-new.log

对比1中2个old-log 若信息不符合（丢失最要数据），可以选择回滚。

9.回滚操作：

\#$\{NEW\_HADOOP\_HOME\}/bin/stop-all.sh

\#$\{NEW\_HADOOP\_HOME\}/bin/start-dfs.sh –rollback

改回环境变量，

\#$\{OLD\_HADOOP\_HOME\}/bin/start-all.sh

[http_wiki.apache.org_hadoop_Hadoop_Upgrade]: http://wiki.apache.org/hadoop/Hadoop_Upgrade
[http_blog.csdn.net_lxpbs8851_article_details_12968997]: http://blog.csdn.net/lxpbs8851/article/details/12968997

发表评论取消回复

表情：

评论列表（有 0 条评论，234人围观）

还没有评论，来说两句吧...

相关阅读

相关 CDH6.3配置安装实操

环境要求 Redhat7.4安装CDH6.3。CDH6与CDH5的安装步骤一致，主要包括以下四部分： > 1.安全前置准备，包括安装操作系统、关闭防火墙、同步服务器时钟

古城微笑少年丶/ 2023年07月24日 03:26/ 0 赞/ 2 阅读

相关 CDH6.3添加flink服务

准备工作到 [https://archive.cloudera.com/csa/1.0.0.0/csd/][https_archive.cloudera.com_csa

蔚落/ 2023年07月03日 06:02/ 0 赞/ 115 阅读

相关 ubuntu18安装CDH6.3.1

国内网速很慢，有条件的可以翻墙安装前准备修改hosts，如下 ~$ sudo vim /etc/hosts 192.168.1.115 zhdan

小鱼儿/ 2023年06月30日 15:56/ 0 赞/ 1 阅读

相关 CDH6.3.1安装FLINK

CDH6.3.1安装FLINK 1. 准备 2. 将上面文件移动到master对应位置位置 3. 重启cdh集群 4. 添加Flink服务

浅浅的花香味﹌/ 2022年12月27日 04:44/ 0 赞/ 198 阅读

相关 CDH6.3.1企业版安装详细步骤

0. 主机规划 <table> <thead> <tr> <th>虚拟机主机</th> <th>IP</th> <th>资源(CPU/内

我不是女神ヾ/ 2022年12月26日 04:49/ 0 赞/ 361 阅读

相关 CDH6.3.2 在线安装 hadoop Lzo压缩

CDH6.3.2 在线安装 hadoop Lzo压缩 1 查看我的hadoop支撑的压缩方式 2 LzoCodec和LzopCodec区别 3 在线Pa

快来打我*/ 2022年10月29日 01:42/ 0 赞/ 247 阅读

相关 cdh6.3.2安装kafka

cdh6.3.2安装kafka 一、kafka安装二、简单操作一般来说建议如果允许不要跟hadoop平台安装同一个集群中，会占IO,这里只是本地跑

傷城~/ 2022年10月19日 05:45/ 0 赞/ 350 阅读

相关 CDH 组件升级：zookeeper升级到 3.4.14

文章目录 1, 存在的问题 2, 升级 a, 查看现有的版本，和启动过程 b, 下载新版的zookeeper,并替换, 重启zk服务

快来打我*/ 2022年10月16日 01:49/ 0 赞/ 214 阅读

相关 Hadoop升级步骤cdh3u3到cdh3u6

8月份的时候做了下hadoop的升级，小版本升级参考文档：[http://wiki.apache.org/hadoop/Hadoop\_Upgrade][http_wiki

分手后的思念是犯贱/ 2022年09月17日 13:17/ 0 赞/ 235 阅读

相关安装CM 6.3.1和CDH 6.3.2

安装CM 6.3.1和CDH 6.3.2 -------------------- 操作系统要求在安装CDH之前，我们来看看平台对系统有什么样的要求。通过官方文

妖狐艹你老母/ 2022年09月10日 13:26/ 0 赞/ 417 阅读