使用QJM构建HDFS HA架构（五）

Dear 丶 2022-01-26 01:29 236阅读 0赞

集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HA  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 1][]

QJM的集群实现方式  
一

操作系统的基本配置

（可以参考hadoop2.6.0三个节点集群环境搭建（一））

二

Hadoop的安装

（可以参考hadoop2.6.0三个节点集群环境搭建（一））

三

hdfs-site.xml配置（HA）

(1) HDFS命名服务的逻辑名称  
(2) NameNode列表  
(3) 每个NameNode的RPC地址  
(4) 每个NameNode的HTTP地址  
(5) Journalnode的URI地址  
(6) 设置客户端与active namenode进行交互的java实现类  
(7) 隔离机制（fencing）：sshfence OR shell --sshfence要确保主机之间建立了信任关系

四 Core-site.xml配置（HA）

（1）缺省的目录前缀  
（2）Journalnode所在节点上的一个目录

五 HDFS HA服务启动

（1）启动journalnode  
（2）初始化journalnode  
（3）启动namenode1，先格式化再启动（如果是已有的集群则不用格式化）  
（4）启动namenode2，让nn2从nn1上拉取最新的fsimage  
（5）启动datanode  
（6）将namenode1状态切换为active

实施步骤：

如果是新环境可以参考hadoop2.6.0三个节点集群环境搭建（一）将软件部署上即可

假设你已经将hadoop 2.6.0部署到了master节点

1）

On master

\[hadoop@master ~\]$ cd/opt/hadoop/etc/hadoop/

\[hadoop@master hadoop\]$ vi [hadoop-env.sh][] <===java环境变量

export JAVA\_HOME=/usr/java/default

2）

On master

\[hadoop@master hadoop\]$ vi slaves

slave1

slave2

1.

On master  
\[hadoop@master hadoop\]$ vi hdfs-site.xml

dfs.namenode.secondary.http-address master:9001 dfs.namenode.name.dir file:/opt/hadoop/dfs/name dfs.datanode.data.dir file:/opt/hadoop/dfs/data dfs.replication 2 dfs.webhdfs.enabled true dfs.hosts.exclude /opt/hadoop/etc/hadoop/excludes dfs.nameservices <===(1)HDFS命名服务的逻辑名称 ns1 dfs.ha.namenodes.ns1 <===(2)NameNode列表 nn1,nn2 dfs.namenode.rpc-address.ns1.nn1 <===每个NameNode的RPC地址 master:9000 dfs.namenode.rpc-address.ns1.nn2 <===每个NameNode的RPC地址 hadoop04:9000 dfs.namenode.http-address.ns1.nn1 <===(4)每个NameNode的HTTP地址 master:50070 dfs.namenode.http-address.ns1.nn2 <===(4)每个NameNode的HTTP地址 hadoop04:50070 dfs.namenode.shared.edits.dir <===(5)Journalnode的URI地址 qjournal://hadoop04:8485;slave1:8485;slave2:8485/ns1 dfs.client.failover.proxy.provider.ns1 <===(6)设置客户端与active namenode进行交互的java实现类 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods <===(7)隔离机制（fencing）：sshfence OR shell sshfence dfs.ha.fencing.ssh.private-key-files <===(7)隔离机制（fencing）：sshfence OR shell /home/hadoop/.ssh/id\_rsa dfs.ha.fencing.ssh.connect-timeout 30000

4）

On master

\[hadoop@master hadoop\]$ vi core-site.xml

fs.defaultFS hdfs://ns1 hadoop.tmp.dir /opt/hadoop/tmp dfs.journalnode.edits.dir <===（2）Journalnode所在节点上的一个目录 /opt/hadoop/journalnode/data

5）  
On slave1、slave2、hadoop04  
\[hadoop@slave1 hadoop\]$ mkdir -p /opt/hadoop/journalnode/data

\[hadoop@slave2 hadoop\]$ mkdir -p /opt/hadoop/journalnode/data

\[hadoop@hadoop04 hadoop\]$ mkdir -p /opt/hadoop/journalnode/data

6）

On master

\[hadoop@master hadoop\]$ scp -r hdfs-site.xml hadoop04:/opt/hadoop/etc/hadoop

\[hadoop@master hadoop\]$ scp -r hdfs-site.xml slave1:/opt/hadoop/etc/hadoop

\[hadoop@master hadoop\]$ scp -r hdfs-site.xml slave2:/opt/hadoop/etc/hadoop

\[hadoop@master hadoop\]$ scp -r core-site.xml hadoop04:/opt/hadoop/etc/hadoop

\[hadoop@master hadoop\]$ scp -r core-site.xml slave1:/opt/hadoop/etc/hadoop

\[hadoop@master hadoop\]$ scp -r core-site.xml slave2:/opt/hadoop/etc/hadoop

注意：如果是新搭建系统则将hadoop的软件家目录整个考过去即可

\[hadoop@master opt\]$ scp -r hadoop-2.6.0 hadoop04:/opt

\[hadoop@master opt\]$ scp -r hadoop-2.6.0 slave1:/opt

\[hadoop@master opt\]$ scp -r hadoop-2.6.0 slave2:/opt

7）

启动journalnode <===（1）启动journalnode

On hadoop04

\[hadoop@hadoop04 ~\]$ [hadoop-daemon.sh][] start journalnode

也可以在master节点执行

[hadoop-daemons.sh][] \--hostnames ‘slave1 slave2’ start journalnode

8）

On master <===（2）初始化journalnode

\[hadoop@master ~\]$ hdfs namenode -initializeSharedEdits

注意：如果是新环境则需要先执行namenode的格式化，再去执行journalnode的初始化

\[hadoop@master ~\]$ hdfs namenode -format -clusterid hd260

9）

On master 《===（3）启动namenode1

\[hadoop@master opt\]$ [hadoop-daemon.sh][] start namenode

10）

从master节点拉取fsimage信息

On hadoop04 《====（4）让nn2从nn1上拉取最新的fsimage

\[hadoop@hadoop04 name\]$ hdfs namenode –bootstrapStandby

1.

On hadoop04 《===（5）启动namenode2

\[hadoop@hadoop04 name\]$ [hadoop-daemon.sh][] start namenode

1.

启动datanode

On master

\[hadoop@master opt\]$ [hadoop-daemons.sh][] start datanode

1.

[http://master:50070][http_master_50070]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 2]

14）

on hadoop04

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 3]

1.

On master

\[hadoop@master hadoop\]$ hdfs haadmin-failover --forcefence --forceactive nn2 nn1

1.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 4]

17）

on hadoop04

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 5]

切换测试的一些命令可以自行测试  
首先将nn2启动  
\[hadoop@hadoop04 data\]$ [hadoop-daemon.sh][] start namenode 《===此时，nn1是active，nn2是standby  
然后从nn1切换到nn2  
\[hadoop@master hadoop\]$ hdfs haadmin -failover --forcefence --forceactive nn1 nn2  
\[hadoop@hadoop04 name\]$ hdfs haadmin -transitionToStandby nn1  
\[hadoop@master opt\]$ hdfs haadmin -transitionToActive nn1

## 以上实验都是HDFS HA服务启动及手工切换，下一节将配置 基于ZK自动切换模式的实现 ##

作者：forever19870418  
来源：CSDN  
原文：[https://blog.csdn.net/forever19870418/article/details/64126621][https_blog.csdn.net_forever19870418_article_details_64126621]  
版权声明：本文为博主原创文章，转载请附上博文链接！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70]: /images/20220126/1d4e532be846443b822d66d91885f456.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 1]: /images/20220126/19b95949764a4b1cb854380c5e0610d9.png
[hadoop-env.sh]: http://hadoop-env.sh
[hadoop-daemon.sh]: http://hadoop-daemon.sh
[hadoop-daemons.sh]: http://hadoop-daemons.sh
[http_master_50070]: http://master:50070
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 2]: /images/20220126/9cb9e7c5d23f4a3c9c72975752980c7e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 3]: /images/20220126/689baf8e59e448a4897567f84afe20e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 4]: /images/20220126/03ffda2a79b847f6891a64fa9accbda6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 5]: /images/20220126/2943ca241ac14eacbece4a658eef8032.png
[https_blog.csdn.net_forever19870418_article_details_64126621]: https://blog.csdn.net/forever19870418/article/details/64126621

发表评论取消回复

表情：

评论列表（有 0 条评论，236人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS HA 架构及原理

HDFS HA架构 ![20180129204021884964.png][] HDFS HA原理 QJM !

冷不防/ 2023年08月17日 15:19/ 0 赞/ 49 阅读

相关 hadoop之HDFS HA(高可用）架构安装部署

前言再看本文章之前，请先确保已经看过[CentOS下hadoop的分布式搭建][CentOS_hadoop]和[分布式协作服务框架Zookeeper安装部署][Zook

以你之姓@/ 2022年12月15日 14:23/ 0 赞/ 184 阅读

相关五种Oracle HA高可用架构简述

Database Only Architecture 可减少应用宕机和数据库升级停用时间 Flashback技术保护用户错误和逻辑异常在线实时重定义和重配

刺骨的言语ヽ痛彻心扉/ 2022年08月19日 08:56/ 0 赞/ 167 阅读

相关 HDFS架构（ HDFS Architecture）

HDFS架构介绍 Hadoop分布式文件系统（HDFS）是一个运行在普通商用服务器上的分布式文件系统。他和很多的分布式文件系统类似，但是也有很显著的不同。HDFS

迈不过友情╰/ 2022年08月17日 15:11/ 0 赞/ 191 阅读

相关 HDFS利用QJM实现HA（HDFS High Availability Using the Quorum Journal Manager）

目的本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用QJM特性。本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类

秒速五厘米/ 2022年08月17日 15:10/ 0 赞/ 115 阅读

相关使用QJM的高可用HDFS

> 译者按：因项目中数据存储需要用到HBase,老大下达任务后就屁颠屁颠去网上搜集各种Hadoop+HBase的安装教程，安装单实例时还好，步骤比较简单，但进行到分布式安装时发

分手后的思念是犯贱/ 2022年07月11日 01:45/ 0 赞/ 204 阅读

相关 Hadoop——HDFS HA部署

本节目标：掌握HDFS HA的部署本节参考[官方文档][Link 1]进行部署。所需软件：JDK1.8、Hadoop2.7.6、zookeeper3.4.11 节

ゝ一世哀愁。/ 2022年05月26日 01:12/ 0 赞/ 223 阅读

相关 Hadoop详解（五）：HDFS HA 和 Federation

1. Hadoop 2.0 产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题

我会带着你远行/ 2022年04月23日 02:44/ 0 赞/ 420 阅读

相关使用QJM构建HDFS HA架构（五）

集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HA ![在这里插入图片描述][watermark_type_ZmFuZ

Dear 丶/ 2022年01月26日 01:29/ 0 赞/ 237 阅读

相关使用 QJM 实现 HDFS 的 HA

本文是在[hadoop集群部署(yarn)][hadoop_yarn]基础上增加的配置内容，因为那篇缺少HDFS的HA配置，在生产环境不够完整。 hadoop官方提供了两种H

不念不忘少年蓝@/ 2021年09月26日 05:58/ 0 赞/ 229 阅读