使用 QJM 实现 HDFS 的 HA

不念不忘少年蓝@ 2021-09-26 05:58 291阅读 0赞

本文是在[hadoop集群部署(yarn)][hadoop_yarn]基础上增加的配置内容，因为那篇缺少HDFS的HA配置，在生产环境不够完整。

hadoop官方提供了两种HDFS的HA配置方案，两种方案殊途同归，但是需要的钱、精力和技术不同。

如果对HDFS架构熟悉的话（如果不熟悉，可以通过[HDFS架构][HDFS]了解），就应该知道，NameNode通过FsImage和EditLog两个文件管理DataNode的数据，Secondary NameNode会定期合并EditLog，以减少NameNode启动时的安全检查。EditLog文件存储的是对文件的一条条的操作，也就是说，只要保证有另外一个NameNode的EditLog文件一直与当前正在运行的NameNode的EditLog文件是一样的，那就可以随时使用新的NameNode替换老的NameNode。官方目前给出的两种HA方案也大体是这样：

*  QJM：the Quorum Journal Manager，翻译是法定经济管理人，实在没法想象，所以大家都亲切的称之为QJM。这种方案是通过JournalNode共享EditLog的数据，使用的是Paxos算法（没错，zookeeper就是使用的这种算法），保证活跃的NameNode与备份的NameNode之间EditLog日志一致。
 *  NFS：Network File System 或 Conventional Shared Storage，传统共享存储，其实就是在服务器挂载一个网络存储（比如NAS），活跃NameNode将EditLog的变化写到NFS，备份NameNode检查到修改就读取过来，是两个NameNode数据一致。

> 客观的说，Secondary NameNode也算是对NameNode的备份，但是使用Secondary NameNode需要手动处理，不如QJM和NFS两种可以自动处理简单，所以没有被列入HA解决方案中。

但是，这两种方案在部署方式上差别比较大。QJM需要启动几个JournalNode即可，NFS需要挂在一个共享存储。因为条件限制，我只能通过QJM的方式实现HDFS的HA，如果想看NFS方案，可以直接看[官方文档][Link 1]。

# 1. hdfs-site.xml #

*  dfs.nameservices：指定nameservice的名称，这个需要自定义，可以是任意的名称。这个值需要用在后面的配置和HDFS集群管理路径中。

<property>
      <name>dfs.nameservices</name>
      <value>mycluster</value>
    </property>

*  dfs.ha.namenodes.\[nameservice ID\]：指定集群中两个NameNode的id，目前只能支持最多两个NameNode，所以就需要两个id，以逗号分隔。

<property>
      <name>dfs.ha.namenodes.mycluster</name>
      <value>nn1,nn2</value>
    </property>

*  dfs.namenode.rpc-address.\[nameservice ID\].\[namenode ID\]：指定NameNode的rpc地址，用于数据传输。因为有两个NameNode，所以需要给出两个节点。

<property>
      <name>dfs.namenode.rpc-address.mycluster.nn1</name>
      <value>s108:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn2</name>
      <value>s109:8020</value>
    </property>

*  dfs.name.http-address.\[nameservice ID\].\[namenode ID\]：同3，还需要http地址。

<property>
      <name>dfs.namenode.http-address.mycluster.nn1</name>
      <value>s108:50070</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn2</name>
      <value>s109:50070</value>
    </property>

*  dfs.namenode.shared.edits.dir：需要提供JournalNode的配置地址，用于活跃NameNode向该位置写变化数据，备份NameNode从该位置读取数据应用与自身。如果配置过Kafka就应该可以理解这个。配置地址格式是：qjournal://host1:port1;hots2:port2;host3:port3/journalId，地址端口为一对，每对之间通过分号隔开，最后的journalId是为了区分不同的nameservice的。也就是说，一组JournalNode可以支撑多个NameNode的HA配置。所以，比较好的配置方式是，journalId与nameservice的名称一致。

<property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://s108:8485;s109:8485;s110:8485/mycluster</value>
    </property>

*  dfs.client.failover.proxy.provider.\[nameservice ID\]：HDFS客户端连接活跃NameNode的方式，配置一个Java类。因为NameNode只有一个是活跃的，也就是只有一个提供服务，另一个是备份。所以客户端需要知道哪个是活跃节点。所以需要某种方式找到这个活跃节点。这里提供一个代理类，目前Hadoop只实现了一个代理类`ConfiguredFailoverProxyProvider`，也可以自己定义：

<property>
      <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

*  dfs.ha.fencing.methods：用于故障转移过程中，在活跃节点执行的一组脚本或Java类。HDFS集群有一条原则是：只能有一个NameNode处于活跃状态。QJM只允许一个NameNode写入JournalNode集群，所以可以避免闹裂的发生。但是故障转移过程中，还可能会有其他的问题，所以需要提供一些防护方法。需要注意的是，如果不想使用具体的防护方法，也必须提供一个脚本，比如`shell(/bin/true)`。
    
     *  sshfence：通过ssh方式连接活跃NameNode，并kill掉进程。所以还需要通过`dfs.ha.fencing.ssh.private-key-files`配置ssh key，还可以通过`dfs.ha.fencing.ssh.connect-timeout`配置ssh连接超时时间。  
        
        
            <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
            </property>
            <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
            </property>
            <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
            </property>
    
    如果对于不是标准ssh端口或相同用户的，可以在sshfence后添加用户名和端口，格式为`sshfence([[username][:port]])`。
    
     *  shell：运行任意的脚本来进行防护。我是使用sshfence方式配置的，所以下面就列出配置格式，具体信息查看[官网][Link 2]。  
        
        
            <property>
            <name>dfs.ha.fencing.methods</name>
            <value>shell(/path/to/my/script.sh arg1 arg2 ...)</value>
            </property>
 *  dfs.journalnode.edits.dir：JournalNode守护进程存储数据的本地路径。这是启动JournalNode需要配置的配置项。当然整个集群配置相同也不会有不好的影响，需要是本地绝对路径。

<property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/data/hadoop/journal</value>
    </property>

*  dfs.ha.automatic-failover.enabled：自动故障转移，该配置向需要与core-site.xml中的`ha.zookeeper.quorum`配合使用。

<property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
    </property>

# 2. core-site.xml #

*  fs.defaultFS：这个在单点NameNode的时候配置过，这里需要再次配置，需要使用hdfs-site.xml中的nameservice名称。

<property>
      <name>fs.defaultFS</name>
      <value>hdfs://mycluster</value>
    </property>

*  ha.zookeeper.quorum：这个就是前面提到hdfs-site.xml中配置自动故障转移配合使用的配置项，需要提供zookeeper集群地址

<property>
      <name>ha.zookeeper.quorum</name>
      <value>s109:2181,s110:2181,s111:2181</value>
    </property>

# 3. 开始启动 #

## 3.1 JournalNode ##

需要首先启动JournalNode，如上面配置的，需要s108/s109/s110三个节点启动JournalNode，默认端口就是8045。启动命令是`hadoop-daemon.sh start journalnode`。

## 3.2 NameNode数据准备 ##

JournalNode启动完成后，因为有两个NameNode节点，就需要先同步两个NameNode节点的数据。

1.  如果是全新的HDFS集群，这个时候直接`hdfs namenode -format`格式化即可
2.  已经格式化或是从非HA设置为HA的集群，需要把格式化后的NameNode节点的数据拷贝到为格式化节点上。未格式化NameNode节点执行`hdfs namenode -bootstrapStandby`命令。
3.  如果是从非HA到HA的配置，需要执行`hdfs namenode -initializeSharedEdits`将原有的NameNode日志写入JournalNode中。

## 3.3 Zookeeper中的HA状态 ##

因为上面配置了自动故障转移，所以需要在Zookeeper中初始化HA状态。执行命令`hdfs zkfc -formatZK`。

## 3.4 启动 ##

直接使用`start-dfs.sh`命令启动NameNode、DataNode，以及ZKFS进程，启动成功之后就可以通过s108:50070和s109:50070访问web页面查看具体哪个NameNode是Active或Standby状态的了。

> 启动的时候可以注意到，启动过程没有启动Secondary NameNode，这是用为HA不会启动Secondary NameNode。也就是master配置文件配置内容无效了。

# 4. 管理 #

可以通过`hdfs haadmin`命令进行管理。具体查看[官网][Link 2]说明。

--------------------

参考  
1. [HDFS High Availability Using the Quorum Journal Manager][Link 2]  
2. [HDFS High Availability][Link 1]

--------------------

个人主页: [http://www.howardliu.cn][http_www.howardliu.cn]

个人博文: [使用QJM实现HDFS的HA][QJM_HDFS_HA]

CSDN主页: [http://blog.csdn.net/liuxinghao][http_blog.csdn.net_liuxinghao]

CSDN博文: [使用QJM实现HDFS的HA][QJM_HDFS_HA 1]

[hadoop_yarn]: http://www.howardliu.cn/hadoop/hadoop-environment-cluster-setup
[HDFS]: http://www.howardliu.cn/hadoop/hdfs-architecture
[Link 1]: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html
[Link 2]: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
[http_www.howardliu.cn]: http://www.howardliu.cn
[QJM_HDFS_HA]: http://www.howardliu.cn/hadoop/hdfs-ha-using-qjm
[http_blog.csdn.net_liuxinghao]: http://blog.csdn.net/liuxinghao
[QJM_HDFS_HA 1]: http://blog.csdn.net/liuxinghao/article/details/74910417

发表评论取消回复

表情：

评论列表（有 0 条评论，291人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS HA 架构及原理

HDFS HA架构 ![20180129204021884964.png][] HDFS HA原理 QJM !

冷不防/ 2023年08月17日 15:19/ 0 赞/ 127 阅读

相关 Hadoop 2.6利用QJM和zookeeper实现HDFS高可用

Hadoop 2.6利用QJM和zookeeper实现HDFS高可用前提说明 apache cdh hdp 机器规划软件规划 JDK规划

短命女/ 2022年12月29日 06:50/ 0 赞/ 187 阅读

相关 HDFS利用QJM实现HA（HDFS High Availability Using the Quorum Journal Manager）

目的本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用QJM特性。本文假设读者有一个大致了解通用组件和一个HDFS集群中的节点类

秒速五厘米/ 2022年08月17日 15:10/ 0 赞/ 174 阅读

相关使用NFS实现HA（HDFS High Availability With NFS）

目的本指南概述HDFS的高可用性(HA)的特性,以及如何配置和管理HA HDFS集群,使用NFS实现NameNode共享存储本文假设读者有一个大致了解通用组件和一个

﹏ヽ暗。殇╰゛Y/ 2022年08月17日 15:10/ 0 赞/ 293 阅读

相关使用QJM的高可用HDFS

> 译者按：因项目中数据存储需要用到HBase,老大下达任务后就屁颠屁颠去网上搜集各种Hadoop+HBase的安装教程，安装单实例时还好，步骤比较简单，但进行到分布式安装时发

分手后的思念是犯贱/ 2022年07月11日 01:45/ 0 赞/ 260 阅读

相关 Hadoop HA QJM 与RM的自动容灾以及hbase与Hadoop HA的配置ha后hive修改

![Center][] ![Center 1][] ![Center 2][] ![Center 3][] ![Center

た入场券/ 2022年06月06日 05:07/ 0 赞/ 240 阅读

相关 Hadoop——HDFS HA部署

本节目标：掌握HDFS HA的部署本节参考[官方文档][Link 1]进行部署。所需软件：JDK1.8、Hadoop2.7.6、zookeeper3.4.11 节

ゝ一世哀愁。/ 2022年05月26日 01:12/ 0 赞/ 298 阅读

相关使用QJM构建HDFS HA架构（五）

集群规划，在以前的文档中我已经搭建好一个hadoop2.6.0的非集群环境，我们就在这个基础之上搭建HA ![在这里插入图片描述][watermark_type_ZmFuZ

Dear 丶/ 2022年01月26日 01:29/ 0 赞/ 300 阅读

相关 ZKFC支持HDFS HA的原理

HA首先是启动两个nameNode，一个是active状态，一个是standby,当active挂掉后，standby通过zookeepe会自动迅速的替代上。这样集群就会非常的

小鱼儿/ 2022年01月07日 01:29/ 0 赞/ 462 阅读

相关使用 QJM 实现 HDFS 的 HA

本文是在[hadoop集群部署(yarn)][hadoop_yarn]基础上增加的配置内容，因为那篇缺少HDFS的HA配置，在生产环境不够完整。 hadoop官方提供了两种H

不念不忘少年蓝@/ 2021年09月26日 05:58/ 0 赞/ 292 阅读