Hadoop 2.6利用QJM和zookeeper实现HDFS高可用

短命女 2022-12-29 06:50 130阅读 0赞

### Hadoop 2.6利用QJM和zookeeper实现HDFS高可用 ###

*  前提说明 apache cdh hdp
 *  机器规划
 *  软件规划
 *   *  JDK规划
     *  防火墙规划
     *  SSH免密码规划\\
     *  Zk集群规划
 *  HDFS实现自动切换HA（全新HDFS）
 *   *  \*\*修改core-site.xml\*\*
     *  修改hdfs-site.xml
 *  启动顺序

# 前提说明 apache cdh hdp #

> 在hadoop2.X中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。  
> hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM（由cloudra提出，原理类似zookeeper）。这里我使用QJM完成。主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

# 机器规划 #

192.168.137.224 master nn1 dn zk qjm  
192.168.137.223 server01 nn2 dn zk qjm  
192.168.137.222.13 server02 dn zk qjm

# 软件规划 #

## JDK规划 ##

***1.7及以上***

## 防火墙规划 ##

**系统防火墙关闭**

## SSH免密码规划\\ ##

> 生成秘钥：在当前用户的.ssh 目录下会有公钥私钥文件  
> \#ssh-keygen -t rsa  
> \#ssh-copy-id 要发送的主机

> master（nn1）–> master（nn1） 需要免密码  
> master（nn1）–> server01（nn2） 需要免密码  
> master（nn1）–> server02（dn） 需要免密码  
> server01（nn2）–> master（nn1） 需要免密码  
> server01（nn2）–> server01（dn） 需要免密码  
> server01（nn2）–> server02（dn） 需要免密码

如果多节点之间全部免密码更好（生产环境不建议） 默认环境

## Zk集群规划 ##

已有可用zk集群

# HDFS实现自动切换HA（全新HDFS） #

## **修改core-site.xml** ##

<configuration>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://beicai</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
     <value>/home/hadoopdata/tmp</value>
    </property>
    <property>
    <name>io.file.buffer.size</name>
    <value>4096</value>
    </property>
    </configuration>

## 修改hdfs-site.xml ##

在hdfs-site.xml配置文件中配置如下内容：  
配置之前将其他配置删除掉（可先记录namenode.dir和datanode.dir）

> 注意：中文注释不要带

<configuration>
    
    <property>
    	<name>dfs.nameservices</name>
    	<value>beicai</value>
    </property>
    
    <!—指定hdfs的两个NameNode都是什么名字（等会儿下面会配置他们所对应的机器的信息）-->
    <property>
      <name>dfs.ha.namenodes.beicai</name>
      <value>nn1,nn2</value>
    </property>
    
    <!—NameNode1的rpc通讯地址-->
    <property>
      <name>dfs.namenode.rpc-address.beicai.nn1</name>
      <value>hadoop01:8020</value>
    </property>
    
    <!—NameNode2的rpc通讯地址-->
    <property>
      <name>dfs.namenode.rpc-address.beicai.nn2</name>
      <value>hadoop02:8020</value>
    </property>
    
    <!—NameNode1的web界面地址-->
    <property>
      <name>dfs.namenode.http-address.beicai.nn1</name>
      <value>hadoop01:50070</value>
    </property>
    <!—NameNode2的web界面地址-->
    <property>
      <name>dfs.namenode.http-address.beicai.nn2</name>
      <value>hadoop02:50070</value>
    </property>
    ######如果给一个有数据的HDFS添加HA，此处无需更改，保持原有地址即可#####
    
    
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:///home/hdfs/data</value>
    </property>
    ###########################################################
    
    <!—QJM存放共享数据的方式-->
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal:// hadoop01:8485; hadoop02:8485; hadoop03:8485/beicai</value>
    </property>
    
    <!—单个QJM进程（角色）存放本地edits文件的Linux地址-->
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/home/bigdata/hadoop/journal1</value>
    </property>
    
    <!—开启hdfs的namenode死亡后自动切换-->
    <property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
    </property>
    
    
    
    <property>
            <name>ha.zookeeper.quorum</name>
            <value> hadoop01:2181, hadoop02:2181, hadoop03:2181</value>
    </property>
    
    <!—zkfc程序的主类-->
    <property>
    	<name>dfs.client.failover.proxy.provider.beicai </name>
    	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!—防止多个namenode同时active（脑裂）的方式-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        </property>
    
    <!—指定本机的私钥所在目录-->
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
    </property>
    
    <!—指定ssh通讯超时时间-->
    <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
    </property>
    
    <configuration/>

# 启动顺序 #

**先启动zk集群**  
在各个zk服务其上执行如下命令：

> \#sh zkServer.sh start

**再启动journalnode（QJM中的组件）（在master上启动所有journalnode**）

> \#hadoop-daemons.sh start journalnode  
> 运行jps命令检验，多了JournalNode进程

**格式化HDFS（在master上执行命令: ）**

> \#hadoop namenode -format  
> 如果是有数据的集群，就不需要格式化

/\*\*  
格式化后在master上执行hadoop-daemon.sh start namenode启动namenode进程，再在slave1上执行hdfs namenode -bootstrapStandby完成主备节点同步信息，这里也可以手动将HDFS的元数据信息拷贝到其他Namenode节点上  
\*/

在master机上开启namenode

> \#hadoop-daemon.sh start namenode

在salve11机上 同步元数据信息

> \#hdfs namenode -bootstrapStandby

格式化ZK(在Master上执行即可)

> \#hdfs zkfc -formatZK

启动HDFS(在master上执行)

> \#start-dfs.sh

/\*\*  
如果需要单独启zkfc

> \#hadoop-daemon.sh start zkfc  
> \*/  
> 如果需要重新配置HDFS的HA，需要删除四个地方：  
> 一：zk里的hadoop-ha节点需要被删除  
> 进入zk，执行命令：rmr /hadoop-ha  
> 二：namenode的存储edits 文件的目录删除  
> 即配置文件中的此配置项的值：dfs.namenode.name.dir  
> 三：datanode的存储block文件的目录删除  
> 即配置文件中的此配置项的值：dfs.datanode.data.dir  
> 四：journode的存储edits文件的目录删除  
> 即配置文件中的此配置项的值：/home/hdfs/journal1  
> 五：sh sbin/hadoop-daemon.sh start zkfc

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70 1]  
手动切换HA时：  
Hdfs-site.xml配置如下：

<property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/bigdata/hadoopdata/dfs/name</value>
    </property>
    
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/bigdata/hadoopdata/dfs/data</value>
    </property>
    
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
    
    <property>
    <name>dfs.permissions</name>
    <value>false</value>
    </property>
    
    
    <property>
    	<name>dfs.nameservices</name>
    	<value>beicai</value>
    </property>
    
    
    <property>
      <name>dfs.ha.namenodes.beicai</name>
      <value>nn1,nn2</value>
    </property>
    
    
    <property>
      <name>dfs.namenode.rpc-address.beicai.nn1</name>
      <value>hadoop007:9000</value>
    </property>
    
    
    <property>
      <name>dfs.namenode.rpc-address.beicai.nn2</name>
      <value>hadoop008:9000</value>
    </property>
    
    
    <property>
      <name>dfs.namenode.http-address.beicai.nn1</name>
      <value>hadoop007:50070</value>
    </property>
    
    <property>
      <name>dfs.namenode.http-address.beicai.nn2</name>
      <value>hadoop008:50070</value>
    </property>
    
    
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoop007:8485;hadoop008:8485;hadoop009:8485/beicai</value>
    </property>
    
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/opt/bigdata/hadoopdata/journal1</value>
    </property>
    
    
    <property>
    	<name>dfs.client.failover.proxy.provider.beicai </name>
    	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    
    
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
    </property>
    
    
    <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
    </property>

1、如果配置的虚拟服务名和自动切换的一样，需要将zk中的数据删除掉。  
2、启动zk  
3、启动journalnode  
4、格式化namenode的数据  
5、在从节点上同步Namenode数据  
6、在主节点上启动dfs模块的其它服务。  
7、不用启动zkfc服务。  
8、然后查看两个namenode的状态，然后在进行切换： hdfs haadmin  
9、hdfs haadmin -transitionToActive nn1

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70]: /images/20221120/23ed162045404a40bb321aee97da988e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d6cTE4ODQ1MjgwNjEw_size_16_color_FFFFFF_t_70 1]: /images/20221120/08b5a89ee7a54215b9dc1231d39d5537.png