Hadoop HA集群搭建

矫情吗；* 2022-03-10 14:08 278阅读 0赞

# Hadoop HA #

## 什么是 HA ##

HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。

## hadoop HA机制介绍 ##

hadoop2.0的HA 机制有两个namenode，一个是active namenode，状态是active；另外一个是standby namenode，状态是standby。两者的状态是可以切换的，但不能同时两个都是active状态，最多只有1个是active状态。只有active namenode提供对外的服务，standby namenode是不对外服务的。active namenode和standby namenode之间通过NFS或者JN（journalnode，QJM方式）来同步数据。  
active namenode会把最近的操作记录写到本地的一个edits文件中（edits file），并传输到NFS或者JN中。standby namenode定期的检查，从NFS或者JN把最近的edit文件读过来，然后把edits文件和fsimage文件合并成一个新的fsimage，合并完成之后会通知active namenode获取这个新fsimage。active namenode获得这个新的fsimage文件之后，替换原来旧的fsimage文件。  
这样，保持了active namenode和standby namenode的数据的实时同步，standby namenode可以随时切换成active namenode（譬如active namenode挂了）。而且还有一个原来hadoop1.0的secondarynamenode，checkpointnode，buckcupnode的功能：合并edits文件和fsimage文件，使fsimage文件一直保持更新。所以启动了hadoop2.0的HA机制之后，secondarynamenode，checkpointnode，buckcupnode这些都不需要了。

## 搭建 hadoop HA 集群 ##

### 环境 ###

linux: CentOS-7.5\_x64  
hadoop: hadoop-3.2.0  
zookeeper: zookeeper-3.4.10

### 机器规划 ###

<table> 
 <thead> 
  <tr> 
   <th align="left">主机名</th> 
   <th align="left">IP</th> 
   <th align="left">安装软件</th> 
   <th align="left">运行进程</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">node-1</td> 
   <td align="left">192.168.91.11</td> 
   <td align="left">hadoop</td> 
   <td align="left">NameNode,ResourceManager,DFSZKFailoverController</td> 
  </tr> 
  <tr> 
   <td align="left">node-2</td> 
   <td align="left">192.168.91.12</td> 
   <td align="left">hadoop,zookeeper</td> 
   <td align="left">NameNode,ResourceManager,QuorumPeerMain,DFSZKFailoverController</td> 
  </tr> 
  <tr> 
   <td align="left">node-3</td> 
   <td align="left">192.168.91.13</td> 
   <td align="left">hadoop,zookeeper</td> 
   <td align="left">QuorumPeerMain,DataNode,NodeManager,JournalNode</td> 
  </tr> 
  <tr> 
   <td align="left">node-4</td> 
   <td align="left">192.168.91.14</td> 
   <td align="left">hadoop,zookeeper</td> 
   <td align="left">QuorumPeerMain,DataNode,NodeManager,JournalNode</td> 
  </tr> 
 </tbody> 
</table>

### 前置准备 ###

四台机器需要ssh免密登录，node-2,node-3,node-4需要安装[zookeeper][]、java环境

### 集群搭建 ###

# 下载
    $ wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.2.0.tar.gz
    
    # 解压
    $ tar -zxvf hadoop-3.2.0.tar.gz
    
    # 配置系统的环境变量
    $ vim /etc/profile
    
    export JAVA_HOME=/usr/local/jdk1.8.0_191
    export PATH=$PATH:$JAVA_HOME/bin
    
    export HADOOP_HOME=/export/servers/hadoop-3.2.0
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    
    # 进入解压目录配置环境变量
    $ cd $HADOOP_HOME
    
    # 配置hadoop-env.sh 添加下面配置（不配置启动会报错）
    $ vim etc/hadoop/core-site.xml
    
    export JAVA_HOME=/usr/local/jdk1.8.0_191
    
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_JOURNALNODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
    
    
    
    # 配置core-site.xml
    $ vim etc/hadoop/core-site.xml
    
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    
    <configuration>
    
        
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://ns</value>
        </property>
    
        
        <property>
            <name>ha.zookeeper.quorum</name>
            <value>node-2:2181,node-3:2181,node-4:2181</value>
        </property>
    
        <property>   
            <name>hadoop.tmp.dir</name>   
            <value>/export/data/hadoop/temp</value>
        </property>
    
        <property>
            <name>hadoop.proxyuser.root.hosts</name>
            <value>*</value>
        </property>
    
        <property>
            <name>hadoop.proxyuser.root.groups</name>
            <value>*</value>
        </property>
    
    </configuration>
    
    
    
    # 配置hdfs-site.xml
    $ vim etc/hadoop/hdfs-site.xml
    
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    
    <configuration>
    
        
        <property>
            <name>dfs.nameservices</name>
            <value>ns</value>
        </property>
    
        
        <property>
            <name>dfs.ha.namenodes.ns</name>
            <value>nn1,nn2</value>
        </property>
    
        
        <property>
            <name>dfs.namenode.rpc-address.ns.nn1</name>
            <value>node-1:9000</value>
        </property>
    
        
        <property>
            <name>dfs.namenode.http-address.ns.nn1</name>
            <value>node-1:50070</value>
        </property>
    
        
        <property>
            <name>dfs.namenode.rpc-address.ns.nn2</name>
            <value>node-2:9000</value>
        </property>
    
        
        <property>
            <name>dfs.namenode.http-address.ns.nn2</name>
            <value>node-2:50070</value>
        </property>
    
        
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://node-3:8485;node-4:8485/ns</value>
        </property>
    
        
        <property>
            <name>dfs.journalnode.edits.dir</name>
            <value>/export/data/hadoop/journaldata</value>
        </property>
    
        
        <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
    
        
        <property>
            <name>dfs.client.failover.proxy.provider.bi</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
    
        
        <property>
            <name>dfs.ha.fencing.methods</name>
            <value>
                sshfence
                shell(/bin/true)
            </value>
        </property>
    
        
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
        </property>
    
        
        <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
        </property>
    
        <property>
            <name>dfs.ha.namenodes.jn</name>
            <value>node-3,node-4</value>
        </property>
    
    </configuration>
    
    # 配置mapred-site.xml
    $ vim etc/hadoop/mapred-site.xml
    
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    
    <configuration>
    
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    
        <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
    
        <property>
            <name>mapreduce.map.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
    
        <property>
            <name>mapreduce.reduce.env</name>
            <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
        </property>
    
    </configuration>
    
    
    # 配置yarn-site.xml
    $ vim etc/hadoop/yarn-site.xml
    
    <?xml version="1.0"?>
    
    <configuration>
    
    
        
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
    
        
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>yarn-ha</value>
        </property>
    
        
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property>
    
        
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>node-1</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>node-2</value>
        </property>
    
        
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>node-2:2181,node-3:2181,node-4:2181</value>
        </property>
    
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    
    </configuration>
    
    
    # 配置workers节点
    $ vim $HADOOP_HOME/etc/hadoop/workers
    
    node-3
    node-4
    
    # 拷贝hadoop到其他节点（node-2,node-3,node-4）
    $ scp -r hadoop-3.2.0 root@node-2:/xxx/xxx/

### hdfs HA 配置 ###

# 启动zookeeper集群
    $ $ZOOKEEPER_HOME/bin/zkServer.sh start
    
    # 查看zookeeper状态
    $ $ZOOKEEPER_HOME/bin/zkServer.sh status
    
    # 启动 JournalNode 集群 分别在 node-3、node-4 上执行以下命令
    $ hdfs --daemon start journalnode
    
    # 格式化 ZooKeeper 集群
    $ hdfs zkfc -formatZK
    
    # 格式化集群的 NameNode (在 node-1 上执行)
    $ hdfs namenode -format
    
    # 启动刚格式化的 NameNode (在 node-1 上执行)
    $ hdfs --daemon start namenode
    
    # 同步 NameNode1 元数据到 NameNode2 上 (在 node-2 上执行)  
    $ hdfs namenode -bootstrapStandby
    
    # 启动 NameNode2 (在 node-2 上执行)
    $ hdfs --daemon start namenode
    
    # 启动集群中所有的DataNode (在 node-1 上执行)  
    $ sbin/start-dfs.sh
    
    # 启动 ZKFC 进程 (在 node-1 和 node-2 的主机上分别执行如下命令)
    $ hdfs --daemon start zkfc
    
    # 验证ha(在node-1节点停掉namenode进程)
    $ hafs --daemon stop namenode

### resourceManager HA 配置 ###

# 在 RM1 启动 YARN (在 node-1 上执行)
    $ yarn --daemon start resourcemanager
    
    # 在 RM2 启动 YARN (在 node-2 上执行)
    $ yarn --daemon start resourcemanager
    
    # 在任意节点执行获取resourceManager状态（active）
    $ yarn rmadmin -getServiceState rm1
    
    # 在任意节点执行获取resourceManager状态（standby）
    $ yarn rmadmin -getServiceState rm2
    
    # 验证 yarn 的 ha（在node-1节点执行）standby 的 resourcemanager 则会转换为 active
    $ yarn --daemon stop resourcemanager
    
    # 在任意节点执行获取resourceManager状态（active）
    $ yarn rmadmin -getServiceState rm2

## 总结 ##

搭建hadoop HA 过程中遇到了很多各种各样的问题上述步骤都是经过验证的如在安装过程中遇到问题可以留言，谢谢！

[zookeeper]: https://blog.csdn.net/fooelliot/article/details/85196423