2.1.8 hadoop体系之离线计算-hdfs分布式文件系统-HA(高可用)-Hadoop集群环境搭建

拼搏现实的明天。 2022-12-29 11:24 167阅读 0赞

**目录**

1.准备工作

2.安装工作

2.1、集群规划

2.2、集群配置

1. hadoop-env.sh

2. core-site.xml

3. hdfs-site.xml

4. mapred-site.xml

5. yarn-site.xml

6. slaves

2.3、启动集群（初始化工作）

1. 启动3个Zookeeper

2. 启动3个JournalNode

3. 格式化NameNode

4. 复制hadoop01上的NameNode的元数据到hadoop02

5. 在NameNode节点(hadoop01或hadoop02)格式化zkfc

6. 在hadoop01上启动HDFS相关服务

7. 在hadoop03上启动YARN相关服务

8. 最后单独启动hadoop01的历史任务服务器和hadoop02的ResourceManager

2.4、查看集群

1. jps进程查看

2. WebUI查看

2.5、代码测试HA

2.6、集群二次启动

--------------------

# 1.准备工作 #

jdk1.8 、hadoop2.7.7 、zookeeper3.5.7

三台节点安装 `psmisc`

sudo yum -y install psmisc

# 2.安装工作 #

## 2.1、集群规划 ##

![图片][632ea9d146d6ff6d883a5255f225e4e6.png]

## 2.2、集群配置 ##

先创建好所需目录

[xiaokang@hadoop01 ~]$ mkdir -p /opt/software/hadoop-2.7.7/tmp
    [xiaokang@hadoop01 ~]$ mkdir -p /opt/software/hadoop-2.7.7/dfs/journalnode_data
    [xiaokang@hadoop01 ~]$ mkdir -p /opt/software/hadoop-2.7.7/dfs/edits
    [xiaokang@hadoop01 ~]$ mkdir -p /opt/software/hadoop-2.7.7/dfs/datanode_data
    [xiaokang@hadoop01 ~]$ mkdir -p /opt/software/hadoop-2.7.7/dfs/namenode_data

### 1. hadoop-env.sh ###

export JAVA_HOME=/opt/moudle/jdk1.8.0_191
    export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop

### 2. core-site.xml ###

<configuration>
        <property>
            
            <name>fs.defaultFS</name>
            <value>hdfs://hacluster</value>
        </property>  
        <property>
               
            <name>hadoop.tmp.dir</name>
            <value>file:///opt/software/hadoop-2.7.7/tmp</value>
        </property>
        <property>
            
            <name>io.file.buffer.size</name>
            <value>4096</value>
        </property>
        <property>
            
            <name>ha.zookeeper.quorum</name>
            <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
        </property>
    </configuration>

### 3. hdfs-site.xml ###

<configuration>
        <property>
            
            <name>dfs.block.size</name>
            <value>134217728</value>
        </property>
        <property>
            
            <name>dfs.replication</name> 
            <value>3</value>
        </property>
        <property>
            
            <name>dfs.name.dir</name> 
            <value>file:///opt/software/hadoop-2.7.7/dfs/namenode_data</value>
        </property>
        <property>
            
            <name>dfs.data.dir</name> 
            <value>file:///opt/software/hadoop-2.7.7/dfs/datanode_data</value>
        </property>
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.datanode.max.transfer.threads</name>
            <value>4096</value>
            </property>
        <property>
            
            <name>dfs.nameservices</name>
            <value>hacluster</value>
        </property>
        <property>
            
            <name>dfs.ha.namenodes.hacluster</name>
            <value>nn1,nn2</value>
        </property>
        
        <property>
            <name>dfs.namenode.rpc-address.hacluster.nn1</name>
            <value>hadoop01:9000</value>
        </property> 
        <property>
            <name>dfs.namenode.servicepc-address.hacluster.nn1</name>
            <value>hadoop01:53310</value>
        </property>
        <property>
            <name>dfs.namenode.http-address.hacluster.nn1</name> 
            <value>hadoop01:50070</value>
        </property>
        
        <property>
            <name>dfs.namenode.rpc-address.hacluster.nn2</name>
            <value>hadoop02:9000</value>
        </property>
        <property>
            <name>dfs.namenode.servicepc-address.hacluster.nn2</name>
            <value>hadoop02:53310</value>
        </property>
        <property>
            <name>dfs.namenode.http-address.hacluster.nn2</name>
            <value>hadoop02:50070</value>
        </property>
        <property>
            
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/hacluster</value>
        </property>
        <property>
            
            <name>dfs.journalnode.edits.dir</name>
            <value>/opt/software/hadoop-2.7.7/dfs/journalnode_data</value>
        </property>
        <property>
            
            <name>dfs.namenode.edits.dir</name>
            <value>/opt/software/hadoop-2.7.7/dfs/edits</value>
        </property>
        <property>
            
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value> 
        </property>
        <property>
            
            <name>dfs.client.failover.proxy.provider.hacluster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>    
        <property>
            
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
        </property>
        <property>
            
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/xiaokang/.ssh/id_rsa</value>
        </property>
        <property>
            
            <name>dfs.permissions</name> 
            <value>false</value>
        </property>
    </configuration>

### 4. mapred-site.xml ###

<configuration>
        <property>  
            
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        <property>
            
            <name>mapreduce.jobhistory.address</name>
            <value>hadoop01:10020</value>
        </property>
        <property>
            
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>hadoop01:19888</value>
        </property>
        <property>
            
            <name>mapreduce.job.ubertask.enable</name>
            <value>true</value>
        </property>
    </configuration>

### 5. yarn-site.xml ###

<configuration>
        <property>
            
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.cluster-id</name>
            <value>hayarn</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property> 
        <property>
            
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>hadoop02</value>
        </property>              
        <property>
            
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>hadoop03</value>
        </property> 
        <property>
            
            <name>yarn.resourcemanager.zk-address</name>
            <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
        </property>    
        <property>
            
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property> 
        <property>
            
            <name>yarn.resourcemanager.store.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        <property>
            
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop03</value>
        </property>
        <property>
            
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            
            <name>yarn.log-aggregation.retain-seconds</name>
            <value>604800</value>
        </property>
    </configuration>

### 6. slaves ###

hadoop01
    hadoop02
    hadoop03

将 Hadoop 安装包分发到其他两台服务器，分发后建议在这两台服务器上也配置一下 Hadoop 的环境变量。

# 将安装包分发到hadoop02
    [xiaokang@hadoop01 ~]$ scp -r /opt/software/hadoop-2.7.7/ xiaokang@hadoop02:/opt/software/
    # 将安装包分发到hadoop03
    [xiaokang@hadoop01 hadoop]$ scp -r /opt/software/hadoop-2.7.7/ xiaokang@hadoop03:/opt/software/

## 2.3、启动集群（初始化工作） ##

### 1. 启动3个Zookeeper ###

[xiaokang@hadoop01 ~]$ zkServer.sh start
    [xiaokang@hadoop02 ~]$ zkServer.sh start
    [xiaokang@hadoop03 ~]$ zkServer.sh start

### 2. 启动3个JournalNode ###

[xiaokang@hadoop01 ~]$ hadoop-daemon.sh    start journalnode
    [xiaokang@hadoop02 ~]$ hadoop-daemon.sh    start journalnode
    [xiaokang@hadoop03 ~]$ hadoop-daemon.sh    start journalnode

### 3. 格式化NameNode ###

【仅hadoop01】
    [xiaokang@hadoop01 ~]$ hdfs namenode -format

### 4. 复制hadoop01上的NameNode的元数据到hadoop02 ###

[xiaokang@hadoop01 ~]$ scp -r /opt/software/hadoop-2.7.7/dfs/namenode_data/current/ xiaokang@hadoop02:/opt/software/hadoop-2.7.7/dfs/namenode_data/

### 5. 在NameNode节点(hadoop01或hadoop02)格式化zkfc ###

【二者选其一即可】
    [xiaokang@hadoop01 ~]$ hdfs zkfc -formatZK
    或
    [xiaokang@hadoop02 ~]$ hdfs zkfc -formatZK

### 6. 在hadoop01上启动HDFS相关服务 ###

[xiaokang@hadoop01 ~]$ start-dfs.sh
    
    Starting namenodes on [hadoop01 hadoop02]
    hadoop02: starting namenode, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-namenode-hadoop02.out
    hadoop01: starting namenode, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-namenode-hadoop01.out
    hadoop03: starting datanode, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-datanode-hadoop03.out
    hadoop02: starting datanode, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-datanode-hadoop02.out
    hadoop01: starting datanode, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-datanode-hadoop01.out
    Starting journal nodes [hadoop01 hadoop02 hadoop03]
    hadoop02: journalnode running as process 7546. Stop it first.
    hadoop01: journalnode running as process 7827. Stop it first.
    hadoop03: journalnode running as process 7781. Stop it first.
    Starting ZK Failover Controllers on NN hosts [hadoop01 hadoop02]
    hadoop01: starting zkfc, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-zkfc-hadoop01.out
    hadoop02: starting zkfc, logging to /opt/software/hadoop-2.7.7/logs/hadoop-xiaokang-zkfc-hadoop02.out

### 7. 在hadoop03上启动YARN相关服务 ###

[xiaokang@hadoop03 ~]$ start-yarn.sh

### 8. 最后单独启动hadoop01的历史任务服务器和hadoop02的ResourceManager ###

[xiaokang@hadoop01 ~]$ mr-jobhistory-daemon.sh start historyserver
    [xiaokang@hadoop02 ~]$ yarn-daemon.sh start resourcemanager

## 2.4、查看集群 ##

### 1. jps进程查看 ###

[xiaokang@hadoop01 ~]$ jps
    8227 QuorumPeerMain
    8916 DataNode
    8663 JournalNode
    8791 NameNode
    9035 DFSZKFailoverController
    11048 JobHistoryServer
    9147 NodeManager
    9260 Jps
    
    [xiaokang@hadoop02 ~]$ jps
    7538 QuorumPeerMain
    8214 NodeManager
    7802 JournalNode
    8010 DataNode
    8122 DFSZKFailoverController
    8346 ResourceManager
    8395 Jps
    7916 NameNode
    
    [xiaokang@hadoop03 ~]$ jps
    8897 Jps
    8343 DataNode
    8472 ResourceManager
    8249 JournalNode
    7994 QuorumPeerMain
    8575 NodeManager
    
    【查看NameNode的状态】
    [xiaokang@hadoop01 ~]$ hdfs haadmin -getServiceState nn1
    active
    [xiaokang@hadoop01 ~]$ hdfs haadmin -getServiceState nn2
    standby
    【查看ResourceManager的状态】
    [xiaokang@hadoop03 ~]$ yarn rmadmin -getServiceState rm1
    standby
    [xiaokang@hadoop03 ~]$ yarn rmadmin -getServiceState rm2
    active

### 2. WebUI查看 ###

HDFS 和 YARN 的端口号分别为 `50070` 和 `8088`，界面应该如下：

此时 hadoop01 上的 `NameNode` 处于可用状态：

![图片][921d1ae27b28365484eeef9529464f05.png]

而 hadoop02 上的 `NameNode` 则处于备用状态：

![图片][3e3e5c65c6abdd085d081694d04f76ca.png]

hadoop03 上的 `ResourceManager` 处于可用状态：

![图片][2718b2861e8ad0311d28676092805cc1.png]

hadoop02 上的 `ResourceManager` 则处于备用状态：

![图片][d0446fb65afdf9ce6dbe006c24dd5ea8.png]

同时界面上也有 `Journal Manager` 的相关信息：

![图片][3a9e778ab57a418e0a62aaa1361fe67f.png]

## 2.5、代码测试HA ##

/**
     * 测试HA集群
     *
     * @author xiaokang
     */
    public class TestHDFS {
        public static void main(String[] args) throws IOException, InterruptedException {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://hacluster");
            conf.set("dfs.nameservices", "hacluster");
            conf.set("dfs.ha.namenodes.hacluster", "nn1,nn2");
            conf.set("dfs.namenode.rpc-address.hacluster.nn1", "192.168.239.161:9000");
            conf.set("dfs.namenode.rpc-address.hacluster.nn2", "192.168.239.162:9000");
            conf.set("dfs.client.failover.proxy.provider.hacluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
    
            FileSystem fs = FileSystem.get(URI.create("hdfs://hacluster"), conf, "xiaokang");
            fs.mkdirs(new Path(args[0]));
            System.out.println("ok-微信公众号：小康新鲜事儿");
        }
    }

[xiaokang@hadoop01 ~]$ hadoop jar Zookeeper-API-1.0.jar TestHDFS /xiaokang
    
    #杀掉active的NameNode之后，再次创建一个文件夹
    [xiaokang@hadoop02 logs]$ kill -9 8277
    [xiaokang@hadoop01 ~]$ hadoop jar Zookeeper-API-1.0.jar TestHDFS /xiaokang1

## 2.6、集群二次启动 ##

上面的集群初次启动涉及到一些必要初始化操作，所以过程略显繁琐。但是集群一旦搭建好后，想要再次启用它是比较方便的，步骤如下（首选需要**确保 ZooKeeper 集群已经启动**）：

在 `hadoop01` 启动 HDFS，此时会启动所有与 HDFS 高可用相关的服务，包括 NameNode、DataNode 、 JournalNode和DFSZKFailoverController：

[xiaokang@hadoop01 ~]$ start-dfs.sh

![图片][818ad4ac061b1cad23705bdcfc278913.png]

在 `hadoop03` 启动 YARN：

[xiaokang@hadoop03 ~]$ start-yarn.sh

![图片][34f64d1374be044e790159166160f351.png]

这个时候 `hadoop02` 上的 `ResourceManager` 服务通常还是没有启动的，需要手动启动：

[xiaokang@hadoop02 ~]$ yarn-daemon.sh start resourcemanager

![图片][1480e45bfefc620437d2fcd0671f4eb7.png]

[632ea9d146d6ff6d883a5255f225e4e6.png]: /images/20221120/c9f92e3200104a28a61d29c004a8deae.png
[921d1ae27b28365484eeef9529464f05.png]: /images/20221120/018052846672435b87969b5b17d2c764.png
[3e3e5c65c6abdd085d081694d04f76ca.png]: https://img-blog.csdnimg.cn/img_convert/3e3e5c65c6abdd085d081694d04f76ca.png
[2718b2861e8ad0311d28676092805cc1.png]: https://img-blog.csdnimg.cn/img_convert/2718b2861e8ad0311d28676092805cc1.png
[d0446fb65afdf9ce6dbe006c24dd5ea8.png]: https://img-blog.csdnimg.cn/img_convert/d0446fb65afdf9ce6dbe006c24dd5ea8.png
[3a9e778ab57a418e0a62aaa1361fe67f.png]: https://img-blog.csdnimg.cn/img_convert/3a9e778ab57a418e0a62aaa1361fe67f.png
[818ad4ac061b1cad23705bdcfc278913.png]: https://img-blog.csdnimg.cn/img_convert/818ad4ac061b1cad23705bdcfc278913.png
[34f64d1374be044e790159166160f351.png]: https://img-blog.csdnimg.cn/img_convert/34f64d1374be044e790159166160f351.png
[1480e45bfefc620437d2fcd0671f4eb7.png]: https://img-blog.csdnimg.cn/img_convert/1480e45bfefc620437d2fcd0671f4eb7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，167人围观）

还没有评论，来说两句吧...

相关阅读

相关 2.1.1 hadoop体系之离线计算-hdfs分布式文件系统-hadoop简介

目录 1.Hadoop介绍 2.Hadoop发展简史 3.Hadoop特性优点 4.Hadoop国内外应用 5.Hadoop版本介绍 5.1 1.x版本架构模型介绍

╰+攻爆jí腚メ/ 2023年03月04日 08:22/ 0 赞/ 31 阅读

相关 2.1.8 hadoop体系之离线计算-hdfs分布式文件系统-HA(高可用)-Hadoop集群环境搭建

目录 1.准备工作 2.安装工作 2.1、集群规划 2.2、集群配置 1. hadoop-env.sh 2. core-site.xml 3. hdfs-site

拼搏现实的明天。/ 2022年12月29日 11:24/ 0 赞/ 168 阅读

相关 2.1.0 hadoop体系之离线计算-hdfs分布式文件系统-基本环境配置

目录 1.虚拟机关闭防火墙 2.机器关闭selinux 3.机器免密码登陆 4.机器时钟同步 5.win配置ip地址映射 6.配置/etc/hosts -----

川长思鸟来/ 2022年12月11日 07:55/ 0 赞/ 190 阅读

相关 2.1.6 hadoop体系之离线计算-hdfs分布式文件系统-全分布式安装

目录 1.写在前面 2.安装条件 3.修改配置文件 3.1 修改hadoop-env.sh 3.2 修改core-site.xml文件 3.3 修改hdfs-sit

梦里梦外;/ 2022年12月09日 04:52/ 0 赞/ 166 阅读

相关 2.1.5 hadoop体系之离线计算-hdfs分布式文件系统-伪分布式安装

目录 1.写在前面 2.Hadoop三种安装模式 2.1.Hadoop单机模式 2.2.Hadoop伪分布式安装模式 2.3.Hadoop完全分布式安装模式 3.安

红太狼/ 2022年12月08日 05:49/ 0 赞/ 124 阅读

相关 2.1.2 hadoop体系之离线计算-hdfs分布式文件系统-存储模型（hdfs分布式存储系统）

hadoop的存储模型整个思想就是：化整为零、并行计算。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_tex

古城微笑少年丶/ 2022年12月04日 08:51/ 0 赞/ 226 阅读

相关 2.4.2 hadoop体系之离线计算-Zookeeper分布式服务框架-单机环境和集群环境搭建

目录 1.前置准备 2.Zookeeper单机安装 2.1 下载 2.2 解压 2.3 配置环境变量 2.4 修改配置zoo.cfg 2.5 启动单机zookee

﹏ヽ暗。殇╰゛Y/ 2022年11月20日 08:11/ 0 赞/ 122 阅读

相关 hadoop HA分布式集群搭建

本文所用软件版本及下载地址： zookeeper : zookeeper-3.3.6 hadoop : hadoop-2.7.4 链接：[https://pan.b

ゝ一纸荒年。/ 2022年05月28日 08:12/ 0 赞/ 312 阅读

相关 Hadoop HA 高可用集群搭建

HDFS分布式集群搭建【高级版】环境及准备 zookeeper集群的搭建 HA-HDFS分布式集群搭建 HDFS集群要保

港控/mmm°/ 2022年01月22日 10:01/ 0 赞/ 317 阅读

相关（六）hadoop系列之__hadoop分布式集群环境搭建

配置hadoop(master,slave1,slave2) 说明： NameNode: master DataNode: sl

喜欢ヅ旅行/ 2021年10月19日 11:14/ 0 赞/ 424 阅读