Hadoop：HA搭建

女爷i 2024-03-17 22:39 66阅读 0赞

### 准备工作 ###

![在这里插入图片描述][c14ee6983fd34f0e8b0fb31becbf898d.png_pic_center]

1.把集群全部停掉

在三台节点上都做（通过右键----> 发送输入到—>所有会话）=====================

2.在/opt下创建ha目录  
sudo mkdir /opt/ha

3.设置所属主和所属组  
sudo chown atguigu:atguigu ha

====================改回来 ：通过右键---->发送输入到----当前会话  
=在hadoop102

4.将原hadoop拷贝到/opt/ha下（在hadoop102上即可–后面会分发）  
cp -r /opt/module/hadoop-3.1.3 /opt/ha

5.将/opt/ha下的hadoop里面的data logs 和/tmp/\* 全部删除  
（在hadoop102上即可–因为hadoop103和hadoop104没有分发呢)  
rm -rf data logs  
sudo rm -rf /tmp/\*

6.配置环境变量（将指向/opt/module/hadoop-3.1.3 修改成指向/opt/ha/hadoop-3.1.3）  
sudo vim /etc/profile.d/my\_env.sh

修改
    #定义HADOOP_HOME变量
    export HADOOP_HOME=/opt/ha/hadoop-3.1.3

7.分发环境变量  
sudo scp -r /etc/profile.d/my\_env.sh hadoop103:/etc/profile.d/my\_env.sh  
sudo scp -r /etc/profile.d/my\_env.sh hadoop104:/etc/profile.d/my\_env.sh

8.让hadoop102,hadoop103,hadoop104环境变量生效  
全部断开连接重新连。  
每台节点一定要验证 ：echo $HADOOP\_HOME

9.分发  
xsync /opt/ha/hadoop-3.1.3

### NN-HA配置 ###

1.准备工作做好

2.配置core-site.xml  
  
  
fs.defaultFS  
hdfs://mycluster

<property>
    	<name>hadoop.tmp.dir</name>
    	<value>/opt/ha/hadoop-3.1.3/data</value>
      </property>

2.配置hdfs-site.xml

<property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/name</value>
      </property>
    
      
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/data</value>
      </property>
    
      
      <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>${hadoop.tmp.dir}/jn</value>
      </property>
    
      
      <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
      </property>
    
      
      <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2,nn3</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop102:8020</value>
      </property>
      <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop103:8020</value>
      </property>
      <property>
        <name>dfs.namenode.rpc-address.mycluster.nn3</name>
        <value>hadoop104:8020</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop102:9870</value>
      </property>
      <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop103:9870</value>
      </property>
      <property>
        <name>dfs.namenode.http-address.mycluster.nn3</name>
        <value>hadoop104:9870</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
      </property>
    
      
      <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>
    
      
      <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
      </property>
    
      
      <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/atguigu/.ssh/id_rsa</value>
      </property>

分发=======

3.在(hadoop102,hadoop103,hadoop104)启动journalnode  
hdfs --daemon start journalnode

4.在\[hadoop102\]上，对其进行格式化，并启动NameNode  
hdfs namenode -format  
hdfs --daemon start namenode

5.在hadoop103和hadoop104上同步元数据并启动NameNode  
hdfs namenode -bootstrapStandby  
hdfs --daemon start namenode

6.启动三台节点上的datanode  
hdfs --daemon start datanode

手动故障转移=============================

7.将\[nn1–hadoop102\]切换为Active  
hdfs haadmin -transitionToActive nn1

8.查看是否Active  
hdfs haadmin -getServiceState nn1

自动故障转移===============================  
1.配置文件 注意！！！！！如果只是玩手动故障转移不要配置下面的内容  
（1）在hdfs-site.xml中增加  
  
dfs.ha.automatic-failover.enabled  
true  
  
（2）在core-site.xml文件中增加  
  
ha.zookeeper.quorum  
hadoop102:2181,hadoop103:2181,hadoop104:2181

分发=======

（1）关闭所有HDFS服务：  
stop-dfs.sh  
（2）启动Zookeeper集群：  
zkCluster.sh start  
（3）初始化HA在Zookeeper中状态：  
hdfs zkfc -formatZK  
（4）启动HDFS服务：  
start-dfs.sh

（5）验证  
将active的那台namenode给停掉查看其它namenode有没有变成active  
hdfs --daemon stop namenode

13074 JournalNode  
12275 QuorumPeerMain  
13300 DFSZKFailoverController  
12700 NameNode  
12829 DataNode

### RM-HA配置 ###

1.在NN的HA配置好的前提下

2.配置yarn-site.xml  
  
yarn.nodemanager.aux-services  
mapreduce\_shuffle

<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    
    
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>
    
    
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value>
    </property>

<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>
    
    
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop102:8088</value>
    </property>
    
    
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop102:8032</value>
    </property>
    
    
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>  
        <value>hadoop102:8030</value>
    </property>
    
      
    <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hadoop102:8031</value>
    </property>

<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop103:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop103:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop103:8030</value>
    </property>
    
    <property>

yarn.resourcemanager.resource-tracker.address.rm2  
hadoop103:8031

<property>
        <name>yarn.resourcemanager.hostname.rm3</name>
        <value>hadoop104</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.webapp.address.rm3</name>
        <value>hadoop104:8088</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.address.rm3</name>
        <value>hadoop104:8032</value>
    </property>
    
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm3</name>  
        <value>hadoop104:8030</value>
    </property>
    
      
    <property>
    <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
        <value>hadoop104:8031</value>
    </property>
    
     
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    
     
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    
     
    <property>
        <name>yarn.resourcemanager.store.class</name>     
    	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

<property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

3.分发文件

4.在hadoop102中执行：  
start-yarn.sh

5.查看服务状态  
yarn rmadmin -getServiceState rm1

yarn --daemon stop resourcemanager

[c14ee6983fd34f0e8b0fb31becbf898d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/e7874003ceab4a00a74065495adbf4b0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，66人围观）

还没有评论，来说两句吧...

相关阅读

相关【Hadoop】Hadoop生态系列之搭建HadoopHA集群

上一篇：[Hadoop生态系列之MapReduce Shuffle概述及常见问题][Hadoop_MapReduce Shuffle] 指路牌 Hadoop

野性酷女/ 2023年10月05日 11:24/ 0 赞/ 48 阅读

相关搭建java_搭建JAVA环境

1 jdk的获取 jdk的获取路径有很多这种，我把我网盘上存的分享个大家，大家直接下载就可以了。 http://pan.baidu.com/s/1pLsJLtp(这是一个公

灰太狼/ 2022年10月23日 14:23/ 0 赞/ 381 阅读

相关 Hbase分布式搭建之Hbase搭建

在安装之前先介绍下Hbase，Hadoop生态系统中HBase所处位置，实现的功能，解决的问题。 HBase – Hadoop Database，是一个高可靠性、高性能、面向

刺骨的言语ヽ痛彻心扉/ 2022年05月29日 02:30/ 0 赞/ 435 阅读

相关 Hbase分布式搭建之Zookeeper搭建

-------------------- zookeeper 安装包：[https://download.csdn.net/download/leoe\_/10292256]

比眉伴天荒/ 2022年05月29日 02:25/ 0 赞/ 297 阅读

相关 Hbase分布式搭建之hadoop搭建

一、搭建环境虚拟机数量：3台操作系统：Ubuntu 14.04 Hadoop：Hadoop 2.2.0 Java：java version “1.7.0\

╰+攻爆jí腚メ/ 2022年05月29日 02:24/ 0 赞/ 265 阅读

相关 Nexus私服快速搭建搭建

Nexus私服快速搭建搭建需要一个nexus的war包下载地址 [https://download.csdn.net/downlo

落日映苍穹つ/ 2022年05月27日 09:59/ 0 赞/ 304 阅读

相关 java架构搭建（一）--工程搭建

当今程序员做开发几乎都是从半空学起，什么意思呢？如今做开发的公司都会有自己的框架或者叫平台，无论叫什么吧，归根到底就是架构。架构师把整个项目可以封装的功能进行封装，从而

柔光的暖阳◎/ 2022年04月14日 02:53/ 0 赞/ 415 阅读

相关 java架构搭建（一）--工程搭建

当今程序员做开发几乎都是从半空学起，什么意思呢？如今做开发的公司都会有自己的框架或者叫平台，无论叫什么吧，归根到底就是架构。架构师把整个项目可以封装的功能进行封装，从而

痛定思痛。/ 2022年03月30日 11:40/ 0 赞/ 390 阅读

相关基于Docker搭建GitLab环境搭建

建议虚拟机内存3G以上，我这里虚拟机地址192.168.128.128 1.下载镜像文件 > docker pull beginor/gitlab-ce:11.0.1-ce

我会带着你远行/ 2022年03月30日 11:24/ 0 赞/ 570 阅读

相关 Hexo 搭建：搭建与配置

其实很久之前就有搭建自己博客的想法，但是一直都没有时间去实践，最近刚好有时间，就尝试搭建了一下，不多说废话，直接进入主题，首先就是环境问题了准备环境

系统管理员/ 2022年01月23日 00:05/ 0 赞/ 434 阅读