HA+Federation集群实现（七）

「爱情、让人受尽委屈。」 2022-01-26 09:07 226阅读 0赞

# **集群规划** #

![20170324104319418][]

# **配置步骤** #

#    1、core-site.xml   1）整合Federation和HA的配置   2、hdfs-site.xml   1）添加新增节点配置   3、启动服务   1）zookeeper   2）journalnode   3）datanode   4）namenode   5）zkfc #

# 实施步骤 #

在原有的ha基础上进行配置，即基于《基于ZK自动切换模式的实现（六）》的基础之上进行配置

**1）停止所有服务**

\[hadoop@master ~\]$ hadoop-daemons.sh --hostnames 'master hadoop04' stop zkfc  
\[hadoop@master ~\]$ hadoop-daemons.sh stop datanode  
\[hadoop@master ~\]$ hadoop-daemons.sh --hostnames 'master hadoop04' stop namenode  
\[hadoop@master ~\]$ hadoop-daemons.sh --hostnames 'slave1 slave2 hadoop04' stop journalnode  
\[hadoop@slave1 ~\]$ zkServer.sh stop    《===注意标红处的主机  
\[hadoop@slave2 ~\]$ zkServer.sh stop  
\[hadoop@hadoop04 ~\]$ zkServer.sh stop

**2）vi core-site.xml**

<configuration xmlns:xi="http://www.w3.org/2001/XInclude">  
 <xi:include href="cmt.xml"/>  
 <property>  
  <name>fs.defaultFS</name>  
  <value>viewfs://nsX</value>  
 </property>

<property>  
  <name>hadoop.tmp.dir</name>  
  <value>/opt/hadoop/tmp</value>  
 </property>

<property>  
  <name>dfs.journalnode.edits.dir</name>  
  <value>/opt/hadoop/journalnode/data</value>  
 </property>  
 <property>  
  <name>ha.zookeeper.quorum</name>  
  <value>hadoop04:2181,slave1:2181,slave2:2181</value>  
 </property>  
</configuration>

**3）vi hdfs-site.xml**

<configuration>

<property>  
   <name>dfs.namenode.name.dir</name>  
   <value>file:/opt/hadoop/dfs/name</value>  
 </property>

<property>  
  <name>dfs.datanode.data.dir</name>  
  <value>file:/opt/hadoop/dfs/data</value>  
  </property>

<property>  
  <name>dfs.replication</name>  
  <value>2</value>  
 </property>

<property>  
  <name>dfs.webhdfs.enabled</name>  
  <value>true</value>  
 </property>  
   
   <property>  
  <name>dfs.nameservices</name>  
  <value>ns1,ns2</value>  
 </property>

<property>  
  <name>dfs.ha.namenodes.ns1</name>  
  <value>nn1,nn2</value>  
 </property>  
   
  <property>  
  <name>dfs.ha.namenodes.ns2</name>  
  <value>nn3,nn4</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.rpc-address.ns1.nn1</name>  
  <value>master:9000</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.rpc-address.ns2.nn3</name>  
  <value>slave1:9000</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.rpc-address.ns1.nn2</name>  
  <value>hadoop04:9000</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.rpc-address.ns2.nn4</name>  
  <value>slave2:9000</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.http-address.ns1.nn1</name>  
  <value>master:50070</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.http-address.ns1.nn2</name>  
  <value>hadoop04:50070</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.http-address.ns2.nn3</name>  
  <value>slave1:50070</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.http-address.ns2.nn4</name>  
  <value>slave2:50070</value>  
 </property>  
   
 <property>  
  <name>dfs.namenode.shared.edits.dir</name>  
  <value>qjournal://hadoop04:8485;slave1:8485;slave2:8485/ns1</value>  《==在slave1和slave2上修改为  ns2  
 </property>  
   
 <property>  
  <name>dfs.client.failover.proxy.provider.ns1</name>  
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
 </property>

<property>  
  <name>dfs.client.failover.proxy.provider.ns2</name>  
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
 </property>  
   
 <property>  
  <name>dfs.ha.fencing.methods</name>  
  <value>sshfence</value>  
 </property>  
   
 <property>  
  <name>dfs.ha.fencing.ssh.private-key-files</name>  
  <value>/home/hadoop/.ssh/id\_rsa</value>  
 </property>  
   
 <property>  
  <name>dfs.ha.fencing.ssh.connect-timeout</name>  
  <value>30000</value>  
 </property>  
   
 <property>  
  <name>dfs.ha.automatic-failover.enabled</name>  
  <value>true</value>  
 </property>

</configuration>

**4）同步配置**

\[hadoop@slave2 ~\]$ cd /opt/hadoop/etc/hadoop  
\[hadoop@slave2 ~\]$  scp –r \*.xml slave1:/opt/hadoop/etc/hadoop  
\[hadoop@slave2 ~\]$  scp –r \*.xml slave2:/opt/hadoop/etc/hadoop  
\[hadoop@slave2 ~\]$  scp -r \*.xml hadoop04:/opt/hadoop/etc/hadoop

**5）修改slave1、slave2的hdfs-site.xml**

<property>  
  <name>dfs.namenode.shared.edits.dir</name>  
  <value>qjournal://hadoop04:8485;slave1:8485;slave2:8485/ns1</value>  《==在slave1和slave2上修改为  ns2  
 </property>

**6）启动zookeeper集群**  
\[hadoop@slave1 hadoop\]$ zkServer.sh start  
\[hadoop@slave2 hadoop\]$ zkServer.sh start  
\[hadoop@hadoop04  hadoop\]$ zkServer.sh start

**7）zkfc重新格式化**  
ON MASTER   《===理论上可以不做，只做slave1上的格式化  
\[hadoop@master hadoop\]$ hdfs zkfc –formatZK

On slave1  
\[hadoop@slave1 ~\]$ hdfs zkfc –formatZK

**8）启动journalnode服务**  
\[hadoop@master hadoop\]$  hadoop-daemons.sh --hostnames 'slave1 slave2 hadoop04' start journalnode

**9）在slave1上执行journalnode的初始化**  
\[hadoop@slave1 ~\]$  hdfs namenode –initializeSharedEdits  
在以前的ha配置过程中master节点也执行过这个操作

**10）格式化slave1**  
\[hadoop@slave1 ~\]$ hdfs namenode -format -clusterid hd260

**11）启动master的namenode服务**  
\[hadoop@master hadoop\]$ hadoop-daemon.sh start namenode

**12）hadoop04节点namenode信息同步**  
\[hadoop@hadoop04 hadoop\]$ hdfs namenode –bootstrapStandby

**13）hadoop04节点 namenode服务启动**  
\[hadoop@hadoop04 hadoop\]$ hadoop-daemon.sh start namenode

**14） slave1节点namenode服务启动 **

\[hadoop@slave1 ~\]$ hadoop-daemon.sh start namenode

**15）在slave2上进行namenode信息同步**  《==在这里同步跟格式化是一个效果

\[hadoop@slave2 hadoop\]$  hdfs namenode –bootstrapStandby

**16）在slave2上启动namenode**  
\[hadoop@slave2 hadoop\]$ hadoop-daemon.sh start namenode

**17）启动datanode**  
\[hadoop@master hadoop\]$ hadoop-daemons.sh start datanode

**18）**

\[hadoop@master hadoop\]$ hadoop-daemons.sh --hostnames 'master slave1 slave2 hadoop04' start zkfc

**19）**

![20170324105016866][]

![20170324105028820][]

![20170324105045321][]![20170324105037571][]

状态正确，配置成功  
\---------------------   
作者：forever19870418   
来源：CSDN   
原文：https://blog.csdn.net/forever19870418/article/details/65627042   
版权声明：本文为博主原创文章，转载请附上博文链接！

[20170324104319418]: /images/20220126/4ef736e8dcad41d989459e2c72d6cfa9.png
[20170324105016866]: /images/20220126/b84316d3298d433e869202f2c48436f6.png
[20170324105028820]: /images/20220126/c046722886f848789c2eb0caed1fdda4.png
[20170324105045321]: https://img-blog.csdn.net/20170324105045321
[20170324105037571]: /images/20220126/181b6c42e4a046058fc13322e208feca.png

发表评论取消回复

表情：

评论列表（有 0 条评论，226人围观）

还没有评论，来说两句吧...

相关阅读

相关谷粒商城集群篇 (七) --------- Redis 集群

目录一、Redis 集群形式 1. 数据分区方案 2. 高可用方式二、Redis-Cluster 1. 槽

ゝ一世哀愁。/ 2024年04月03日 09:50/ 0 赞/ 84 阅读

相关【Kubernetes实战】（七）集群命令

目录一、环境安装二、集群NameSpace命令三、查看各组件和简写 1、Pod 2、Service 3、Deployment 4、DaemonSet 5、

﹏ヽ暗。殇╰゛Y/ 2024年03月25日 23:44/ 0 赞/ 48 阅读

相关（七）整合 Redis集群 ,实现消息队列场景

整合 Redis集群 ,实现消息队列场景 1、Redis集群简介 1.1 RedisCluster概念 2、SpringBoot整合Redis集群

清疚/ 2023年02月24日 03:41/ 0 赞/ 5 阅读

相关 Kubernetes(七)：集群调度

文章目录一、集群调度 1.1 调度器简介 1.2 调度过程 1.3 自定义调度器二、调度选择 2.1

╰半橙微兮°/ 2022年11月27日 06:28/ 0 赞/ 185 阅读

相关 Apache shiro集群实现（七）分布式集群系统下---cache共享

[Apache shiro集群实现（一） shiro入门介绍][Apache shiro_ _ shiro] [Apache shiro集群实现（二） shiro 的IN

布满荆棘的人生/ 2022年08月05日 12:24/ 0 赞/ 217 阅读

相关 redis集群实现（三）集群删除节点

redis集群里的节点支持动态删除，但是一般情况下不会这么做，只有在节点软硬件升级的时候才会主动让节点下线。删除节点的方式就是redis-cli客户端连接到服务器，然后执行cl

快来打我*/ 2022年07月15日 10:41/ 0 赞/ 873 阅读

相关 redis集群实现(七)sentinel数据结构和初始

上节我们看过了sentinel协调者模块处理集群故障节点的功能，今天我们看一下sentinel的处理架构以及sentinel的初始化流程。首先，sentinel是独立于数据

待我称王封你为后i/ 2022年07月13日 08:07/ 0 赞/ 182 阅读

相关 Redis集群实现

Redis cluster tutorial Redis集群提供一种方式自动将数据分布在多个Redis节点上。 Redis Cluster provides a way

客官°小女子只卖身不卖艺/ 2022年05月24日 00:28/ 0 赞/ 182 阅读

相关 Redis（七）：集群（cluster）

文章目录 1、Redis 集群简介 2、Redis 集群功能限制 3、Redis Cluster 设计的主要特性和基本原理

╰半橙微兮°/ 2022年01月27日 06:39/ 0 赞/ 572 阅读

相关 HA+Federation集群实现（七）

集群规划 ![20170324104319418][] 配置步骤 1、core-site.xml 1）整合Federation和HA的配置

「爱情、让人受尽委屈。」/ 2022年01月26日 09:07/ 0 赞/ 227 阅读