搭建高可用的hadoop集群

水深无声 2022-01-28 19:21 225阅读 0赞

#### 高可用的原理 ####

--------------------

##### 完全分布式 #####

只有一个namenode ，会发生单点故障

##### hadoop集群的高可用 #####

集群有2个namenode  
同一时间有一个对外提供服务 active namenode  
另一个namenode 热备 stanby namenode  
一旦active的宕机 stanby立即切换为actice 客户端感觉集群一直有namenode

##### 如何实现： #####

###### 保证两件事： ######

###### 1）stanby namenode 和 active namenode的元数据 保持一致 ######

namenode ： edits+fsiamge 
    	fsimage文件  如何保持一致的
    		最开始 hdfs格式化的生成最初的fsimage文件  / 
    		后面的fsiamge文件  通过最初的faimage+edits 文件合并得来的
    		faimage文件  要想保证一致 只需要保证 格式化时候faimage文件保持一致
    		最开始在一个namenode 进行格式化  生成fsimage文件  在将这个fsiamge文件发送给另一个namenode就可以
    	edits：
    		只要集群一启动  持续不断的产生 在active namenode 上
    		standby 怎么更新：
    			1）每隔半个小时  standby 拷贝一次   不可行
    			会造成数据丢失   不可行
    			2）将edits文件放在一个共享平台上 standby 监听这个共享平台的数据 一旦数据更新  就将edits数据拉取到stanby本地
    			
    			edits文件  存储在 zk？ 
    				znode 1M 1kb   不合理的
    			hadoop2.0 内部提供了一个共享日志平台：
    				QJM 
    				高可用两种 共享平台方案：
    				high avalibility with QJM 
    					QJM 
    						Quorum journal  manager 共享日志管理平台
    						hadoop2.0自带的 用于存储edits文件
    						将edits文件  存储在 Quorum journal 平台中
    						启动时候  进程：
    							jounalnode 
    							安装节点  奇数个 最少3个
    							
    				high avalibility with 	NFS ：
    					自己搭建的  基于磁盘的  日志文件平台

###### 2）stanby 要能够立即感知active的状态变化 ######

做到无缝切换
    	stanby  active 关于 当前的active namenode 的状态信息一致 分布式一致性 
    	保存的就是一个状态  0 1 
    	借助zookeeper 
    	active namenode 将状态信息写入到zookeeper中的一个znode上 
    	stanby namenode对这个znode添加监听  
    	一旦发现这个znode内容变化  立即将自己的状态切换为active的
    	但是为了防止脑裂现象（两个 active namenode ） stanby 切换之前会远程向原来的actice 发送一个shell脚本  ssh 远程命令 保证原来的active确实宕机的
    	每一个namenode   zkfc 
    	zkfc和namenode 同一个节点上 
    	zkfc：监控每一个namenode的健康状况  将信息写入zk中

注意：在hadoop的ha中 没有secondary namenode  
secondary namenode 元数据合并的任务 stanby namenode

##### 高可用的搭建： #####

节点个数   3台
    集群规划：
    安装组件：
    hdfs 
    	namenode 2 
    	zkfc   2
    	datanode 10 
    	jounalnode 3台
    yarn 
    	resourcemanager 2
    	nodemanager   10
    zookeeper  3
    	quorumpeermain 
    jdk  
    注意：hadoop搭建过程中 slaves 配置  datanode 和nodemanager 
    		一个集群中 datanode节点 肯定 nodemanager节点 相同的 
    		datanode 存储  nodemanager 计算资源 
    		存储  计算  在一起
    生产：15节点
    规划：
    zk  hdp01  hdp02  hdp03 
    namenode|resourcemanager hdp04 hdp05   zkfc 
    剩下的10台机器：
    journalnode   hdp06  hdp07  hdp08 
    datanode| nodemanager  10 
    
    自己集群的规划：
    		hdp01             hdp02              hdp03
    hdfs	namenode		namenode 
    		zkfc			zkfc 
    		jounalnode		jounalnode			jounalnode
    		datanode		datanode			datanode
    
    yarn 					resourcemanager		resourcemanager
    		nodemanager		nodemanager			nodemanager
    zookeeper
    		quorumpeermain	quorumpeermain		quorumpeermain
    		6                 7                   5
    
    zkfc: ZKFailoverController
    
    安装：
        安装准备：
    	版本： 2.7.7 
    	删除之前的hadoop 完全分布式  所有hadoop节点
    		1）先关闭集群
    		2）删除安装包 
    		3）删除hadoop的数据目录
    		/home/hadoop/data/hadoopdata

9步安装准备

安装：
    	1 上传
    	2 解压
    		tar -xvzf hadoop-2.7.7.tar.gz
    	3 配置环境变量 
    		在/home/hadoop/apps/执行下面的命令
    		ln -s hadoop-2.7.7 hadoop
    		修改环境变量：
    		export HADOOP_HOME=/home/hadoop/apps/hadoop
    		export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    	
    	source /etc/profile 
    	hadoop version 
    	
    4 修改hadoop的配置文件：
    	1）hadoop-env.sh 
    		export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
    	2)core-site.xml
    	
    		
    		<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://bd1901/</value>
    		</property>
    
    		
    		<property>
    		<name>hadoop.tmp.dir</name>
    		<value>/home/hadoop/data/hadoopdata/</value>
    		</property>
    
    		
    		<property>
    		<name>ha.zookeeper.quorum</name>
    		<value>hdp01:2181,hdp02:2181,hdp03:2181</value>
    		</property>
    
    	
    	
    	3)hdfs-site.xml
    	
    		
    		<property>
    		<name>dfs.replication</name>
    		<value>2</value>
    		</property>
    		
    		<property>
    		<name>dfs.nameservices</name>
    		<value>bd1901</value>
    		</property>
    
    		
    		<property>
    		<name>dfs.ha.namenodes.bd1901</name>
    		<value>nn1,nn2</value>
    		</property>
    
    		
    		<property>
    		<name>dfs.namenode.rpc-address.bd1901.nn1</name>
    		<value>hdp01:8020</value>
    		</property>
    		
    		<property>
    		<name>dfs.namenode.http-address.bd1901.nn1</name>
    		<value>hdp01:50070</value>
    		</property>
    
    		
    		<property>
    		<name>dfs.namenode.rpc-address.bd1901.nn2</name>
    		<value>hdp02:8020</value>
    		</property>
    		
    		<property>
    		<name>dfs.namenode.http-address.bd1901.nn2</name>
    		<value>hdp02:50070</value>
    		</property>
    
    		
    		<property>
    		<name>dfs.namenode.shared.edits.dir</name>
    		<value>qjournal://hdp01:8485;hdp02:8485;hdp03:8485/bd1901</value>
    		</property>
    
    		
    		<property>
    		<name>dfs.journalnode.edits.dir</name>
    		<value>/home/hadoop/data/hadoopdata/jounalnodedata</value>
    		</property>
    		
    		<property>
    		<name>dfs.ha.automatic-failover.enabled</name>
    		<value>true</value>
    		</property>
    
    		
    		
    		<property>
    		<name>dfs.client.failover.proxy.provider.bd1901</name>
    		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    		</property>
    
    		
    		<property>
    		<name>dfs.ha.fencing.methods</name>
    		<value>
    		sshfence
    		shell(/bin/true)
    		</value>
    		</property>
    		
    		<property>
    		<name>dfs.ha.fencing.ssh.private-key-files</name>
    		<value>/home/hadoop/.ssh/id_rsa</value>
    		</property>
    		
    		<property>
    		<name>dfs.ha.fencing.ssh.connect-timeout</name>
    		<value>30000</value>
    		</property>
    	
    	
    	4)mapred-site.xml  
    		mv mapred-site.xml.template mapred-site.xml
    		
    		<property>
    		 <name>mapreduce.framework.name</name>
    		 <value>yarn</value>
    		</property>
    		
    		<property>
    		<name>mapreduce.jobhistory.address</name>
    		<value>hdp03:10020</value>
    		</property>
    		
    		<property>
    		<name>mapreduce.jobhistory.webapp.address</name>
    		<value>hdp03:19888</value>
    		</property>
    	5)yarn-site.xml
    		
    		<property>
    		 <name>yarn.resourcemanager.ha.enabled</name>
    		 <value>true</value>
    		</property>
    		
    		<property>
    		 <name>yarn.resourcemanager.cluster-id</name>
    		 <value>yarn1901</value>
    		</property>
    		
    		<property>
    		 <name>yarn.resourcemanager.ha.rm-ids</name>
    		 <value>rm1,rm2</value>
    		</property>
    
    		
    		<property>
    		 <name>yarn.resourcemanager.hostname.rm1</name>
    		 <value>hdp02</value>
    		</property>
    		<property>
    		 <name>yarn.resourcemanager.hostname.rm2</name>
    		 <value>hdp03</value>
    		</property>
    		
    		<property>
    		 <name>yarn.resourcemanager.zk-address</name>
    		 <value>hdp01:2181,hdp02:2181,hdp03:2181</value>
    		</property>
    		
    		<property>
    		 <name>yarn.nodemanager.aux-services</name>
    		 <value>mapreduce_shuffle</value>
    		</property>
    
    		
    		<property>
    		 <name>yarn.log-aggregation-enable</name>
    		 <value>true</value>
    		</property>
    		
    		<property>
    		 <name>yarn.log-aggregation.retain-seconds</name>
    		 <value>86400</value>
    		</property>
    		
    		<property>
    		 <name>yarn.resourcemanager.recovery.enabled</name>
    		 <value>true</value>
    		</property>
    		
    		<property>
    		 <name>yarn.resourcemanager.store.class</name>
    		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    		</property>
    	
    	
    	6)slaves 
    		hdp01
    		hdp02
    		hdp03
    5 远程发送
    	hadoop安装包
    		scp -r hadoop-2.7.7 hdp02:/home/hadoop/apps/
    		scp -r hadoop-2.7.7 hdp03:/home/hadoop/apps/
    	
    	配置文件 
    		sudo scp /etc/profile hdp02:/etc 
    		sudo scp /etc/profile hdp03:/etc 
    		创建软连
    		ln -s hadoop-2.7.7 hadoop
    		source /etc/profile
    	
    6 格式化  启动  
    一定按照以下顺序来进行
    	1）启动zk  每一个zk节点执行
    	zkServer.sh start
    	2）启动jounalnode 
    	hdp01 hdp02  hdp03 
    	hadoop-daemon.sh start journalnode
    	
    	3）选择一个namenode节点进行格式化
    	hdp01 
    	hdfs namenode -format 
    	4)将hdp01 元数据  远程发送到另一个namenode节点 hdp02
    	 scp -r hadoopdata hdp02:/home/hadoop/data/
    	 保证fsiamge文件是一致的
    	5）初始化zkfc 
    	hdp01 或 hdp02 
    	监控每一个namenode的健康状况 写入zookeeper 
    	在任意一个namenode执行  只需要执行一次
    	
    	hdfs zkfc -formatZK
    	Successfully created /hadoop-ha/bd1901 in ZK.
    	就在zookeeper中创建一个节点  两个namenode的nameservice的节点/hadoop-ha/bd1901 存储两个namenode的状态信息的
    	
    	6）启动
    	先启动hdfs 
    	start-dfs.sh   在任意一个节点
    	启动yarn
    	start-yarn.sh  最好在yarn的一个主节点
    	在另一个yarn的主节点 启动 resourcemanager
    	yarn-daemon.sh start resourcemanager
    	
    7 验证
    验证hdfs的主备切换
    	将active的kill掉  检测  stanby的是否可以切换
    	启动原来的active 
    	hadoop-daemon.sh start namenode 
    	
    	正常上传一个文件  上传过程  进行主备切换 检测一下是否可以上传成功 
    验证yarn的主备切换