HDFS+zookeeper高可用QJM安装方案 hadoop3.0.3

叁歲伎倆 2022-05-22 10:55 138阅读 0赞

### 安装    ###

##### 准备JDK #####

1.  把下载好的jdk解压到/usr/java下,最好是
2.      export JAVA_HOME=/usr/java/jdk1.8.0_121/
        export PATH=$PATH:$JAVA_HOME/bin
3.  执行 java -version 看看jdk是不是安装成功

##### 把主机名和ip写入hosts,每台主机上都执行 #####

1.      echo "192.168.0.18 test-18" >> /etc/hosts
        	echo "192.168.0.15 test-15" >> /etc/hosts
        	echo "192.168.0.16 test-16" >> /etc/hosts
2.  ping 一下主机名，顺便测试一下联通性

##### 免密ssh登录 #####

1.  在第一台主机上执行
    
        ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
        		cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2.  其余的机器上执行
    
        使用scp命令把第一台机器上.ssh目录下id_dsa和authorized_keys拷贝到本地的.ssh目录下
        	 注意，文件的权限：.ssh 700  id_dsa 444  authorized_keys 644
3.  测试主机之间的免密ssh登录，注意两两之间都应该能免密登录

##### 安装Zookeepr #####

1.  https://www.w3cschool.cn/zookeeper/zookeeper\_installation.html

##### 设计你的hdfs集群 #####

#####  #####

test-15 NameNode journalnode  datanode  
   test-16 NameNode journalnode  datanode  
   test-18 journalnode datenode  datanode

##### 修改配置文件，如果需要精确修改请参考官方文档，这里的目的就是基础设置 #####

hdfs-site.xml

<configuration>
    	<property>  
          	<name>dfs.nameservices</name> 
          	
          	<value>mycluster</value>  
        </property>
        <property>  
      	   	<name>dfs.ha.namenodes.mycluster</name>
      	   	
      		<value>nn1,nn2</value>  
    	</property>
    	<property>  
          	<name>dfs.namenode.rpc-address.mycluster.nn1</name> 
          	
          	<value>test-15:8020</value>  
        </property>  
        <property>  
          	<name>dfs.namenode.rpc-address.mycluster.nn2</name> 
          	
          	<value>test-16:8020</value>  
        </property>
        <property>  
      		<name>dfs.namenode.http-address.mycluster.nn1</name>
      		
      		<value>test-15:50070</value>  
    	</property>  
    	<property>  
      		<name>dfs.namenode.http-address.mycluster.nn2</name> 
      		
      		<value>test-16:50070</value>  
    	</property>
    	<property>  
      		<name>dfs.namenode.shared.edits.dir</name>
      		
      		<value>qjournal://test-15:8485;test-16:8485;test-18:8485/mycluster</value>  
    	</property>
    	<property>  
      		<name>dfs.client.failover.proxy.provider.mycluster</name>
      		  
      		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
    	</property>
    	<property>  
    	  	<name>dfs.ha.fencing.methods</name>
    	  	   
    	  	<value>sshfence</value>  
    	</property>
    	<property>  
      		<name>dfs.ha.fencing.ssh.private-key-files</name>  
      		<value>/root/.ssh/id_rsa</value>  
    	</property>
    	<property>  
      		<name>dfs.name.dir</name>  
      		<value>/app/hadoop/namenode</value>  
    	</property>
    	<property>  
      		<name>dfs.data.dir</name>  
      		<value>/app/hadoop/datanode</value>  
    	</property>
      <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
      </property>
    </configuration>

core-site.xml

<configuration>
    	<property>  
      		<name>fs.defaultFS</name>  
      		<value>hdfs://mycluster</value>  
    	</property>
    	<property>  
      		<name>dfs.journalnode.edits.dir</name>  
      		<value>/app/hadoop/journal</value>  
    	</property>
    	<property>  
      		<name>hadoop.tmp.dir</name>  
      		<value>/app/hadoop/tmp</value>  
    	</property>
    	<property>  
      		<name>ha.zookeeper.quorum</name>  
      		<value>192.168.0.15:2181,192.168.0.16:2181,182.168.0.18:2181</value>  
    	</property>
    </configuration>

##### etc下穿件salves文件，内容是datanode的主机名或者IP，一行一个 #####

##### 启动    #####

(1)journalnode 节点上执行
       	hadoop/sbin/hadoop-daemon.sh start journalnode
        使用jps 能看到 JournalNode
       （2）在第一个namenode上格式化namenode，格式化zk，启动namenode
         .bin/hdfs namenode -format
         ./bin/hdfs zkfc -formatZK
         ./sbin/hadoop-daemon.sh start namenode 
         ./hdfs start zkfc 
         jps 命令可以看到 NameNode DFSZKFailoverController
        (3)在第二个namenode上，同步数据，启动第二个namenode
        ./bin/hdfs namenode -bootstrapStandby
        ./sbin/hadoop-daemon.sh start namenode
        ./hdfs start zkfc
         jps 会发现有namenode DFSZKFailoverController
        (4)所有datanode上启动 datanode
        	./sbin/hadoop-daemon.sh start datanode
        	jps 会发现有datanode

##### 测试 #####

访问页面

http://192.168.0.15:50070/，查看集群状态

![70][]

##### 最后一步    #####

export JAVA\_HOME=/usr/java/jdk1.8.0\_121/  
export PATH=$PATH:$JAVA\_HOME/bin  
export HDFS\_NAMENODE\_USER=root  
export HDFS\_JOURNALNODE\_USER=root  
export HDFS\_ZKFC\_USER=root  
export HDFS\_DATANODE\_USER=root  
export HADOOP\_CONF\_DIR=/app/hadoop/etc/hadoop

添加以上变量到你的用户的家目录的.bashrc文件中，注意不要放到profile下，否则关闭和启动脚本会保存

\-----------------------------------------------------------------------------------------------------------------

要是有什么问题或者纠正错误请进qq群[630300475][]

[70]: /images/20220522/f0418aaa5d7a41d7bc17db7340f0ae44.png
[630300475]: http://blog.csdn.net/u014686399/article/details/77853473