Hadoop搭建HA记录

迈不过友情╰ 2022-05-30 10:53 157阅读 0赞

搭建hadoop的HA是在HA的完全分布式环境下进行的，为了避免搭建过程出现问题，先备份好完全分布式环境  
>备份etc/hadoop目录  
>备份data/tmp目录，并删除tmp里面的内容  
>新建data/dfs/jn文件夹，用于存放journalnode节点的存放目录  
搭建HA主要是在完全分布式的环境下修改hdfs-site.xml和core-site.xml文件  
hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    
    
    
    <configuration>
    <property>
            <name>dfs.replication</name>
            <value>3</value>
    </property>
    <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
    </property>
    
    <property>
    		<name>dfs.nameservices</name>
    		<value>mycluster</value>
    </property>
    
    <property>
      <name>dfs.ha.namenodes.mycluster</name>
      <value>nn1,nn2</value>
    </property>
    
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn1</name>
      <value>learn.hadoop1.com:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.mycluster.nn2</name>
      <value>learn.hadoop2.com:8020</value>
    </property>
    
    <property>
      <name>dfs.namenode.http-address.mycluster.nn1</name>
      <value>learn.hadoop1.com:50070</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.mycluster.nn2</name>
      <value>learn.hadoop2.com:50070</value>
    </property>
    
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://learn.hadoop1.com:8485;learn.hadoop2.com:8485;learn.hadoop3.com:8485/mycluster</value>
    </property>
    
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/opt/moduels/hadoop-2.5.0/data/dfs/jn</value>
    </property>
    
    <property>
      <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>
    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>
    
    </configuration>

core-site.xml

修改好文件之后，scp到另外两台服务器，然后就可以启动了，启动顺序可参考... 搭建的原理参考  
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html  
1、HA的启动顺序

1.1、启动三台机器的zk  
\[hadoop@learn zookeeper-3.4.5\]$ bin/zkCli.sh  start  
1.2、启动三台机器journalnode  
sbin/hadoop-daemon.sh  start journalnode  
1.3、新搭建的机器需要重新格式化，一般格式化第一台  
\[hadoop@learn hadoop-2.5.0\]$ bin/hdfs namenode -format  
1.4、启动第二台机器的同步命令，同步元数据，因为格式化在第一台，所有第二台同步第一台  
\[hadoop@learn hadoop-2.5.0\]$ bin/hdfs namenode -bootstrapStandby  
1.5、启动第一台和第二台的namenode,访问namenode控制，查看是否正常并且都是standby状态。  
\[hadoop@learn hadoop-2.5.0\]$ sbin/hadoop-daemon.sh start namenode

1.6、启动三台机器的datanode节点  
\[hadoop@learn hadoop-2.5.0\]$ sbin/hadoop-daemon.sh start datanode  
1.7、先暂时停掉两台机器的namenode  
\[hadoop@learn hadoop-2.5.0\]$ sbin/hadoop-daemon.sh stop namenode

1.8、初始化zkFc，就是在zk上面创建节点，会有一个hadoop-ha的zk节点。  
\[hadoop@learn hadoop-2.5.0\]$ bin/hdfs zkfc -formatZK  
1.9、启动第一台和第二台的zk监听器  
\[hadoop@learn hadoop-2.5.0\]$ sbin/hadoop-daemon.sh start zkfc  
1.10、启动两台机器的namenode节点  
\[hadoop@learn hadoop-2.5.0\]$ sbin/hadoop-daemon.sh  start namenode  
1.11、最后跑一个WordCount程序测试结果，并在测试的时候杀掉一台nodename节点。