Centos7下的Hadoop高可用框架搭建

约定不等于承诺〃 2022-04-17 06:37 179阅读 0赞

### 1、环境准备: ###

1.  六台虚拟机
2.  JDK环境安装配置
3.  配置好静态IP地址
4.  通过xshell连接六台虚拟机
5.  关闭防火墙
6.  配置好每台机器的主机名和hosts文件
7.  六台虚拟机配置免密登录

### 2、环境预搭建步骤： ###

1.  关闭防火墙：
    
        systemctl stop firewalld                --临时关闭防火墙
        systemctl disable firewalld             --永久关闭防火墙
    
    ![20181114104842143.png][]
2.  配置每台机器的主机名:将hostname文件里的内容删掉，第一台机器换成hadoop01。其他机器hadoop02、hadoop03。。。依次往下。修改完成后、保存并退出。
    
        vi /etc/hostname             --打开编辑主机名配置文件
    
    ![20181114105133359.png][]
3.  配置每台机器的hosts文件:hosts文件原内容保留，不做修改。新增配置。配置示例如下：修改完成后、保存并退出。**注意：每台机器的hosts文件内容相同。**
    
        vi /etc/hosts                    --打开编辑机器hosts文件
        
        
        --示例
        127.0.0.1   localhost
        ::1         localhost
        192.168.186.141 hadoop01
        192.168.186.142 hadoop02
        192.168.186.143 hadoop03
        192.168.186.144 hadoop04
        192.168.186.145 hadoop05
        192.168.186.146 hadoop06
    
    ![20181114105526728.png][]
4.  以上都配置完成后，重启六台虚拟机。使hostname文件和hosts文件内容生效。
5.  配置免密登录:生成ssh密钥是会提示输入东西，都不用管。一直回车。六台机器都做同样操作。
    
        ssh-keygen                  --生成ssh密钥
        ssh-copy-id root@hadoop01   --拷贝ssh密钥到机器的用户公钥文件中
        ssh-copy-id root@hadoop02
        ssh-copy-id root@hadoop03
        ssh-copy-id root@hadoop04
        ssh-copy-id root@hadoop05
        ssh-copy-id root@hadoop06
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70][]

### 3、搭建ZooKeeper集群: ###

ZooKeeper集群的搭建、我就不在这里多说了。不会的请看我的另一篇文章。[https://blog.csdn.net/qq\_37481017/article/details/82963517][https_blog.csdn.net_qq_37481017_article_details_82963517]

### 4、安装和搭建hadoop01节点 ###

1.  上传解压:上传解压在这我也不多叙说，不会的请先看我写的伪分布式搭建。这里我将hadoop2.7.1安装包解压到/usr/local/hadoop/目录下。                                                                                                                                                                                                                                   ![20181114111538965.png][]
2.  配置hadoop-env.sh文件:配置jdk安装的所在目录和配置hadoop配置文件所在的目录。修改以下两处配置，修改为你自己的安装目录。
    
        vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/hadoop-env.sh     --打开编辑hadoop-env.sh文件
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 1][]
3.  配置core-site.xml:新增以下配置。
    
        vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml    --打开编辑
        
        
        
        --新增以下配置
        <configuration>
        
        
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns</value>
        </property>
        
        
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.1/tmp</value>
        </property>
        
        
        <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
        </property>
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 2][]
4.  配置hdfs-site.xml文件:新增以下配置。
    
        vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/hdfs-site.xml
        
        
        
        --新增以下配置
        <configuration>
        
        
        <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
        </property>
        
        
        <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
        </property>
        
        
        <property>
        <name>dfs.namenode.rpc-address.ns.nn1</name>
        <value>hadoop01:9000</value>
        </property>
        
        
        <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>hadoop01:50070</value>
        </property>
        
        
        <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>hadoop02:9000</value>
        </property>
        
        
        <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>hadoop02:50070</value>
        </property>
        
        
        <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value>
        </property>
        
        
        <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/hadoop-2.7.1/journal</value>
        </property>
        
        
        <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
        </property>
        
        
        <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        
        
        <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        </property>
        
        
        <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
        </property>
        
        
        <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/hadoop-2.7.1/tmp/namenode</value>
        </property>
        
        
        <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/hadoop-2.7.1/tmp/datanode</value>
        </property>
        
        
        <property>
        <name>dfs.replication</name>
        <value>3</value>
        </property>
        
        
        <property>
        <name>dfs.permissions</name>
        <value>false</value>
        </property>
        
        
        </configuration>
    
       
5.  配置mapred-site.xml文件:新增以下配置。
    
        vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/mapred-site.xml
        
        
        
        --新增以下配置
        <configuration>
        
        <property>
        
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
        
        </configuration>
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 3][]
6.  配置yarn-site.xml文件:新增以下配置。
    
        vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/yarn-site.xml
        
        
        
        --新增以下配置
        <configuration>
        
        
        
        
        
        <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
        </property>
        
         
        <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
        </property>
        
        
        <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop01</value>
        </property>
        
        <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop03</value>
        </property>
        
        
        <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
        </property>
        
        
        <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        
        
        <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
        <description>For multiple zk services, separate them withcomma</description>
        </property>
        
        
        <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-ha</value>
        </property>
        
        <property>
        
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
        </property>
        
        <property>
        
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
        
        
        </configuration>
    
        
7.  配置slaves文件:
    
        vi /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/slaves
        
        
        --新增配置
        hadoop04
        hadoop05
        hadoop06
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 4][]
8.  配置hadoop环境变量:
    
        vi /etc/profile                      --打开配置文件
        
        
        
        --新增以下配置
        #配置hadoop的环境变量
        export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.1
        
        export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
        
        
        
        --新增完成后
        source /etc/profile        --刷新配置文件
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 5][]
9.  根据配置文件、创建相关的文件夹、用来存放对应数据:在/usr/local/hadoop/hadoop-2.7.1目录下创建文件夹。
    
        mkdir journal           --创建journal
        mkdir -p tmp/namenode tmp/datanode    --创建tmp目录 并在其下创建namenode和datanode
    
    ![20181114152653331.png][]
10. 复制hadoop文件夹和profile文件到其他五台机器上。

### 5、集群启动: ###

1.  启动ZooKeeper集群:我也不多叙述，不会的看我ZooKeeper集群文章。
2.  格式化ZooKeeper:在ZooKeeper的leader节点上执行以下命令。
    
        hdfs zkfc -formatZK               --格式化ZooKeeper
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 6][]
3.  启动 journalnode集群: 在04、05、06中任意一台节点上执行以下命令。
    
        hadoop-daemons.sh start journalnode
    
    ![20181114160504183.png][]
4.  格式化01的namenode:在01节点上执行以下命令。出现以下代表成功。
    
        hadoop namenode -format
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 7][]
5.  启动01节点上的namenode:在01节点上执行以下命令。
    
        hadoop-daemon.sh start namenode
    
    ![20181114161525866.png][]
6.  把 02 节点的 namenode 节点变为 standby namenode 节点 :在02节点上执行以下命令。出现以下情况成功。
    
        hdfs namenode  -bootstrapStandby
    
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 8][]
7.  在02节点上启动namenode:执行以下命令。
    
        hadoop-daemon.sh start namenode
    
    ![20181114161948883.png][]
8.  在 04,05,06 节点上启动 datanode 节点:在04、05、06节点分别执行以下命令。
    
        hadoop-daemon.sh start datanode
    
    ![2018111416231290.png][]
9.  启动zkfc（启动FalioverControllerActive)：在01和02节点上执行以下命令。
    
        hadoop-daemon.sh start zkfc
    
    ![20181114162501338.png][]
10. 在 01 节点上启动 主 ResourceManager:在01节点执行以下命令。
    
        start-yarn.sh
    
    ![20181114163615964.png][]![20181114163637321.png][]
11. 在 03 节点上启动副 ResouceManager:执行以下命令。
    
        yarn-daemon.sh start resourcemanager
    
    ![20181114163758537.png][]

到此、Hadoop的高可用框架搭建启动就已经全部完成了。

[20181114104842143.png]: /images/20220417/59d9b7c534f6444e83e0fe850b644ed8.png
[20181114105133359.png]: /images/20220417/b86bb2fc9f15469fbfdd27e2689acec3.png
[20181114105526728.png]: /images/20220417/74d07b2efee14d43a98bd833cc9405c4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70]: /images/20220417/f76d50848d6d49dca7ee529f8af4b3b5.png
[https_blog.csdn.net_qq_37481017_article_details_82963517]: https://blog.csdn.net/qq_37481017/article/details/82963517
[20181114111538965.png]: /images/20220417/bc9ba1ebd8f24fa88c6af34809115fb2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 1]: /images/20220417/0b7e5c51e1854ebaa4484d94a98e0f27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 2]: /images/20220417/013bde51ff064e858f3419eea3dac00f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 3]: /images/20220417/3b339948b28144a595364d7b467bd59b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 4]: /images/20220417/5a449b494fc94a7d989fd4936e165108.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 5]: /images/20220417/78e734545a5049ef8476e1fe52552b67.png
[20181114152653331.png]: /images/20220417/3d14be451c2b40a5b0e546f598ca51c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 6]: /images/20220417/8ff5f7f0ed7249f48ecbdde775e6ba18.png
[20181114160504183.png]: /images/20220417/24715e4a99894d859b822228cd481c71.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 7]: /images/20220417/9417cc2e6057417e8420ea6811512251.png
[20181114161525866.png]: /images/20220417/69aa1342b05245808af19872d8c4c3c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDgxMDE3_size_16_color_FFFFFF_t_70 8]: /images/20220417/f986f0426c4b49e5b9ff13ea87a6f341.png
[20181114161948883.png]: /images/20220417/0f62f350db3d4b8b8add796532e5e76f.png
[2018111416231290.png]: /images/20220417/d493a49618fc43ebac3c00986129ffd0.png
[20181114162501338.png]: /images/20220417/046072cfbc094b23a2879bf07fd614fe.png
[20181114163615964.png]: https://img-blog.csdnimg.cn/20181114163615964.png
[20181114163637321.png]: /images/20220417/8ce6ae4fe4434429a0abead59740f223.png
[20181114163758537.png]: /images/20220417/7573b0d8b2da42f08c4608aec67b2034.png