大数据-Hadoop-HA：High Availablity【高可用（7 * 24小时不中断服务）】【可选项】【HDFS的HA、YARN的HA】【占用资源多】【实现高可用最关键的策略：消除单点故障】

╰+攻爆jí腚メ 2023-09-25 21:11 4阅读 0赞

## 第1章 Hadoop HA高可用 ##

### 1.1 HA概述 ###

（1）所谓HA（High Availablity），即高可用（7 \* 24小时不中断服务）。

（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

（3）NameNode主要在以下两个方面影响HDFS集群

*  NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。
 *  NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用。

HDFS HA功能通过配置多个NameNodes(Active/Standby)实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

### 1.2 HDFS-HA核心问题 ###

![81cb98411f2840b1a793f419a6163c16.png][]**1）怎么保证三台namenode的数据一致**

（1）Fsimage：让一台nn生成数据，让其他机器nn同步。

（2）Edits：需要引进新的模块JournalNode来保证edtis的文件的数据一致性。

**2) 怎么让同时只有一台nn是active，其他所有是standby的**

（1）手动分配

（2）自动分配

**3）2nn在ha架构中并不存在，定期合并fsimage和edtis的活谁来干**

由standby的nn来干。

**4）如果nn真的发生了问题，怎么让其他的nn上位干活**

（1）手动故障转移

（2）自动故障转移

### 1.3 HDFS-HA手动模式 ###

#### 1.3.1 环境准备 ####

（1）修改IP

（2）修改主机名及主机名和IP地址的映射

（3）关闭防火墙

（4）ssh免密登录

（5）安装JDK，配置环境变量等

#### 1.3.2 规划集群 ####

<table style="width:568px;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:142pt;"> hadoop102 </td> 
 <td style="border-color:#000000;vertical-align:top;width:142.05pt;"> hadoop103 </td> 
 <td style="border-color:#000000;vertical-align:top;width:142.05pt;"> hadoop104 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:142pt;"> NameNode </td> 
 <td style="vertical-align:top;width:142.05pt;"> NameNode </td> 
 <td style="vertical-align:top;width:142.05pt;"> NameNode </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:142pt;"> JournalNode </td> 
 <td style="vertical-align:top;width:142.05pt;"> JournalNode </td> 
 <td style="vertical-align:top;width:142.05pt;"> JournalNode </td> 
 </tr> 
 <tr> 
 <td style="border-color:#000000;vertical-align:top;width:142pt;"> DataNode </td> 
 <td style="vertical-align:top;width:142.05pt;"> DataNode </td> 
 <td style="vertical-align:top;width:142.05pt;"> DataNode </td> 
 </tr> 
 </tbody> 
</table>

#### 1.3.3 配置HDFS-HA集群 ####

**1）官方地址：[Apache Hadoop][]**

**2）在opt目录下创建一个ha文件夹**

\[atguigu@hadoop102 ~\]$ cd /opt

\[atguigu@hadoop102 opt\]$ sudo mkdir ha

\[atguigu@hadoop102 opt\]$ sudo chown atguigu:atguigu /opt/ha

**3）将/opt/module/下的 hadoop-3.1.3拷贝到/opt/ha目录下（记得删除data 和 log目录）**

\[atguigu@hadoop102 opt\]$ cp -r /opt/module/hadoop-3.1.3 /opt/ha/

**4）配置core-site.xml**

****

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>