轻松入门大数据第7章进阶实战：轻松实现Hadoop分布式集群环境 7.1 Hadoop集群部署及HA 7.1.4 HadoopHA架构

谁践踏了优雅 2024-03-17 11:10 16阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第7章 进阶实战：轻松搞定Hadoop分布式集群环境
         *   *  7.1 Hadoop集群部署及HA
             *   *  7.1.4 HadoopHA架构

![在这里插入图片描述][7bf4c4ddec154852a19afb2184e547d8.png_pic_center]

#### 第7章 进阶实战：轻松搞定Hadoop分布式集群环境 ####

##### 7.1 Hadoop集群部署及HA #####

> 1.  Hadoop集群规划
> 2.  Hadoop集群部署及测试
> 3.  HDFS HA架构
> 4.  HDFS HA部署及测试

###### 7.1.4 HadoopHA架构 ######

官网文档：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html][https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HDFSHighAvailabilityWithQJM.html]

![在这里插入图片描述][31a6e74d68b64239a82ded7d56695841.png_pic_center]

本指南概述了 HDFS 高可用性 (HA) 功能以及如何使用 Quorum Journal Manager (QJM) 功能配置和管理 HA HDFS 集群。

【简单的背景】

在 Hadoop 2.0.0 之前，NameNode 是 HDFS 集群中的单点故障 (SPOF)。每个集群都有一个 NameNode，如果该机器或进程变得不可用，则整个集群将不可用，直到 NameNode 重新启动或在单独的机器上启动。【毕竟所有的HDFS 操作都绕不开NN 】

这在两个主要方面影响了 HDFS 集群的总体可用性：

*  在发生意外事件（例如机器崩溃）的情况下，集群将不可用，直到操作员重新启动 NameNode。
 *  NameNode 机器上的软件或硬件升级等计划内维护事件会导致集群停机时间窗口。

HDFS 高可用性功能通过提供在具有热备用的主动/被动配置中的同一集群中运行两个（从 3.0.0 开始超过两个）冗余 NameNode 的选项来解决上述问题。这允许在机器崩溃的情况下快速故障转移到新的 NameNode，或者为了计划维护的目的而进行优雅的管理员启动的故障转移。

在典型的 HA 集群中，两台或多台独立的机器被配置为 NameNode。在任何时间点，只有一个 NameNode 处于*Active*状态，而其他 NameNode 处于*Standby*状态。Active NameNode 负责集群中的所有客户端操作，而 Standbys 只是充当工作人员，维护足够的状态以在必要时提供快速故障转移。

为了让备用节点保持其状态与活动节点同步，两个节点都与一组称为“JournalNodes”（JNs）的独立守护进程进行通信。当主动节点执行任何名称空间修改时，它会持久地记录对这些 JN 中的大多数的修改记录。Standby 节点能够从 JN 读取编辑，并不断观察它们对编辑日志的更改。当备用节点看到编辑时，它会将它们应用到自己的命名空间。在发生故障转移时，备用节点将确保在将自己提升为活动状态之前已从 JournalNodes 读取所有编辑。这可确保命名空间状态在发生故障转移之前完全同步。

为了提供快速故障转移，备用节点还必须具有有关集群中块位置的最新信息。为了实现这一点，**DataNodes配置了所有NameNodes的位置，并向所有NameNodes发送块位置信息和心跳。**

一次只有一个 NameNode 处于活动状态对于 HA 集群的正确操作至关重要。否则，命名空间状态将在两者之间迅速分化，从而有数据丢失或其他不正确结果的风险。为了确保此属性并防止所谓的“脑裂情况”，JournalNodes 一次只允许一个 NameNode 成为写入者。在故障转移期间，要变为活动的 NameNode 将简单地接管写入 JournalNodes 的角色，这将有效地阻止其他 NameNode 继续处于 Active 状态，从而允许新的 Active 安全地进行故障转移。

![在这里插入图片描述][a18bb0ef9e104f5295d0ab2940b2206f.png_pic_center]

来一个备用的NN，active 的挂掉后，切换过去

老师给了一张图：

![在这里插入图片描述][f4e751a2b59f42278042cc74dffc0e0b.png_pic_center]

引入了分布式协调服务 → ZooKeeper 和 共享存储。

【如何配置？】

为了部署 HA 集群，应该准备以下内容：

*  **NameNode 机器**——运行 Active 和 Standby NameNode 的机器应该具有彼此相同的硬件，以及与非 HA 集群中使用的硬件相同的硬件。
 *  **JournalNode 机器**\- 运行 JournalNodes 的机器。JournalNode 守护进程相对轻量级，因此这些守护进程可以合理地与其他 Hadoop 守护进程并置在机器上，例如 NameNode、JobTracker 或 YARN ResourceManager。\*\*注意：\*\*必须至少有 3 个 JournalNode 守护进程，因为编辑日志修改必须写入大多数 JN。这将使系统能够容忍单台机器的故障。您也可以运行 3 个以上的 JournalNode，但为了实际增加系统可以容忍的故障数，您应该运行奇数个 JN（即 3、5、7 等）。请注意，当运行 N 个 JournalNode 时，系统最多可以容忍 (N - 1) / 2 次故障并继续正常运行。

请注意，在 HA 集群中，Standby NameNode 还会执行命名空间状态的检查点，因此没有必要在 HA 集群中运行 Secondary NameNode、CheckpointNode 或 BackupNode。事实上，这样做是错误的。这也允许将未启用 HA 的 HDFS 集群重新配置为启用 HA 的人重新使用他们之前专用于辅助 NameNode 的硬件。

![在这里插入图片描述][bbf91a29a2174588b5c64a0f9d809497.png_pic_center]

其实就是跟着官网文档结合实际机器进行配置就行了。【下一节我们再来实战】

[7bf4c4ddec154852a19afb2184e547d8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/db14771ff61348a3afb27da6c033280c.png
[https_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-hdfs_HDFSHighAvailabilityWithQJM.html]: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
[31a6e74d68b64239a82ded7d56695841.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9d2d0584ddf54a65802f4112592313ec.png
[a18bb0ef9e104f5295d0ab2940b2206f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/cccfb11b8b2048a5b81c0dbc19b2cdb2.png
[f4e751a2b59f42278042cc74dffc0e0b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/39050ff25e474418ac77a964107c3557.png
[bbf91a29a2174588b5c64a0f9d809497.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6a172ecb4e55499585c6c654da683733.png