Hadoop系列之资源调度 Yarn 重启策略和高可用 (35)

「爱情、让人受尽委屈。」 2022-11-05 11:53 226阅读 0赞

## 重启 ##

ResourceManager是管理资源和调度在YARN上运行的应用程序的中央机构。因此，它在整个Apache YARN群集中有潜在单点故障风险。本文档概述了ResourceManager重新启动，此功能可以增强ResourceManager使其在重新启动后仍能正常运行，并且还可以使用户感知不到ResourceManager的重启。ResourceManager 支持两种重启策略

不保留工作的RM重新启动，此重新启动增强了RM，以将应用程序/尝试程序 状态和其他凭据信息保留在可插拔状态存储中。 RM将在重新启动时从状态存储中重新加载此信息，并重新启动以前运行的应用程序。不需要用户重新提交应用程序。

保留工作的RM重新启动：此操作着重于通过结合NodeManagers的容器状态和重新启动时来自ApplicationMaster的容器请求来重建RM的运行状态。与不保留工作的RM重新启动的主要区别在于，RM重新启动后，先前运行的应用程序不会被杀死，因此应用程序不会因为RM中断而失去工作。

### 不保留工作的RM重新启动 ###

RM将在客户端提交应用程序时将应用程序元数据（即ApplicationSubmissionContext）保存在可插拔状态存储中，并保存应用程序的最终状态，例如完成状态（失败，中止或终止）。完成），并在应用程序完成时进行诊断。

此外，RM还保存凭据（如安全密钥，令牌）以在安全环境中工作。当RM关闭时，只要状态存储中提供了所需的信息（即，应用程序元数据和在安全环境中运行的并列凭证），那么RM重新启动时，它就可以从状态存储中提取应用程序元数据，存储并重新提交应用程序。如果RM在停机之前已经完成（即失败，中止或完成），则它们不会重新提交申请。

在RM停机期间，NodeManager和客户端将继续轮询RM，直到RM出现为止。 RM启动时，它将通过心跳向正在与之通信的所有NodeManager和ApplicationMaster发送重新同步命令。

**NM将杀死其所有托管容器并向RM重新注册**。这些重新注册的NodeManager与新加入的NM相似。 AM（例如MapReduce AM）收到重新同步命令后，预计会关闭。 RM重新启动并从状态存储加载所有应用程序元数据，凭据并将其填充到内存后，它将为每个尚未完成的应用程序创建新的尝试（即ApplicationMaster），并照常重新踢该应用程序。如前所述，以前运行的应用程序的工作以这种方式丢失，因为它们实际上是在重新启动时通过re-sync命令被RM杀死的。

### 保留工作的RM重新启动 ###

在保留工作的RM重新启动中，RM确保应用程序状态的持久性并在恢复时重新加载该状态，此重新启动主要着重于重建YARN群集的整个运行状态，其中大部分是RM内部中央调度程序的状态。跟踪所有容器的生命周期，应用程序的净空和资源请求，队列的资源使用情况等等。这样，RM无需终止AM并从头开始重新运行应用程序，因为它是在不保留工作的RM重新启动中完成的。应用程序可以简单地与RM重新同步，并从上次停止的地方恢复。

RM通过利用从所有NM发送的容器状态来恢复其运行状态。与重新启动的RM重新同步时，**NM将不会杀死容器**。它继续管理容器，并在重新注册时将容器状态发送给RM。 RM通过吸收这些容器的信息来重建容器实例和关联的应用程序的调度状态。同时，由于RM可能会在关闭时丢失未完成的请求，因此AM需要将未完成的资源请求重新发送给RM。使用AMRMClient库与RM进行通信的应用程序编写者不必担心AM重新发送资源请求到重新同步到RM的部分，因为库本身会自动处理。

### 配置保留重启策略 ###

property>
       <description>Enable RM to recover state after starting. If true, then
       yarn.resourcemanager.store.class must be specified</description>
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>
     </property>
    
     <property>
       <description>The class to use as the persistent store.</description>
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
     </property>
    
     <property>
       <description>Comma separated list of Host:Port pairs. Each corresponds to a ZooKeeper server
       (e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002") to be used by the RM for storing RM state.
       This must be supplied when using org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
       as the value for yarn.resourcemanager.store.class</description>
       <name>hadoop.zk.address</name>
       <value>127.0.0.1:2181</value>
     </property>

## 高可用 ##

在Hadoop 2.4之前，ResourceManager是YARN群集中的单点故障。 高可用性功能以“活动/备用ResourceManager”对的形式添加了冗余，以消除此否则的单点故障。

这节我们就学习一下YARN ResourceManager的高可用性，并详细介绍了如何配置和使用此功能。

### 实现原理 ###

![Overview of ResourceManager High Availability][]

ResourceManager HA通过Active / Standby架构实现，在任何时间，多个RM中都只有一个是处于Active状态，并且有一个或多个RM处于Standby模式。

启用自动故障转移策略后，就可以在RM 发生故障之后完成故障转移，其他的备用RM将会选出一个处于Active 状态，然后接管故障的RM。

当然你也可以通过`yarn rmadmin` 命令来手动切换RM，自动转移通过ZK 实现的

### 配置 ###

<property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>cluster1</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>master1</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>master2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.webapp.address.rm1</name>
      <value>master1:8088</value>
    </property>
    <property>
      <name>yarn.resourcemanager.webapp.address.rm2</name>
      <value>master2:8088</value>
    </property>
    <property>
      <name>hadoop.zk.address</name>
      <value>zk1:2181,zk2:2181,zk3:2181</value>
    </property>

$ yarn rmadmin -getServiceState rm1
     active
     
     $ yarn rmadmin -getServiceState rm2
     standby

[Overview of ResourceManager High Availability]: /images/20221023/b50bdaeb855c48ca84c81a1e6b71ae7c.png