Spark on Yarn架构原理

怼烎@ 2022-04-04 05:37 281阅读 0赞

## 一. 前言 ##

**SPARK相关概念**

1.  Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。
2.  ClusterManager：这里指YARN。
3.  DAGScheduler：把spark作业转换成Stage的DAG图。
4.  TaskScheduler：把Task分配给具体的Executor。

**YARN相关概念**

1.  ResourceManager：负责整个集群的资源管理和分配。
2.  ApplicationMaster：YARN中每个Application对应一个AM进程，负责与RM协商获取资源，获取资源后告诉NodeManager为其分配并启动Container。
3.  NodeManager：每个节点的资源和任务管理器，负责启动/停止Container，并监视资源使用情况。
4.  Container：YARN中的抽象资源。

> Spark On Yarn 提交任务的方式有两种：yarn-client模式与yarn-cluster模式。

## 二. Yarn-client模式 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70]  
**yarn-client模式提交任务，原理如下：**

1.  Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于我们选择的是Yarn-Client模式，程序会选择YarnClientClusterScheduler和YarnClientSchedulerBackend；
2.  ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，与YARN-Cluster区别的是在该ApplicationMaster不运行SparkContext，只与SparkContext进行联系进行资源的分派；
3.  Client中的SparkContext初始化完毕后，与ApplicationMaster建立通讯，向ResourceManager注册，根据任务信息向ResourceManager申请资源（Container）；
4.  一旦ApplicationMaster申请到资源（也就是Container）后，便与对应的NodeManager通信，要求它在获得的Container中启动CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend启动后会向Client中的SparkContext注册并申请Task；
5.  client中的SparkContext分配Task给CoarseGrainedExecutorBackend执行，CoarseGrainedExecutorBackend运行Task并向Driver汇报运行的状态和进度，以让Client随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；
6.  应用程序运行完成后，Client的SparkContext向ResourceManager申请注销并关闭自己；

## 三. Yarn-cluster模式 ##

在YARN-Cluster模式中，当用户向YARN中提交一个应用程序后，YARN将分两个阶段运行该应用程序：

*  第一个阶段是把Spark的Driver作为一个ApplicationMaster在YARN集群中先启动；
 *  第二个阶段是由ApplicationMaster创建应用程序，然后为它向ResourceManager申请资源，并启动Executor来运行Task，同时监控它的整个运行过程，直到运行完成

![在这里插入图片描述][Center]  
**yarn-cluster模式提交任务，原理如下：**

1.  Spark Yarn Client向YARN中提交应用程序，包括ApplicationMaster程序、启动ApplicationMaster的命令、需要在Executor中运行的程序等；
2.  ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，其中ApplicationMaster进行SparkContext等的初始化；
3.  ApplicationMaster向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将采用轮询的方式通过RPC协议为各个任务申请资源，并监控它们的运行状态直到运行结束；
4.  一旦ApplicationMaster申请到资源（也就是Container）后，便与对应的NodeManager通信，要求它在获得的Container中启动CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend启动后会向ApplicationMaster中的SparkContext注册并申请Task。这一点和Standalone模式一样，只不过SparkContext在Spark Application中初始化时，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler进行任务的调度，其中YarnClusterScheduler只是对TaskSchedulerImpl的一个简单包装，增加了对Executor的等待逻辑等；
5.  ApplicationMaster中的SparkContext分配Task给CoarseGrainedExecutorBackend执行，CoarseGrainedExecutorBackend运行Task并向ApplicationMaster汇报运行的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；
6.  应用程序运行完成后，ApplicationMaster向ResourceManager申请注销并关闭自己；

## 四. Yarn-client与Yarn-cluster的区别 ##

理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别；

1.  YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARN-Cluster模式不适合运行交互类型的作业；
2.  YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度他们工作，也就是说Client不能离开；

## 五. Yarn-client与Yarn-cluster的应用场景 ##

因为在Spark作业运行过程中，一般情况下会有大量数据在Driver和集群中进行交互，所以如果是基于yarn-client的模式，则会在程序运行过程中产生大量的网络数据传输，造成网卡流量激增；而基于yarn-cluster这种模式，因为driver本身就在集群内部，所以数据的传输也是在集群内部来完成，那么网络传输压力相对要小；所以在企业生产环境下多使用yarn-cluster这种模式，测试多用yarn-client这种模式。但是带来一个问题，就是不方便监控日志，yarn-cluster这种模式要想监控日志，必须要到每一台机器上面去查看，但这都不是问题，因为我们有sparkUI，同时也有各种各样的日志监控组件。

## 六. 参考： ##

*  http://blog.51cto.com/xpleaf/2294303
 *  https://blog.csdn.net/u013573813/article/details/69831344

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpamluZ2ppbmdjaG4_size_16_color_FFFFFF_t_70]: /images/20220404/859d162adaf947309068155308e5b3ee.png
[Center]: /images/20220404/2852f834b02c4870abb738e4392ac21f.png