Spark源码之任务提交流程

矫情吗；* 2023-10-04 18:46 11阅读 0赞

### Spark源码之任务提交流程 ###

#### 内容目录 ####

*   *  Spark源码之任务提交流程
     *   *  一、流程
         *  二、流程图
         *  三、任务提交核心

> Spark任务的提交大概可以看作是，根据spark提交参数创建一个client，由client创建一个applicationMaster，Master创建一个YarnCoarseGrainedExecutorBackend，driver在applicationMaster中，Executor在YarnCoarseGrainedExecutorBackend中。笼统的看可以是这样，中间还有很多东西。

#### 一、流程 ####

1.  执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程；
2.  SparkSubmit 类中的 main 方法反射调用 YarnClusterApplication 的 main 方法；
3.  YarnClusterApplication 创建 Yarn 客户端，然后向 Yarn 服务器发送执行指令：bin/java ApplicationMaster；
4.  Yarn 框架收到指令后会在指定的 NM 中启动 ApplicationMaster；
5.  ApplicationMaster 启动 Driver 线程，执行用户的作业；
6.  AM 向 RM 注册，申请资源；
7.  获取资源后 AM 向 NM 发送指令：bin/java YarnCoarseGrainedExecutorBackend；
8.  CoarseGrainedExecutorBackend 进程会接收消息，跟 Driver 通信，注册已经启动的 Executor；然后启动计算对象 Executor 等待接收任务
9.  Driver 线程继续执行完成作业的调度和任务的执行。
10. Driver 分配任务并监控任务的执行

#### 二、流程图 ####

![在这里插入图片描述][eaad81c403ac405bad6141795ab8f634.jpeg]

#### 三、任务提交核心 ####

主要涉及到几个核心的类：SparkSubmit、ApplicationMaster 、YarnCoarseGrainedExecutorBackend

> SparkSubmit调用 YarnClusterApplication实例化一个Client，由Client创建一个ApplicationMaster ，ApplicationMaster 向RM申请资源之后调用方法创建一个YarnCoarseGrainedExecutorBackend。Driver在ApplicationMaster 中，Executor在YarnCoarseGrainedExecutorBackend中

SparkSubmit、ApplicationMaster 和 YarnCoarseGrainedExecutorBackend是独立的进程；Driver 是独立的线程；Executor 和 YarnClusterApplication 是对象。

[eaad81c403ac405bad6141795ab8f634.jpeg]: https://img-blog.csdnimg.cn/eaad81c403ac405bad6141795ab8f634.jpeg