spark的作业提交流程

水深无声 2022-06-17 13:10 391阅读 0赞

spark的作业调度分为3个级别：DAG调度器 ==>TaskScheduler(任务调度器)==> SchedulerBackend(后台调度器)

**第一级作业调度：DAG调度器DAGScheduler**

当我们写好应用程序，程序里面有sc.count()或sc.collect()时，或者我们在scalashell发出的命令中有sc.count()或sc.collect()时（这俩函数都是action类的函数）于是启动了作业提交流程。流程如下（ ==> 符号表示进入下一步）

action函数调用sc.runjob() ==>

由DAG调度器把作业转换成事件(event), DAG调度器把事件添加到EventProcessLoop(这是一个事件处理队列)==>

线程EventThread会专门从EventProcessLoop队列中获取事件，交给DAGScheduler的事件处理方法==>

DAGScheduler事件处理方法把作业计算出stage，传给submitStage()方法  ==>

submitStage()方法生成任务集合TaskSet以后，传给任务调度器TaskScheduler ==>

**作业调度的第二级：任务调度器TaskScheduler**

从DAG调度接收到任务集以后，将由TaskSchedulerImpl实现类中的submitTasks()方法把任务提交给后台调度器==>

**第三级作业调度：后台调度器**

*（按照spark的三种启动模式——本地模式、伪分布式模式、完全分布式，分别有对应的后台调度器：LocalSchedulerBackendlocal、StandaloneSchedulerBackend、StandaloneSchedulerBackend）*

例如，以本地模式启动spark时，本地后台调度器*LocalSchedulerBackend*会把任务集发送到所有Worker进程所在的节点(spark1.6版之后是通过Netty框架发送到指定的socket，Netty封装了非阻塞技术NIO) ==>

由每个Worker节点执行任务集中的每个任务，实际上每任务分别由Worker节点中的Executo里面的launchTask()方法启动相应的执行线程 ==>

执行线程会被添加到线程池（这也是个队列），这个池子仍然在Worker节点上 ==>

由TaskRun()轮询队列，从队列中获取对象（每个对象都是runnable）==>

由每个Worker节点本地的ShuffleMapTask中的runTask()方法调用write()方法 ==>

最后，由write()方法执行我们自定义的业务逻辑代码（例如WorldCount）。

*（函数名write意味着在对RDD的每个分区使用变换函数的期间，会把结果写到内存中。）*

发表评论取消回复

表情：

评论列表（有 0 条评论，391人围观）

还没有评论，来说两句吧...

相关阅读

相关图解yarn的作业提交流程

YARN的作业提交机制作业提交全过程详解（1）作业提交第 1 步：Client 调用 job.waitForCompletion 方法，向整个集群提交 MapR

落日映苍穹つ/ 2023年10月04日 17:05/ 0 赞/ 18 阅读

相关 Flink-作业提交流程

Flink-作业提交流程快速索引 1. StreamGraph ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naG

向右看齐/ 2022年12月01日 15:54/ 0 赞/ 238 阅读

相关 Spark作业提交流程源码

Spark作业提交流程源码目录 Spark作业提交流程源码一、环境准备及提交流程二、创建Yarn Client客户端并提交

淡淡的烟草味﹌/ 2022年11月03日 04:28/ 0 赞/ 187 阅读

相关 Spark内核(执行原理)之环境准备/Spark作业提交流程

了解Spark任务的提交到运行的流程，其中包含两个阶段：第一阶段在Yarn集群之外执行，主要是作业的提交，将作业提交到Yarn集群为止。

太过爱你忘了你带给我的痛/ 2022年09月10日 06:10/ 0 赞/ 237 阅读

相关 spark的作业提交流程

spark的作业调度分为3个级别：DAG调度器 ==>TaskScheduler(任务调度器)==> SchedulerBackend(后台调度器) 第一级作业调度：DAG调

水深无声/ 2022年06月17日 13:10/ 0 赞/ 392 阅读

相关 Spark架构与作业执行流程简介

原文连接 [http://xiguada.org/spark\_architecture/][http_xiguada.org_spark_architecture]

蔚落/ 2022年06月15日 00:57/ 0 赞/ 230 阅读

相关 standalone cluster模式提交spark作业

standalone cluster通常用于spark作业部署到生产环境中去使用因为这种模式，会由master在集群中，某个节点上，来启动driver，然后driver会进

淩亂°似流年/ 2022年05月19日 08:44/ 0 赞/ 231 阅读

相关 standalone client模式提交spark作业

local模式下，我们是不会将spark作业提交到生产机器上去跑的 local模式，其实仅仅用于idea中运行spark作业，以及打断点，调试spark作业来用通常，用l

不念不忘少年蓝@/ 2022年05月19日 08:41/ 0 赞/ 239 阅读

相关 Spark Yarn 提交作业

初学Spark时，部署的是Standalone模式（集成了HA），写的测试程序一般创建上下文时如下： ![70][] 此处master设置为管理节点的集群地址（spark

客官°小女子只卖身不卖艺/ 2022年05月14日 01:26/ 0 赞/ 235 阅读

相关 Spark详解（七）：SparkContext源码分析以及整体作业提交流程

1. SparkContext源码分析在任何Spark程序中，必须要创建一个SparkContext，在SparkContext中，最主要的就是创建了TaskSched

傷城~/ 2022年03月16日 21:06/ 0 赞/ 266 阅读