10.6 Spark资源调度和任务调度-standalone模式

野性酷女 2022-05-19 12:13 236阅读 0赞

![70][]

1，当每个worker启动起来之后，会向master注册信息(内容:当前worker进程所管理的资源情况)；这样Master就掌握了整个集群的资源情况

2，当new SparkConf 和SparkContext的时候Driver当中就启动了DAGScheduler和TaskScheduler;这时候TaskScheduler会向Master发送请求(内容：当前Application执行所需要的资源，对于一个Application来说资源就是计算进程(Executor))

3，Master接受了TaskScheduler发送的请求，寻找资源满足的Worker，向这批Worker发送信息(内容：给我启动一个Executor进程)

4，Worker接受信息之后启动Executor进程，会产生一个ThreadPool线程池

5，Executor启动完成后会反向注册给Driver里的TaskScheduler；这样TaskScheduler就掌握了这批Executor地址

6，这时候DAGScheduler会将当前的Job切割，划分成一个个的stage，然后以taskSet的形式给TaskScheduler

7，TaskScheduler接受到了taskSet，遍历taskSet将每一个task根据数据本地化的算法发送到Executor中执行

8，Task执行完成之后将计算情况汇报给TaskScheduler

--------------------

Driver是如何启动的：

spark-submit在客户端提交后，实际上会根据我们class在本地执行我们的jar，这时候启动起来的JVM进程就是Driver进程

资源调度分两种：

粗粒度资源调度（spark） spark每一个task是一个进程

细粒度的资源调度（MapReduce） jvm会单独启动一个线程来运行这个进程，执行完之后直接kill掉这个线程

粗粒度资源调度：

在每一个Application执行之前，会将Application所需要的所有资源全部申请完毕，申请成功之后才会进行下一步的任务调度，直到所有的task执行完毕，才会释放掉这部分资源。

优点：

每一个task在执行前不需要自己去申请资源，这样task执行就变快了，相对应的stage，job，application就都变快了

缺点：

资源浪费，因为是在最后一个task执行完毕才释放资源，集群资源不会被充分利用

细粒度的资源调度：

在每一个application执行之前不需要先去申请资源，在每一个task执行之前自己去申请，申请到资源，task才能执行，task执行完毕立即释放资源

优点：集群资源可以充分利用

缺点：每一个task启动变慢，application就变慢了

--------------------

RDD的第三大特性：RDD之间有一系列的依赖关系

宽依赖：父RDD与子RDD，partition之间是一对多的关系

窄依赖：父RDD与子RDD，partition之间是一对一的关系

父RDD与子RDD，partition之间是多对一的关系

切割job划分stage

[70]: /images/20220519/8d20724fca6d4f4d8dbdf1b5b1105f35.png

发表评论取消回复

表情：

评论列表（有 0 条评论，236人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 任务调度机制

4.Spark 任务调度机制在工厂环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容中我们默认集群的部署方式为 YAR...

你的名字/ 2024年04月20日 09:13/ 0 赞/ 81 阅读

相关 Spark的任务调度

> 一、概念： DAG（Direted Aeyelie Grph,有向无环图)Sprk中的RDD通过一系列的转换算子操作和行动算子操作形成了一个DAG。如果一

古城微笑少年丶/ 2024年04月08日 10:25/ 0 赞/ 66 阅读

相关疯狂Spark之Spark资源调度和任务调度(五)

Spark资源调度和任务调度 ![format_png][] Spark资源调度和任务调度的流程：启动集群后，Worker节点会向Master节点汇报资源情况，

秒速五厘米/ 2023年10月07日 14:12/ 0 赞/ 4 阅读

相关 SPARK任务调度模式

spark的调度模式分为两种：FIFO(先进先出)和FAIR(公平调度) 默认是FIFO，即谁先提交谁先执行 FAIR支持在调度池中

冷不防/ 2023年08月17日 15:19/ 0 赞/ 256 阅读

相关 10.6 Spark资源调度和任务调度-standalone模式

![70][] 1，当每个worker启动起来之后，会向master注册信息(内容:当前worker进程所管理的资源情况)；这样Master就掌握了整个集群的资源情况

野性酷女/ 2022年05月19日 12:13/ 0 赞/ 237 阅读

相关 standalone多作业资源调度问题

目前来说，standalone集群对于同时提交上来的多个作业，仅仅支持FIFO调度策略，也就是先入先出默认情况下，集群对多个作业同时执行支持是不好的，没有办法同时执行

谁践踏了优雅/ 2022年05月19日 08:52/ 0 赞/ 170 阅读

相关 Spark资源调度和任务调度过程介绍

Spark资源调度和任务调度过程介绍(ps.未验证) 一、前述 Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。

客官°小女子只卖身不卖艺/ 2022年05月17日 08:53/ 0 赞/ 204 阅读

相关 spark提交任务的模式—— standalone模式与yarn模式、资源调度与任务调度

standalone模式 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNz

绝地灬酷狼/ 2022年04月02日 08:23/ 0 赞/ 420 阅读

相关 Spark-stage、task发送、资源任务调度、算子

Spark-stage、task发送、资源任务调度、算子 spark中job/stage/RDD/partition/task之间的对应关系 ![在这里插入图片描述

墨蓝/ 2021年12月01日 14:58/ 0 赞/ 408 阅读

相关 Spark任务调度，Job的调度

Job，Stage，Task的区分 ![在这里插入图片描述][2019080421305994.png] DAG调度 ![在这里插入图片描述][watermark

梦里梦外;/ 2021年11月09日 04:10/ 0 赞/ 412 阅读