SPARK之任务和资源

红太狼 2023-08-17 15:18 81阅读 0赞

![1572881-20190907202818581-138489172.png][]

输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。随后这些具体的Task每个都会被分配到集群上的某个节点的某个Executor去执行

1) 每个节点可以起一个或多个Executor

2) 每个Executor由若干core组成，每个Executor的每个core一次只能执行一个Task

3) 每个Task执行的结果就是生成了目标RDD的一个partiton

注意: 这里的core是虚拟的core而不是机器的物理CPU核，可以理解为就是Executor的一个工作线程。而 Task被执行的并发度 = Executor数目 \* 每个Executor核数。至于partition的数目

1) 对于数据读入阶段，例如sc.textFile，输入文件被划分为多少InputSplit就会需要多少初始Task

2) 在Map阶段partition数目保持不变

3) 在Reduce阶段，RDD的聚合会触发shuffle操作，聚合后的RDD的partition数目跟具体操作有关，例如repartition操作会聚合成指定分区数，还有一些算子是可配置的

RDD在计算的时候，每个分区都会起一个task，所以rdd的分区数目决定了总的的task数目。申请的计算节点（Executor）数目和每个计算节点核数，决定了你同一时刻可以并行执行的task

比如的RDD有100个分区，那么计算的时候就会生成100个task，你的资源配置为10个计算节点，每个两2个核，同一时刻可以并行的task数目为20，计算这个RDD就需要5个轮次。如果计算资源不变，你有101个task的话，就需要6个轮次，在最后一轮中，只有一个task在执行，其余核都在空转。如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。这就是在spark调优中，增大RDD分区数目，增大任务并行度的做法

转载于:https://www.cnblogs.com/xiangyuguan/p/11482855.html

[1572881-20190907202818581-138489172.png]: /images/20230810/66e1d7a67deb41528d339ccd20746a9d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，81人围观）

还没有评论，来说两句吧...

相关阅读

相关 SPARK调优之资源分配

![1572881-20190811093646366-256531148.png][] 分配更多资源：性能调优的王道，就是增加和分配更多的资源，性能和速度上的提升，是显而易

╰半橙微兮°/ 2023年08月17日 15:19/ 0 赞/ 148 阅读

相关 Spark资源调度和任务调度的流程

![1572881-20190724215011893-905837489.png][] 1、启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了

客官°小女子只卖身不卖艺/ 2023年08月17日 15:19/ 0 赞/ 131 阅读

相关 SPARK之任务和资源

![1572881-20190907202818581-138489172.png][] 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block

红太狼/ 2023年08月17日 15:18/ 0 赞/ 82 阅读

相关 Spark任务的core，executor，memory资源配置方法

Spark任务的core，executor，memory资源配置方法 1、背景执行Spark任务，资源分配是很重要的一方面。如果配置不准确，Spark任务将耗费整个集

待我称王封你为后i/ 2023年01月13日 08:54/ 0 赞/ 203 阅读

相关 Spark历险记之编译和远程任务提交

![640_wx_fmt_jpeg_tp_webp_wxfrom_5][] Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Ma

た入场券/ 2022年08月03日 11:58/ 0 赞/ 186 阅读

相关 10.6 Spark资源调度和任务调度-standalone模式

![70][] 1，当每个worker启动起来之后，会向master注册信息(内容:当前worker进程所管理的资源情况)；这样Master就掌握了整个集群的资源情况

野性酷女/ 2022年05月19日 12:13/ 0 赞/ 230 阅读

相关 spark之任务调度DagScheduler&TaskScheduler

在创建SparkContext对象的时候，一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种： TaskScheduler（是低级

雨点打透心脏的1/2处/ 2022年05月18日 08:12/ 0 赞/ 238 阅读

相关 Spark资源调度和任务调度过程介绍

Spark资源调度和任务调度过程介绍(ps.未验证) 一、前述 Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。

客官°小女子只卖身不卖艺/ 2022年05月17日 08:53/ 0 赞/ 197 阅读

相关 Spark历险记之编译和远程任务提交

\[size=large\] Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开

小灰灰/ 2022年04月12日 10:14/ 0 赞/ 282 阅读

相关 Spark-stage、task发送、资源任务调度、算子

Spark-stage、task发送、资源任务调度、算子 spark中job/stage/RDD/partition/task之间的对应关系 ![在这里插入图片描述

墨蓝/ 2021年12月01日 14:58/ 0 赞/ 404 阅读