hadoop yarn的三种资源调度器详解

忘是亡心i 2023-10-03 14:17 27阅读 0赞

## yarn调度器分类 ##

**FIFO（先进先出调度器）**

**Capacity Scheduler （容量调度器）**

**Fair Scheduler （公平调度器）**

> **注意：Hadoop2.9.2 默认的资源调度器为 容量调度器**

## **区别** ##

### FIFO调度器 ###

> 先进先出，同一时间队列中只有一个任务在执行

按照到达时间排序，先到先服务

1. 有新的服务器节点资源

2. Job1 里面包含 n个MapTask m个ReduceTask

3. 分配一个Task给该节点

### 容量调度器 ###

> 多队列，每个队列内部先进先出，同一时间队列中只有一个任务在执行

队列的并行度为队列的个数

1. 支持多个队列，每个队列可以配置一定的资源量，每个队列采用FIFO调度策略

2. 调度器会对同一用户提交的作业所占资源量机型限定

3. 计算每个队列中正在运行的任务数 与 其应该分得的计算资源之间的比值，选择一个该比值最小的队列 （闲队列）

4. 按照作业优先级和提交时间顺序，同时考虑用户资源量限制和内存限制对队列内任务排序

5. 多个队列同时按照任务的先后顺序依次执行。

![img][]

> 比如我们分为三个队列：queueA、queueB和queueC，每个队列的 job 按照到达时间排序。假如这里有100个slot，queueA分配20%的资源，可配置最多运行15个task，queueB 分配50%的资源，可配置最多运行25个task，queueC分配30%的资源，可配置最多运行25个task。这三个队列同时按照任务的先后顺序依次执行，比如，job11、job21和job31分别排在队列最前面，是最先运行，也是同时运行。

### 公平调度器 ###

多队列；按照缺额排序，缺额大者优先；支持多用户多队列；

缺额：资源有限的情况下，每个job请求获得的计算资源与实际获得的计算资源存在的差距 即为缺额；

每个队列资源量可以配置，同一队列中的作业公平共享队列中的所有资源；

同一队列中，Job的资源缺额越大，越先获得资源优先执行。作业按照缺额的高低来先后执行；

每个队列内存按照缺额大小分配资源启动任务；

同一时间队列中有多个任务执行，队列的并行度大于等于队列的个数。

![img][img 1]

> 比如有三个队列：queueA、queueB和queueC，每个队列中的 job 按照优先级分配资源，优先级越高分配的资源越多，但是每个 job 都会分配到资源以确保公平。在资源有限的情况下，每个 job 理想情况下获得的计算资源与实际获得的计算资源存在一种差距， 这个差距就叫做缺额。在同一个队列中，job的资源缺额越大，越先获得资源优先执行。作业是按照缺额的高低来先后执行的，而且可以看到上图有多个作业同时运行。

[img]: https://img-blog.csdnimg.cn/20191011164901287.png
[img 1]: https://img-blog.csdnimg.cn/20191011164929860.png

发表评论取消回复

表情：

评论列表（有 0 条评论，27人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop yarn的三种资源调度器详解

yarn调度器分类 FIFO（先进先出调度器） Capacity Scheduler （容量调度器） Fair Scheduler （公平调度器） > 注意：Had

忘是亡心i/ 2023年10月03日 14:17/ 0 赞/ 28 阅读

相关 YARN调度器(Scheduler)详解

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Ya

ゝ一世哀愁。/ 2023年07月01日 08:34/ 0 赞/ 23 阅读

相关 Yarn资源调度

由于Yarn良好的兼容性和扩展性，目前可以支持大部分数据引擎，所以了解Yarn的资源调度原理很有必要，Yarn主要由四个重要角色组成： ResourceManager：

小灰灰/ 2023年06月15日 09:53/ 0 赞/ 54 阅读

相关 Yarn三种调度策略

-------------------- 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经

灰太狼/ 2023年06月15日 09:52/ 0 赞/ 3 阅读

相关 Hadoop系列之资源调度 Yarn Scheduler (34)

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Ya

系统管理员/ 2022年10月31日 13:52/ 0 赞/ 174 阅读

相关 Hadoop-Yarn资源调度器

Yarn资源调度器 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统

- 日理万妓/ 2022年10月19日 00:51/ 0 赞/ 203 阅读

相关 Hadoop系列之-6、Yarn资源调度器

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 [大数据系列文章目录][Link 1] 目录 Yarn

迷南。/ 2022年08月29日 00:13/ 0 赞/ 177 阅读

相关 Hadoop yarn中Scheduler资源调度器

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Ya

迈不过友情╰/ 2022年05月27日 06:17/ 0 赞/ 262 阅读

相关 Yarn 调度器Scheduler详解

理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Ya

r囧r小猫/ 2022年04月05日 13:44/ 0 赞/ 224 阅读

相关 Hadoop详解（十二）：Yarn资源调度策略

在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。 FIFO Scheduler F

电玩女神/ 2022年03月18日 05:48/ 0 赞/ 273 阅读