Storm的调度

落日映苍穹つ 2022-06-01 03:37 129阅读 0赞

**Storm调度**

调度器

①EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明

②DefaultScheduler：和EvenetScheduler差不多，只不过会先将其它topology不需要的资源重新收集起来，再进行EventScheduler

③IsolationScheduler：用户可定义这个topology的机器资源，storm分配的时候会优先分配这些topology，以保证分配给该topology的机器只为这一个topology服务

④Pluggable Schedule 可插拔式的任务分配器,编写自己的task分配算法

⑤资源感知调度

A、配置conf/storm.yaml

storm.scheduler: "org.apache.storm.scheduler.resource.ResourceAwareScheduler"

对于一个 Topology，用户可以指定各个组件（如：Spout 或 Bolt）运行时每个实例所需要的资源数。用户可以通过以下 API 指定一个组件的所需资源。

B、设置所需 Memory

public T setMemoryLoad(Number onHeap, Number offHeap)

C、设置所需 CPU

public T setCPULoad(Double amount)Number amount – 组件的一个实例所使用的 CPU 数量

目前，一个组件所需要的 CPU 资源数或者一个节点的 CPU 可用资源数都是由一个分数来表示的。通常情况下，一个物理 CPU 核心为 100 分。你可以根据你的处理器的性能相应的调整这个值。重负载任务可以得到 100 分，那样它就可以使用整个核心；中等负载的任务设置 50 分；轻量级负载设置 25 分；微型任务设置 10 分。在某些情况下，你的一个任务需要生成其他的线程用来帮助处理，这些任务可能需要设置超过 100 分来表达他们对 CPU 的使用。如果遵循这些约定，通常情况下一个单线程任务所需要的 CPU 分值是其容量 \* 100。

D、限制 Worker 进程 (JVM) 的堆内存大小

E、设置节点的可用资源

Storm 管理员可以在 conf/storm.yaml 中添加以下配置项 (单位为 MB) 来指定一个节点的可用内存资源：

supervisor.memory.capacity.mb: \[amount<Double>\]

supervisor.cpu.capacity: \[amount<Double>\]

★自定义调度器实现DirectScheduler

**开发背景**

在准备开发Storm自定义之前,事先已经了解了下现有Storm使用的调度器,默认是DefaultScheduler,调度原理大体如下:  
\* 在新的调度开始之前,先扫描一遍集群,如果有未释放掉的slot,则先进行释放  
\* 然后优先选择supervisor节点中有空闲的slot,进行分配,以达到最终平均分配资源的目标

**现有scheduler的不足之处**

上述的调度器基本可以满足一般要求,但是针对下面个例还是无法满足:  
\* 让spout分配到固定的机器上去,因为所需的数据就在那上面  
\* 不想让2个Topology运行在同一机器上,因为这2个Topology都很耗CPU

**DirectScheduler的作用**

DirectScheduler把划分单位缩小到组件级别,1个Spout和1个Bolt可以指定到某个节点上运行,如果没有指定,还是按照系统自带的调度器进行调度.这个配置在Topology提交的Conf配置中可配.

**完整代码地址**

[https://github.com/linyiqun/storm-scheduler][https_github.com_linyiqun_storm-scheduler]

[https_github.com_linyiqun_storm-scheduler]: https://github.com/linyiqun/storm-scheduler