JStorm源码分析(四)Storm集群启动过程

阳光穿透心脏的1/2处 2022-05-20 02:13 262阅读 0赞

# JStorm源码分析(四):Storm集群启动过程 #

## JStorm源码分析文件 ##

对于整个JStorm源码分析系列，我将JStorm源码分析的文件放在我的GitHub上[JStorm源码剖析][JStorm],欢迎大家fork和star

1.Nimbus的启动过程  
(1)Nimbus 的启动脚本命令:bin/storm nimbus 实际调用过程:

storm脚本中的main方法---->调用 def nimbus---->exec\_storm\_class 在exec\_storm\_class中，最终调用java命令，即:  
java -server backtype.storm.daemon.nimbus----->执行NimbusServer的main方法。

(2)NimbusServer的main方法源码如下:

![这里写图片描述][70]

(3)在NimbusServer的main方法中，调用launchServer()启动nimbus

![这里写图片描述][70 1]

![这里写图片描述][70 2]

(4)launchServer中的init()方法

![这里写图片描述][70 3]

(5)initTopologyStatus ()方法源码如下:

![这里写图片描述][70 4]

至此，nimbus的启动过程完成!

2.Supervisor的启动过程  
(1)Supervisor 的启动脚本命令:bin/storm supervisor

实际调用过程:  
storm脚本中的main方法---->调用 def supervisor ---->exec\_storm\_class

在exec\_storm\_class中，最终调用java命令，即:  
java -server backtype.storm.daemon.supervisor----->执行Supervisor的main方法。

![这里写图片描述][70 5]

![这里写图片描述][70 6]

(2)Supervisor的main方法中，创建Supervisor的实例，并调用其run()方法。

![这里写图片描述][70 7]

(3)在run()方法中调用mkSupervisor(conf,null)方法启动Supervisor。

清理Supervisor本地临时目录 
    
    获取Zookeeper的客户端操作实例对象  
    
    创建LocalStat的key-value本地数据库 
    
    使用UUID生成一个Supervisor的id，并放入到LocalStat的key-value本地数据库中

移除LocalStat中的"lcoal-zk-assignment-version"和"local-zk-assignments"信息

创建Supervisor的心跳对象，设置Supervisor的心跳时间

supervisor.heartbeat.frequency.secs，并将Supervisor的信息写入Zookeeper中

将心跳同步到Nimbus和Apsara容器

创建和启动Supervisor的同步线程，每隔supervisor.monitor.frequency.secs秒，运行一次 Supervisor的同步线程

检查Supervisor是否运行正常

最 后 ， 返 回 一 个 S u p e r v i s o r Ma n g e r ， S u p e r v i s o r Ma n g e r 能 够 停 止 所 有 的 S u p e r v i s o r 和 W o r k e r

源码如下:

![这里写图片描述][70 8]

![这里写图片描述][70 9]

![这里写图片描述][70 10]

![这里写图片描述][70 11]

至此，Supervisor的启动过程完成!

## 相关系列文章 ##

[JStorm源码分析(一)Storm执行脚本][JStorm_Storm]

[JStorm源码分析(二)Storm任务提交流程][JStorm_Storm 1]

[JStorm源码分析(三)Nimbus的任务分配过程][JStorm_Nimbus]

[ JStorm源码分析(五)Supervisor获取任务][JStorm_Supervisor]

[ JStorm源码分析(六)Supervisor启动Worker的过程][JStorm_Supervisor_Worker]

[ JStorm源码分析(七)Excutor启动和创建][JStorm_Excutor]

## 微信公众号 ##

有兴趣的同学可以关注小编哟!  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09lbGpla2xhdXM_size_16_color_FFFFFF_t_70]

[JStorm]: https://github.com/oeljeklaus-you/JStorm
[70]: /images/20220520/7e63ec80f661457989c9edafcf45d763.png
[70 1]: /images/20220520/3891877f55c44c1ca93392f26662d7c2.png
[70 2]: /images/20220520/7e05075f52d840db83101b792496b14a.png
[70 3]: /images/20220520/784f50d0d79c43faaec484160385dbf8.png
[70 4]: /images/20220520/d2334aac44b24a8397bb0f374add640f.png
[70 5]: /images/20220520/0404e7219ffc45e1ae0d34b2f70e494c.png
[70 6]: /images/20220520/994075695f794821ba43dba1f460bdf8.png
[70 7]: /images/20220520/a17159bfd91848928bb0462790f053d1.png
[70 8]: /images/20220520/397b055c55644780b749cf371ae8c400.png
[70 9]: /images/20220520/9ce5967a6d8d46e99774f7112d7c9bb2.png
[70 10]: /images/20220520/99ddcdf41f48478fbd0114b6f107adde.png
[70 11]: /images/20220520/df01b833baef4642b7f055f1ca482e81.png
[JStorm_Storm]: https://blog.csdn.net/oeljeklaus/article/details/80992277
[JStorm_Storm 1]: https://blog.csdn.net/oeljeklaus/article/details/80992310
[JStorm_Nimbus]: https://blog.csdn.net/oeljeklaus/article/details/80992459
[JStorm_Supervisor]: https://blog.csdn.net/oeljeklaus/article/details/80992587
[JStorm_Supervisor_Worker]: https://blog.csdn.net/oeljeklaus/article/details/80992642
[JStorm_Excutor]: https://blog.csdn.net/oeljeklaus/article/details/80992673
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L09lbGpla2xhdXM_size_16_color_FFFFFF_t_70]: /images/20220520/723f04ba6b4a457f915630b9a53c621b.png