storm笔记：storm集群

小灰灰 2021-09-25 19:08 462阅读 0赞

[storm笔记：storm集群][storm_storm]

Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过配置静态指定（还有一种主从结构是在运行时动态选举，比如zookeeper）。通常这种主从结构存在出现单点故障的风险，Storm通过特殊处理规避这种风险，后面将解释Storm的半容错结构。  
nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。如下图所示：

![storm cluster][]

Storm对Zookeeper的使用相对比较轻量，不会造成很重的资源负担。单节点的Zookeeper集群能够满足大部分的需求，但是如果部署大型Storm集群，为了Storm的稳定性，就需要相对大点的Zookeeper集群。

# nimbus #

nimbus进程的主要职责是管理、协调和监控集群上运行的topology（包括topology的发布、任务指派、时间处理时重新指派任务等）。

topology的发布，需要将预先打成jar的topology和配置信息提交到nimbus服务器，当nimbus接收到topology压缩包，会将jar包分发到足够数量的supervisor节点上。当supervisor节点接收到topology压缩文件，nimbus就会指派task（bolt、spout实例）到每个supervisor并且发送信号指示supervisor生成足够的worker来执行指定task。

nimbus通过Zookeeper记录所有supervisor节点的状态和分配给它们的task。如果nimbus发现某个supervisor没有上报心跳或已经不可达，它将会把分配给故障supervisor的task重新分配给其他节点。

严格来讲，nimbus不会出现单点故障。这个特性是因为nimbus进程不参与topology（拓扑）的数据处理过程，仅仅是管理topology的初始化、任务分发和进行监控，所以如果nimbus在topology运行时停止，不会影响topology的运行。

# supervisor #

supervisor进程等待nimbus分配任务后生成并监控worker（jvm进程）执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出（或被kill掉），supervisor会尝试重新生成新的worker进程。

# ui #

ui进程是为Stom集群提供一个web的gui监控界面，对正在运行的nimbus、supervisor、topology进行展示，对正在运行的topology有一定管理功能，提供其统计信息，对监控Storm集群的运转和topology的功能有很大的帮助。ui进程属于Storm的可选服务，可以自由选择启动或不启动。

# 集群部署 #

Strom的集群部署非常简单，而且nimbus、supervisor、zookeeper可以部署在同一台机器上，实现简单的伪分布式模式，其部署过程分为下面几步：

1.  部署Zookeeper集群
2.  在nimbus、supervisor节点上安装依赖
3.  下载定解压storm的执行包到nimbus、supervisor机器上（使用直接使用tar命令进行解压即可）
4.  在storm.yaml配置必填项
5.  通过`storm`命令启动进程

## Zookeeper集群 ##

关于Zookeeper集群的部署，可以查看[ZooKeeper安装部署][ZooKeeper]或[A Guide to Deployment and Administration][]。

## 安装依赖 ##

在nimbus、supervisor所在的机器上安装依赖，主要包括java和python，当前版本java最低使用jdk6，因为python2和3版本不兼容，官方推荐使用Python2.6.6。

## 下载解压 ##

wget或culr直接从[这里][Link 1]下载压缩包，通过tar命令解压即可。

## 配置storm.yaml ##

Storm需要配置的文件是`conf/storm.yaml`，其默认配置在[这里][Link 2]，storm.yaml会覆盖defaults.yaml中的配置。

1.  storm.zookeeper.servers：Zookeeper集群的host列表，如下：

storm.zookeeper.servers:
      - "111.222.333.444"   - "555.666.777.888"

1.  storm.zookeeper.port：如果Zookeeper集群没有是用默认的端口号2181，使用`storm.zookeeper.port`修改配置，比如：`storm.zookeeper.port: 9999`。
2.  storm.local.dir：nimbus与supervisor守护进程需要一个文件夹来存储少量的状态数据（比如jar包、配置等）。该配置决定了nimbus和supervisor将信息存储在哪。该目录必须存在，且对当前用户有适当的操作权限，这个目录的内容必须在集群运行的过程中一直存在，所以避免在/tmp目录下创建。比如：

storm.local.dir: "/mnt/storm"

1.  nimbus.host：集群中的nimubs节点位置，worker需要知道从哪里下载topology的jar包和配置信息，比如：

nimbus.host: "111.222.333.444"

1.  supervisor.slots.ports：配置supervisor节点上每个worker使用的监听端口，每个worker使用单独的监听端口，这样，端口个数就限制了worker数量。默认有4个worker，对应端口是6700\\6701\\6702\\6703，比如：

supervisor.slots.ports:
        - 6700     - 6701     - 6702     - 6703

另外，storm集群还有一些可选配置，可以根据需要重新配置。storm的所有配置都可以通过前缀区分作用域，如下表所示：

<table> 
 <thead> 
  <tr> 
   <th align="left">前缀</th> 
   <th align="left">分类</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">storm.*</td> 
   <td align="left">通用配置</td> 
  </tr> 
  <tr> 
   <td align="left">nimbus.*</td> 
   <td align="left">Nimbus配置</td> 
  </tr> 
  <tr> 
   <td align="left">supervisor.*</td> 
   <td align="left">Supervisor配置</td> 
  </tr> 
  <tr> 
   <td align="left">topology.*</td> 
   <td align="left">Topology配置</td> 
  </tr> 
  <tr> 
   <td align="left">ui.*</td> 
   <td align="left">Storm UI配置</td> 
  </tr> 
  <tr> 
   <td align="left">worker.*</td> 
   <td align="left">Worker配置</td> 
  </tr> 
  <tr> 
   <td align="left">zmq.*</td> 
   <td align="left">Zero MQ配置</td> 
  </tr> 
  <tr> 
   <td align="left">drpc.*</td> 
   <td align="left">DRPC服务配置</td> 
  </tr> 
 </tbody> 
</table>

## 启动 ##

最后是启动Storm守护进程，关键是需要在监控（supervison）下启动每个进程。因为Storm是快速失败的模式，也就是说，进程遇到任何意外情况，都会立即停止。Storm被设计成能够安全退成、快速回复的无状态进程。如果nimbus或supervisor重启了，不会对运行中的topology产生任何影响。

# 可执行程序 #

Storm提供了多用途的命令行程序，可以用来启动守护进程、执行topology管理等操作，基础命令格式为：`storm [command] [arguments]...`。

## 守护进程命令 ##

1.  nimbus：`./bin/storm nimbus`，启动nimbus守护进程；
2.  supervisor：`./bin/storm supervisor`，启动supervisor守护进程；
3.  ui：`./bin/storm ui`，默认端口是8080，可以通过浏览器访问。

## 管理命令 ##

Storm的管理命令用来发布和管理集群的topology，通常需要在Storm集群外的工作站执行，管理命令从`~/.storm/storm.yaml`文件中查找nimbus主机名，比如：

nimbus.host: "nimbus"

1.  jar：`storm jar topology_jar topology_class [arguments...]`，用来向Storm提交topology，会上传topology\_jar文件到nimbus并分发到整个集群，使用指定topology\_class中的main方法。提交完成后，Storm会激活并开始运行topology。main方法中需要有`StormSubmitter.submitTopology`方法，并需要有一个唯一的topology名，如果集群中有同名的topology，jar命令会执行失败。
2.  kill：`storm kill topology_name [-w wait_time]`，用来关闭已经部署的topology。该命令通过topology\_name来关闭topology，Storm会在`topology.message.timeout.secs`定义的时间或`-m`参数定义的时间后，是topology的spout取消激活。然后停止worker进程，并尝试清理所有存储的状态信息。也可以在Storm UI上进行操作。
3.  deactivate：`storm deactivate topology_name`，用来通知Storm停止特定的topology的spout发送tuple，可以在Storm UI上取消激活操作。
4.  active：`storm activate topology_name`，用来通知Storm重新回复指定的topology的spout发送tuple，可以在Storm UI上重新激活操作。
5.  rebalance：`storm rebalance topology_name [-w wait_time] [-n worker_count] [-e component_name=executer_count]`，只是Storm在集群的worker之间重新平均分派任务，不需要关闭或重新提交现有topology。还可以通过-n或-e参数修改topology分配的worker数及每个task分配的executor数。当执行rebalance命令时，Storm会先取消激活topology，等待配置的时间是剩余的tuple完成处理，然后在supervisor节点中均匀分配worker。重新平衡后，Storm会将topology重新激活。比如：等待15秒，指定5个worker，指定sentece-spout使用4个executor、split-bolt使用8个eexecutor，命令为：`storm rebalance wordcount-topology -w 15 -n 5 -e sentence-spout=4 -e split-bolt=8`。
6.  remoteconfvalue：`storm remoteconfvalue conf-name`，用来查看集群中配置参数。可以看到整个集群的公共配置，不能单独查看topology中覆盖的特殊配置。

[storm_storm]: http://www.howardliu.cn/setting-up-a-storm-cluster/
[storm cluster]: /images/20210923/3d137aa50e74455c9f241e678d5f680c.png
[ZooKeeper]: http://www.howardliu.cn/zookeeper-environment/
[A Guide to Deployment and Administration]: http://zookeeper.apache.org/doc/current/zookeeperAdmin.html
[Link 1]: https://github.com/apache/storm/releases
[Link 2]: https://github.com/apache/storm/blob/master/conf/defaults.yaml