storm1.2.2 集群搭建

Bertha 。 2022-01-25 22:37 209阅读 0赞

1、下载安装包

[http://storm.apache.org/][http_storm.apache.org]

2、修改conf目录下的storm.yaml配置文件

#注意，storm对配置文件的格式校验非常严格，以下配置项，每行前要有一个空格，-和:后都要有空格
    #zookeeper地址，
     storm.zookeeper.servers: 
     - "xx.xx.xx.xx"
     storm.zookeeper.port: 2181
     storm.zookeeper.root: "/storm" 
    #主节点服务器地址，建议使用域名，多个ip以逗号分隔 nimbus.seeds: ["host1", "host2", "host3"]
     nimbus.seeds: ["xx.xx.xx.xx"]
    #数据保存目录
     storm.local.dir: "/home/storm/nimbus/stormdata"
    #对于每个工作者计算机，您可以使用此配置配置在该计算机上运行的工作程序数。每个工作程序使用单个端口接收消息，此设置定义哪些端口可以使用。
     supervisor.slots.ports: 
     - 6700
     - 6701
     - 6702
     - 6703

storm集群其他从节点的配置同上，主节点和从节点是由启动命令来区分

3、启动集群

主节点：nohup ./bin/storm nimbus > ./nimbus.out 2>&1 &

主节点ui：nohup ./bin/storm  ui > ./ui.out 2>&1 &

从节点： nohup ./bin/storm supervisor > ./supervisor.out 2>&1 &

启动日志分别在上述的nimbus.out、ui.out、supervisor.out文件查看，启动后的运行日志在logs目录。

4、ui界面，地址：主节点ip:8080 ；建议为每个服务器ip配置域名，这样就不会出现图中host是乱码的情况

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqbHp4_size_16_color_FFFFFF_t_70][]

5、常用storm 命令

提交topology程序：./bin/storm jar 包名 启动类路径 main方法参数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqbHp4_size_16_color_FFFFFF_t_70 1][]

列出当前运行topology列表： ./bin/storm list

![20190531142313644.png][]

停止topology ：./bin/storm  kill topology名称

![20190531142507244.png][]

topology运行日志，在supervisor 服务下的/logs/workers-artifacts目录下

[http_storm.apache.org]: http://storm.apache.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqbHp4_size_16_color_FFFFFF_t_70]: /images/20220126/d15dd2a270ce47669e6405cbfffdba95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqbHp4_size_16_color_FFFFFF_t_70 1]: /images/20220126/721c5734d9864416bbe036c33b4cccb8.png
[20190531142313644.png]: /images/20220126/92252dd1174a42d8a7d335b0fef8ff9f.png
[20190531142507244.png]: /images/20220126/0827ed3e18b041a0a1e073a1f0bbd8f6.png