storm集群部署（三）

曾经终败给现在 2022-05-17 09:34 378阅读 0赞

一、部署前准备

1、 集群部署的基本流程

集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群。当然在部署前我们还要修改hostname

  1. vi /etc/hosts
  2.  192.168.239.128 storm01 zk01 hadoop01
  3.  192.168.239.129 storm02 zk02 hadoop02
  4.  192.168.239.130 storm03 zk03 hadoop03

2、 集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）

关闭防火墙 

  1. chkconfig iptables off && setenforce 0

创建用户

  1. groupadd realtime &&　useradd realtime　&& usermod -a -G realtime realtime

创建工作目录并赋权

  1. mkdir /export
  2. mkdir /export/servers
  3. chmod 755 -R /export

切换到realtime用户下

  1. su realtime

二、Storm集群部署

1、下载安装包

  1.  我们这里使用的为apache-storm-0.9.5.tar.gz，可以自己到官方下载

2、解压安装包

  1. tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/
  2. cd /export/servers/

3、修改配置文件

  1. vi /export/servers/apache-storm-0.9.5/conf/storm.yaml

输入以下内容：

  1. ## Storm 关联的 ZooKeeper 集群的地址列表
  2. storm.zookeeper.servers:
  3.     - "zk01"
  4.     - "zk02"
  5.     - "zk03"
  7. ## Nimbus 和 Supervisor 后台进程都需要一个用于存放一些状态数据（比如 jar 包、配置文件等等）的目录
  8. storm.local.dir: "/home/data/storm"
  10. ##用于配置主控节点的地址，可以配置多个。从Storm1.0开始，支持Nimbus的HA。
  11. nimbus.host: "storm01"
  13. ##配置每个 Supervisor 机器能够运行的工作进程（worker）数。每个 worker 都需要一个单独的端口来接收消息，
  14. ##这个配置项就定义了 worker 可以使用的端口列表。如果你在这里定义了 5 个端口，那么 Storm 就会在该机器上分配最多 5 个worker。
  15. ##如果定义 3 个端口，那 Storm 至多只会运行三个 worker。
  17. supervisor.slots.ports:
  18.     - 6700
  19.     - 6701
  20.     - 6702

4、分发安装包

  1. scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers
  2. scp -r /export/servers/apache-storm-0.9.5 storm03:/export/servers

5、启动集群

在nimbus.host所属的机器上启动 nimbus服务（这里就是storm01，命令后按回车键）

  1. cd /export/servers/apache-storm-0.9.5/bin/
  2. nohup ./storm nimbus &

在nimbus.host所属的机器上启动ui服务

  1. cd /export/servers/apache-storm-0.9.5/bin/
  2. nohup ./storm ui &

在其它个点击上启动supervisor服务

  1. cd /export/servers/apache-storm-0.9.5/bin/
  2. nohup ./storm supervisor &

6、查看集群

访问IP:8080，即可看到storm的ui界面,如下：

三、Storm常用操作命令

  1.     有许多简单且有用的命令可以用来管理拓扑，它们可以提交、杀死、禁用、再平衡拓扑。

提交任务命令格式

  1. storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
  2. bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount

杀死任务命令格式

  1. storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）
  2. storm kill topology-name -w 10

停用任务命令格式

  1. storm deactivte 【拓扑名称】
  2. storm deactivte topology-name
  4.     我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

启用任务命令格式

  1. storm activate【拓扑名称】
  2. storm activate topology-name

重新部署任务命令格式

  1. storm rebalance 【拓扑名称】
  2. storm rebalance topology-name
  4.      再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配工人，并重启拓扑。

四、Storm集群的进程及日志熟悉

查看nimbus的日志信息

  1. #在nimbus的服务器上
  2. cd /export/servers/apache-storm-0.9.5/logs
  3. tail -100f /export/servers/apache-storm-0.9.5/logs/nimbus.log

查看ui运行日志信息

  1. #在ui的服务器上，一般和nimbus一个服务器
  2. cd /export/servers/apache-storm-0.9.5/logs
  3. tail -100f /export/servers/apache-storm-0.9.5/logs/ui.log

查看supervisor运行日志信息

  1. #在supervisor服务上
  2. cd /export/servers/apache-storm-0.9.5/logs
  3. tail -100f /export/servers/apache-storm-0.9.5/logs/supervisor.log

查看supervisor上worker运行日志信息

  1. #在supervisor服务上
  2. cd /export/servers/apache-storm-0.9.5/logs
  3. tail -100f /export/servers/apache-storm-0.9.5/logs/worker-6702.log

发表评论

表情：
评论列表 （有 0 条评论，378人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Storm集群部署

    1. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： ·        

    迷南。迷南。/ 0 赞/ 328 阅读