storm集群部署

阳光穿透心脏的1/2处 2021-09-14 05:52 449阅读 0赞

1、安装部署zookeeper集群：

详情见：http://blog.csdn.net/liuxiao723846/article/details/78035189

假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。

2、安装storm：

**0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ，0.9之后的版本不需要安装**。我们安装的是0.9.6版本。

1）服务器准备：

A.centos1：storm的nimbus节点（相当于hadoop的jobtractor）

B.centos2：storm的supervisor节点

将集群中机器的防火墙关掉；修改/etc/hosts文件，设置IP和主机名的映射关系。并且安装好jdk1.7，和python2.7，以及环境变量。

2）下载storm：(**步骤2-4是在centos1服务器上进行的操作**)

wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz

解压：tar -xvzf apache-storm-0.9.6.tar.gz -C /usr/local

软连接：cd /usr/local   ln -s apache-storm-0.9.6/ storm

3）环境变量：

vim /etc/profile

export STORM\_HOME=/usr/local/apache-storm-0.9.6/  
export PATH=$PATH:$HBASE\_HOME/bin:$STORM\_HOME/bin

source /etc/profile

4）配置storm：

首先，启动zk；

vim STORM\_HOME/conf/storm.yaml

########### These MUST be filled in for a storm configuration
     storm.zookeeper.servers:
         - "centos1"
         - "centos2"
         - "centos3"
     
     nimbus.host: "centos1"
     storm.local.dir: "/data/storm/data"
     supervisor.slots.ports:
         - 6700
         - 6701
         - 6702
         - 6703

注： 开头的空格以及冒号之后也有空 格

创建目录：mkdir -p /data/storm/data

5）将storm目录拷贝到其他集群：

scp -rp /usr/local/storm/ root@centos2:/usr/local/

然后登录到centos2，加软连接、配置环境变量

3、启动storm集群：

在centos1上运行（nimbus）：storm nimbus &

在centos2上运行（supervisor）storm supervisor &

在centos1上运行（nimbus）：storm ui &

在centos1上运行（nimbus）：storm logviewer &

1）执行jps确认是storm集群启动成功，看是否存在nimbus进程和supervisor进程，以及是否有core进程(对应ui启动成功)，是否有logviewer进程。

2）在浏览器中输入运行了nimbus进程的机器ip地址，端口号为8080，可以看到storm集群信息。

![Center][]

[Center]: /images/20210511/d9d7e68e611d464c849dab23badac78d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，449人围观）

还没有评论，来说两句吧...

相关阅读

相关 Storm集群部署

1. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： ·

迷南。/ 2022年08月06日 01:14/ 0 赞/ 197 阅读

相关 Storm(二)：集群部署配置

一、简介 Apache Storm分布式集群主要节点由控制

比眉伴天荒/ 2022年06月14日 05:18/ 0 赞/ 204 阅读

相关 storm集群部署（三）

一、部署前准备 1、集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群。当然在部署前我们还要修改hostname

曾经终败给现在/ 2022年05月17日 09:34/ 0 赞/ 235 阅读

相关 Storm集群搭建

一、安装前准备 jdk-6u32-linux-x64.bin (jdk-1.6.x即可) zookeeper-3.4.5.tar.gz zeromq-2.1.

我会带着你远行/ 2022年03月29日 14:25/ 0 赞/ 228 阅读

相关 Storm集群安装详解

storm有两种操作模式: 本地模式和远程模式。本地模式：你可以在你的本地机器上开发测试你的topology，一切都在你的本地机器上模拟出来; 远端模式：你提交的to

ゞ浴缸里的玫瑰/ 2022年01月13日 07:37/ 0 赞/ 258 阅读

相关 Storm集群安装部署与Topology作业提交

Storm分布式集群安装部署概述 ![Storm笔记整理（三）：Storm集群安装部署与Topology作业提交][Storm_Storm_Topology]

痛定思痛。/ 2021年11月22日 23:02/ 0 赞/ 332 阅读

相关 storm笔记：storm集群

[storm笔记：storm集群][storm_storm] Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过

小灰灰/ 2021年09月25日 19:08/ 0 赞/ 458 阅读

相关 storm架构原理及集群部署

Storm 流式计算 1. 概念 1.1 离线计算和实时计算离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批

悠悠/ 2021年09月20日 10:42/ 0 赞/ 394 阅读

相关 Storm 集群环境准备及部署

一部署Storm集群的环境准备 ![SouthEast][] 二 Storm集群部署的主要步骤 ![SouthEast 1][] 三集群部署注意事项 ![Sout

﹏ヽ暗。殇╰゛Y/ 2021年09月14日 13:28/ 0 赞/ 341 阅读

相关 storm集群部署

1、安装部署zookeeper集群：详情见：http://blog.csdn.net/liuxiao723846/article/details/78035189 假设z

阳光穿透心脏的1/2处/ 2021年09月14日 05:52/ 0 赞/ 450 阅读