Storm问题集

超、凢脫俗 2022-06-17 01:06 224阅读 0赞

**一、storm重复消费kafka中的数据**

Storm未启用安全模式，因此当kafka中没有新数据时，会默认重复消费已有的数据。此时只需要bolt继承的BaseRichBolt改为BaseBasicBolt即可。

**二、storm提交Topology出现如下错误：**“Caused by: java.lang.RuntimeException: java.io.IOException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar.   
\[jar:file:/usr/local/storm/lib/storm-core-0.10.0.jar!/defaults.yaml, jar:file:/usr/local/storm/bin/jstorm-0.0.2.jar!/defaults.yaml\]”

原因：jvm执行中发现多个defaults.yaml 。

解决办法：先把pom中storm-core改为 <scope>provided</scope>，并且在打包的时候去除storm-core依赖。

<dependency>
             <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.0.2</version>
            <scope>provided</scope>
     </dependency>

**三、启动storm集群**

（1）启动supervisor节点

./storm supervisor &

（2）启动 nimbus节点

./storm nimbus &

**四、提交storm任务**

提交任务： ./storm jar bid.jar cn.sysu.metric.bid.BidTest 192.168.11.91

*  bid.jar：提交的jar包
 *  cn.sysu.metric.bid.BidTest：执行的主类
 *  192.168.11.91： nimbus的ip地址

发表评论取消回复

表情：

评论列表（有 0 条评论，224人围观）

还没有评论，来说两句吧...

相关阅读

相关 Storm的WordCount在Storm集群上运行

前提：运行在storm集群里的log日志不会打印在屏幕上，因此需要写一个OSUtil类进行nc -lk 8888端口的socket打印！！！ OSUtil.jav

爱被打了一巴掌/ 2022年12月27日 14:25/ 0 赞/ 237 阅读

相关 storm问题总结

1、frame size larger than max length storm是将bolt都序列化好，然后分发到集群节点上。如果并发度很高，同一时间序列化的对象太多，

小咪咪/ 2022年11月27日 00:39/ 0 赞/ 164 阅读

相关 Storm集群部署

1. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下： ·

迷南。/ 2022年08月06日 01:14/ 0 赞/ 268 阅读

相关 Storm问题集

一、storm重复消费kafka中的数据 Storm未启用安全模式，因此当kafka中没有新数据时，会默认重复消费已有的数据。此时只需要bolt继承的BaseRich

超、凢脫俗/ 2022年06月17日 01:06/ 0 赞/ 225 阅读

相关 Storm 遇到问题？

今天storm遇到这个错误： 12/03/27 18:07:57 INFO storm.StormSubmitter: Jar not uploa

冷不防/ 2022年06月13日 06:58/ 0 赞/ 183 阅读

相关 Apache Storm集群架构

Apache Storm的主要亮点是，它是一个容错，快速，没有“单点故障”（SPOF）分布式应用程序。我们可以根据需要在多个系统中安装Apache Storm，以增加应用程序的

悠悠/ 2022年06月04日 06:56/ 0 赞/ 204 阅读

相关 Storm集群安装详解

storm有两种操作模式: 本地模式和远程模式。本地模式：你可以在你的本地机器上开发测试你的topology，一切都在你的本地机器上模拟出来; 远端模式：你提交的to

ゞ浴缸里的玫瑰/ 2022年01月13日 07:37/ 0 赞/ 327 阅读

相关 storm常见问题

一.storm ui 不显示 supervisor 信息　　在zk节点上删掉storm信息，重新启动storm集群即可转载于:https://www.cnblogs.c

约定不等于承诺〃/ 2021年12月17日 10:09/ 0 赞/ 361 阅读

相关 storm笔记：storm集群

[storm笔记：storm集群][storm_storm] Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过

小灰灰/ 2021年09月25日 19:08/ 0 赞/ 539 阅读

相关 storm集群部署

1、安装部署zookeeper集群：详情见：http://blog.csdn.net/liuxiao723846/article/details/78035189 假设z

阳光穿透心脏的1/2处/ 2021年09月14日 05:52/ 0 赞/ 524 阅读