storm的bolt实现阶段统计

向右看齐 2022-08-27 10:41 108阅读 0赞

有时候我们的bolt处理统计逻辑时，需要阶段统计一下，再把统计结果emit到后面的汇总统计bolt处理，因此需要在本地作一个定时阶段的统计，时间满后再后端的bolt emit数据。

阶段统计的bolt实现方法如下：

public void execute(Tuple tuple, BasicOutputCollector collector) {
            if (TupleHelpers.isTickTuple(tuple)) {
                //log.info("tick tuple: " + tuple);
                emitCountingData(collector);
            } else {
                countInLocal(tuple);
            }
        }

此bolt还要override一个父类的方法，如下：

@Override
        public Map<String, Object> getComponentConfiguration() {
            Map<String, Object> conf = new HashMap<>();
            conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);
            return conf;
        }

emitFrequencyInSeconds表示阶段统计的时间，单位秒。

TupleHelpers的实现如下：

import backtype.storm.Constants;
    import backtype.storm.tuple.Tuple;
    
    public final class TupleHelpers {
        private TupleHelpers() {
        }
    
        public static boolean isTickTuple(Tuple tuple) {
            return tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID)
                    && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID);
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，108人围观）

还没有评论，来说两句吧...

相关阅读

相关 Storm

概念 Storm 是一个开源的分布式实时计算系统。利用 Storm 可以很容易做到可靠地处理无限的数据流，像 Hadoop 批量处理大数据一样，Storm 可以实时

淡淡的烟草味﹌/ 2024年03月24日 14:37/ 0 赞/ 36 阅读

相关 Storm的WordCount案例（spout bolt详细总结）

spout介绍一个spout是由流组成的数据源在storm的拓扑里，通常情况下会读取外部的数据源然后emit（发射）到拓扑里面，比如是kafka，MySQL或者

男娘i/ 2022年12月23日 07:24/ 0 赞/ 121 阅读

相关 storm的bolt实现阶段统计

有时候我们的bolt处理统计逻辑时，需要阶段统计一下，再把统计结果emit到后面的汇总统计bolt处理，因此需要在本地作一个定时阶段的统计，时间满后再后端的bolt emit数

向右看齐/ 2022年08月27日 10:41/ 0 赞/ 109 阅读

相关 Android 下的 bolts tasks

Android 下的 bolts tasks 本文主要介绍的是在Android 下使用 bolts tasks, bolts tasks 可以很方便的让我们

爱被打了一巴掌/ 2022年08月05日 07:39/ 0 赞/ 82 阅读

相关 Storm的并行度详解 Strom Topology执行分析：worker数，Bolt实例数，executor数，task数

Storm的并行度详解 Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？ Strom程序的执行是由多个

蔚落/ 2022年06月03日 01:16/ 0 赞/ 292 阅读

相关 Storm的并发

Storm的并发 1个worker进程执行的是1个topology的子集（注：不会出现1个worker为多个topology服务）。1个worker进程会启动1个或多个exe

ゞ浴缸里的玫瑰/ 2022年06月01日 03:37/ 0 赞/ 190 阅读

相关 Storm的调度

Storm调度调度器 ①EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明 ②DefaultSc

落日映苍穹つ/ 2022年06月01日 03:37/ 0 赞/ 189 阅读

相关 storm的bolt实现阶段统计

有时候我们的bolt处理统计逻辑时，需要阶段统计一下，再把统计结果emit到后面的汇总统计bolt处理，因此需要在本地作一个定时阶段的统计，时间满后再后端的bolt emit数

╰+攻爆jí腚メ/ 2022年04月13日 10:28/ 0 赞/ 114 阅读

相关 storm_bolt详解

![20181206160303269.png][] 1. 可靠的与不可靠的bolt ![20181206160313697.png][] ![201812061603

我会带着你远行/ 2022年04月11日 13:21/ 0 赞/ 217 阅读

相关 Storm本地开发案例—总和计算与单词统计

概述在Strom的API中提供了`LocalCluster`对象，这样在不用搭建Storm环境或者Storm集群的情况下也能够开发Storm的程序，非常方便。基于M

￡神魔★判官ぃ/ 2021年11月22日 23:12/ 0 赞/ 192 阅读