Storm 学习笔记（二）菜鸟乐园

左手的ㄟ右手 2022-05-25 06:37 283阅读 0赞

Storm计算模型

![70][]

Topology DAG有向无环图的实现

\----对于storm实时计算逻辑的一种封装

由一系列通过   数据流   相互关联的spout，Bolt组成的拓扑结构

生命周期：此拓扑只要启动，一直会在集群中运行直到手动kill（区别于MapReduce当中的job，job在计算完成后就会终止）

Tuple  元组

Storm中最小数据组成单元

Stream--数据流

从spout中不断传递数据给Bolt，以及一个Bolt传递给下一个Bolt，所形成的这些数据通道叫作stream

stream 声明时候需要给一个id，默认为default

实际使用时候大多使用单一数据流，此时不需要单独指定Stream1 id

Spout---数据源

图中数据源的来源，一般指定外部的数据源  读取 元组 Tuple 发送到 Topology中

一个Spout可以发送多个数据源

含有3个重要方法

1 OutputFieldsDeclarer中的declare方法声明定义所发送数据流的类型，便于bolt接收

2 SpoutOutputCollector中的emit方法指定stream id 后 发送到bolt

3 Spout最核心的方法 nextTuple，这个方法会被storm线程不断调用，主动从数据源拉取数据在通过emit方法生成Tuple发送给下一个Bolt计算

Bolt---数据流处理组件

所有的数据处理都由Bolt完成 ，一个到多个。一个Bolt也可以发送多个数据流stream。

Bolt里最核心的方法是 execute 方法，这个方法负责接收到一个Tulp数据然后实现核心的业务逻辑

Stream Grouping ---数据流分组 （即数据分发策略）

一共8种，但是我一般就用过1和2，其他不太常用

1  Shuffle Grouping

轮询，平均分配

随机派发Stream里的tuple，保证每个bolt task 接收到的tuple数量大致相同

2   Fields Grouping  个人感觉非常有用，常用于ETL Extract-Transform-Load

按字段分组，比如。按照“user\_id”字段分组，具有相同的user\_id的Tuple会被分到同一个Bolt中处理

3 All Grouping

广播发送，对于每一个tuple，所有的Bolts都会收到

4 Global Grouping

全局分组，把tuple分散给task id最低的task，其实可以实现间接的HA

5 None Grouping

不分组，目前看这个效果和shuffle grouping差不多，不同的一点是storm会把使用none grouping

的这个Bolt放到这个Bolt的订阅者同一个线程里去执行

6 Direct Grouping

指向性分组，使用这种分组意味着tuple的发送者指定消息的接受者，指定哪个task处理tuple。

只有被声明为Direct Stream的消息流可以声明这种分组方法。

7 Local or shuffle grouping

本地或者随机分组。如果目标bolt有一个或者多个task与源bolt的task在同一个工作进程中，tuple

将会被随机发送给这些同进程中的tasks。否则和普通的Shuffle Grouping一样

8  CustomGrouping

自定义，相当于MapReduce那里自己去实现一个partition。

未完待续！！！！！！！

[70]: /images/20220525/96d3658b3e544f81b4ce08242ec3fa96.png

发表评论取消回复

表情：

评论列表（有 0 条评论，283人围观）

还没有评论，来说两句吧...

相关阅读

相关 MongoDB菜鸟学习记录

MongoDB实现插入一个新表第一次插入需要使用db.add() let db = new DataStore('BacImg');

ゞ浴缸里的玫瑰/ 2022年12月23日 06:51/ 0 赞/ 154 阅读

相关【笔记】菜鸟教程-JavaScript

一、javaScript输出 1、javaScript可以通过不同的方式来输出数据。（1）window.alert()弹出警告框。（2）document.wri

深藏阁楼爱情的钟/ 2022年06月14日 11:27/ 1 赞/ 390 阅读

相关 Storm 学习笔记（三）菜鸟乐园

> [ 经过前面两次学习笔记的介绍相信大家已经对storm的基本运行原理有了初步认识，][_storm] > > [下面我们通过一个简单的小例子理解下： ][

朱雀/ 2022年05月25日 07:45/ 0 赞/ 139 阅读

相关 Storm 学习笔记（二）菜鸟乐园

Storm计算模型 ![70][] Topology DAG有向无环图的实现 \----对于storm实时计算逻辑的一种封装由一系列通过数据流相互

左手的ㄟ右手/ 2022年05月25日 06:37/ 0 赞/ 284 阅读

相关 Storm 学习笔记（一）菜鸟乐园

Storm 好像传统的滚梯，来了数据就处理 Hadoop好像是电梯，批量处理数据 Spark streaming 微批处理介于滚梯和电梯之间 Storm 特征 s

约定不等于承诺〃/ 2022年05月25日 06:17/ 0 赞/ 125 阅读

相关菜鸟python学习

python中单引号和双引号的作用相同，使用三引号（'''或“”“）可以指定一个多行字符 word='字符串' sentence="这是一个句子" p

比眉伴天荒/ 2022年05月11日 14:38/ 0 赞/ 282 阅读

相关 C++菜鸟学习笔记系列（10）——数组

C++菜鸟学习笔记系列（10）本期主题：数组、数组与指针之间的关系我们在学习C语言时对于数组一定有很多的了解。数组在C以及C\中都很常见，但是对于C++语言我们更喜

拼搏现实的明天。/ 2022年05月09日 10:00/ 0 赞/ 205 阅读

相关 Redis 菜鸟教程学习笔记- Redis 配置

Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf(Windows 名为 redis.windows.conf)。你可以通过 CONFIG

一时失言乱红尘/ 2021年06月24日 16:11/ 0 赞/ 525 阅读

相关 Redis 菜鸟教程学习笔记- 概念

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。 Redis是一个开源的使用

墨蓝/ 2021年06月24日 16:11/ 0 赞/ 393 阅读

相关《C# 教程》菜鸟教程学习笔记

[学习地址][Link 1] C\有用的网站 [C\ Programming Guide][C_ Programming Guide] \- 介绍了有关关键的 C

ゝ一世哀愁。/ 2021年06月24日 16:11/ 0 赞/ 587 阅读