storm_概念

谁借莪１个温暖的怀抱￠ 2022-04-10 20:11 217阅读 0赞

1.元组（Tuple）

元组，是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于名个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元组填入名个value即可，所以元组是一个value的list。

2.流（stream）

流（stream）是storm的核心抽象，是一个无界的元组序列。源源不断传递的元组就组成流。在分布式环境中并行地进行创建和处理。

即：流由元组组成。

3.喷口（spout）

喷口是拓扑的流来源，是一个拓扑中产生源数据流的组件。通常情况下，spout会从外部数据源（例如Twitter API，RaitMQ）中读取数据，然后转换为拓扑内部的源数据。Spout可以是可靠的，也可以是不可靠的。如果storm处理元组失败，可靠的spout能够重新发射，而不可靠的spout就尽快忘记发出的元组。Spout是一个主动的角色，其接口中有个nextTuple()函数，storm框架会不停地调用此函数，用户只要在其中生成源数据即可。

4.螺栓（bolt）

在拓扑中的所有处理都在bolt中完成，bolt是流的处理节点，从一个拓扑接收数据然后执行进行处理的组件。Bolt可以完成过滤、业务处理、连接运算、连接与访问数据库等任何操作。Bolt是一个被动的角色，其接口中有一个execute()方法，在接收到消息后会调用此方法，用户可以在其中执行自己希望的操作。

Spout是流的源并没有，通常从外部数据源读取元组，并emit到拓扑中。

Bolt接收任何数据的输入流，执行处理后，可能提交新的流。

5.拓扑（topology）

拓扑是storm中运行的一个实时应用程序，因为各个组件间的消息流动而形成逻辑上的拓扑结构。

在java中，使用topologyBuilder类来构造拓扑。

6.Nimbus、Supervisor

主控节点运行一个称为Nimbus的守护进程，类拟于Hadoop的JobTracker。Nimbus负责在集群中分发代码，对节点分配任务，并监视主机故障。

每个工作节点运行一个称为superviosr的守护进程。Supervisor监听其主机上已经分配的主机作业，启动和停止nimbus已经分配的工作进程。

发表评论取消回复

表情：

评论列表（有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读

相关 Storm

概念 Storm 是一个开源的分布式实时计算系统。利用 Storm 可以很容易做到可靠地处理无限的数据流，像 Hadoop 批量处理大数据一样，Storm 可以实时

淡淡的烟草味﹌/ 2024年03月24日 14:37/ 0 赞/ 38 阅读

相关 storm的基本概念

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

àì夳堔傛蜴生んèń/ 2023年10月07日 04:31/ 0 赞/ 41 阅读

相关 Storm

一背景和架构 1.1 Storm是什么？ Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由Nathan Marz带领Backty

男娘i/ 2022年11月20日 01:56/ 0 赞/ 243 阅读

相关 Storm 简介及组件的基本概念

如果需要实现一个实时计算系统全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得

缺乏、安全感/ 2022年07月16日 01:07/ 0 赞/ 234 阅读

相关 Storm（三）：Storm入门Demo

一、简介我们前面的文章对Apache Storm 是一

ゝ一纸荒年。/ 2022年06月14日 05:22/ 0 赞/ 234 阅读

相关 Apache Storm核心概念

Apache Storm从一端读取实时数据的原始流，并将其传递通过一系列小处理单元，并在另一端输出处理/有用的信息。下图描述了Apache Storm的核心概念。 ![4

谁借莪１个温暖的怀抱￠/ 2022年06月04日 06:55/ 0 赞/ 214 阅读

相关【译】Apache Storm系列之一（概念）

-------------------- 本文列出 Storm 的几个主要概念，并会给出相关资源的链接以便你获取更多信息，概念主要如下： Topologies

Love The Way You Lie/ 2022年05月05日 14:27/ 0 赞/ 215 阅读

相关 storm_概念

1.元组（Tuple）元组，是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字

谁借莪１个温暖的怀抱￠/ 2022年04月10日 20:11/ 0 赞/ 218 阅读

相关 storm笔记：storm集群

[storm笔记：storm集群][storm_storm] Strom集群结构是有一个主节点（nimbus）和多个工作节点（supervisor）组成的主从结构，主节点通过

小灰灰/ 2021年09月25日 19:08/ 0 赞/ 545 阅读

相关 storm笔记：storm基本概念

[storm笔记：storm基本概念][storm_storm] 本文主要介绍storm中的基本概念，从基础上了解strom的体系结构，便于后续编程过程中作为基础指导。主要的

今天药忘吃喽~/ 2021年09月25日 19:04/ 0 赞/ 544 阅读