storm_拓扑

旧城等待， 2022-04-11 13:09 210阅读 0赞

1.什么是拓扑

要使用storm做实时计算，首先需要创建所谓的“拓扑”。一个拓扑是一个有向图的计算。在一个拓扑中的每个节点包含处理逻辑，节点之间的连接显示数据应该如何在节点之间传递。

2.Topology

TopologyBuilder是构建拓扑的类，用于指定执行的拓扑。拓扑底层是Thrift结构，由于Thrift API非常冗长，使用TopologyBuilder可以极大地简化建立拓扑的过程。

注：百度百科一下thrift。

thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C\#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。

创建和提交拓扑的过程如下：首先，使用new关键字创建一个topologyBuilder对象，然后调用setSpout方法设置Spout，接着调用setBolt方法设置Bolt，最后调用createTopology方法返回StormTopology对象给submitTopology方法作为输入参数。

如：

TopologyBuilder builder = **new** TopologyBuilder();

builder.setSpout("word", **new** WordSpout());

builder.setBolt("ExclamationBolt", **new** ExclamationBolt()).shuffleGrouping("word");

builder.setBolt("MergeBolt", **new** MergeBolt()).allGrouping("ExclamationBolt");

Config conf = **new** Config();

// 集群模式

StormSubmitter.*submitTopology*(args\[0\], conf, builder.createTopology());

// 本地模式

LocalCluster cluster = **new** LocalCluster();

cluster.submitTopology("word", conf, builder.createTopology());

3.流分组

3.1什么是流分组

流分组是拓扑定义的一部分，为每个bolt指定应该接收哪个流作为输入。流分组定义了流/元组如何在bolt的任务之间进行分发。

在集群中，spout和bolt并行执行许多任务。如果你在任务层看拓扑是怎样执行的，则会看到流分组的示意图，如：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjY1MzU2_size_16_color_FFFFFF_t_70][]

![20181206154656776.png][]

Storm内置了七种流分组方式。

3.2随机分组

shuffle grouping对各个task的tuple分配的比较均匀。

![20181206154730818.png][]

3.3字段分组

fieldsGrouping

这种grouping机制保证相同field值的tuple会去同一个task，这对于WordCount来说非常关键，如果同一个单词不去同一个task，那么统计出来的单词次数就不对了。

3.4广播分组

All grouping

是指流被发送到所有Bolt的任务中。

3.5全局分组

Global grouping

Stream中的所有的tuple都会发送给同一个bolt任务处理，所有的tuple将会发送给拥有最小task\_id的bolt任务处理。

3.6无分组

None grouping

![20181206154752643.png][]

3.7直接分组

Direct grouping

![20181206154809605.png][]

3.8自定义分组

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjY1MzU2_size_16_color_FFFFFF_t_70 1][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjY1MzU2_size_16_color_FFFFFF_t_70]: /images/20220411/3a847ad0b236419797cde8943abe82e0.png
[20181206154656776.png]: /images/20220411/59523fca74624b3a8071ac8edb2da527.png
[20181206154730818.png]: /images/20220411/23a2d7ca9bd04323b4d86608210b9156.png
[20181206154752643.png]: /images/20220411/bd466dd5dc814734bf5e0f538fc0b5f7.png
[20181206154809605.png]: /images/20220411/e38b624425c0487f9f90391dcc6d4536.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjY1MzU2_size_16_color_FFFFFF_t_70 1]: /images/20220411/3e9bf34e072946eebd035b55c79cf97e.png