亿级流量电商详情页系统实战-33.Storm介绍

墨蓝 2022-10-30 06:25 173阅读 0赞

# 1.Storm的集群架构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70]

Nimbus，Supervisor，ZooKeeper，Worker，Executor，Task

# 2.Storm的核心概念 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 1]

*  Spout：数据源的一个代码组件，就是我们可以实现一个spout接口，写一个java类，在这个spout代码中，我们可以自己尝试去数据源获取数据，比如说从kafka中消费数据
 *  bolt：一个业务处理的代码组件，spout会将数据传送给bolt，各种bolt还可以串联成一个计算链条，java类实现了一个bolt接口
 *  Topology：务虚的一个概念  
    一堆spout+bolt，就会组成一个topology，就是一个拓扑，实时计算作业，spout+bolt，一个拓扑涵盖数据源获取/生产+数据处理的所有的代码逻辑
 *  tuple：就是一条数据，每条数据都会被封装在tuple中，在多个spout和bolt之间传递
 *  stream：就是一个流，务虚的一个概念，抽象的概念，源源不断过来的tuple，就组成了一条数据流

# 3.Storm的并行度以及流分组 #

*  并行度：Worker->Executor->Task，没错，是Task
 *  流分组：Task与Task之间的数据流向关系  
    (1) Shuffle Grouping：随机发射，负载均衡  
    (2) Fields Grouping：根据某一个，或者某些个，fields，进行分组，那一个或者多个fields如果值完全相同的话，那么这些tuple，就会发送给下游bolt的其中固定的一个task
    
    你发射的每条数据是一个tuple，每个tuple中有多个field作为字段
    
    比如tuple，3个字段，name，age，salary
    
    \{“name”: “tom”, “age”: 25, “salary”: 10000\} -> tuple -> 3个field，name，age，salary
    
    All Grouping  
    Global Grouping  
    None Grouping  
    Direct Grouping  
    Local or Shuffle Grouping

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70]: /images/20221024/b4ccc105480a4f75aa01c9080c8f35c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg2ODYzOA_size_16_color_FFFFFF_t_70 1]: /images/20221024/adc133e51c134ae98c9dceff7ab72187.png