Storm

男娘i 2022-11-20 01:56 208阅读 0赞

# 一 背景和架构 #

## **1.1 Storm是什么？** ##

Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由Nathan Marz带领Backtype公司团队创建，在Backtype公司被Twitter公司收购后进行开源。最初的版本是在2011年9月17日发行，版本号0.5.0。

2013年9月，Apache基金会开始接管并孵化Storm项目。Apache Storm是在Eclipse Public License下进行开发的，它提供给大多数企业使用。经过1年多时间，2014年9月，Storm项目成为Apache的顶级项目。目前，Storm的最新版本1.1.0。

Storm是一个免费开源的分布式实时计算系统。Storm能轻松可靠地处理无界的数据流，就像Hadoop对数据进行批处理；

## **1.2 Storm与Hadoop的区别** ##

1）Storm用于实时计算，Hadoop用于离线计算。

2）Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批处理。

3）Storm的数据通过网络传输进来；Hadoop的数据保存在磁盘中。

4）Storm与Hadoop的编程模型相似

<table style="margin-left:5.4pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:136.6pt;"> &nbsp; </td> 
 <td style="vertical-align:top;width:142.05pt;"> Storm </td> 
 <td style="vertical-align:top;width:132.45pt;"> hadoop </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:136.6pt;"> 角色 </td> 
 <td style="vertical-align:top;width:142.05pt;"> Nimbus </td> 
 <td style="vertical-align:top;width:132.45pt;"> JobTracker </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:136.6pt;"> &nbsp; </td> 
 <td style="vertical-align:top;width:142.05pt;"> Supervisor </td> 
 <td style="vertical-align:top;width:132.45pt;"> TaskTracker </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:136.6pt;"> &nbsp; </td> 
 <td style="vertical-align:top;width:142.05pt;"> Worker </td> 
 <td style="vertical-align:top;width:132.45pt;"> Child </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:136.6pt;"> 应用名称 </td> 
 <td style="vertical-align:top;width:142.05pt;"> Topology </td> 
 <td style="vertical-align:top;width:132.45pt;"> Job </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:136.6pt;"> 编程接口 </td> 
 <td style="vertical-align:top;width:142.05pt;"> Spout/Bolt </td> 
 <td style="vertical-align:top;width:132.45pt;"> Mapper/Reducer </td> 
 </tr> 
 </tbody> 
</table>

（1）hadoop相关名称

Job：任务名称

JobTracker：项目经理（JobTracker对应于NameNode；JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。）

TaskTracker：开发组长（TaskTracker对应于DataNode；TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。）

Child：负责开发的人员

Mapper/Reduce：开发人员中的两种角色，一种是服务器开发、一种是客户端开发

（2）storm相关名称

Topology：任务名称

Nimbus：项目经理

Supervisor：开组长

Worker：开人员

Spout/Bolt：开人员中的两种角色，一种是服务器开发、一种是客户端开发

## **1.3 Storm应用场景及行业案例** ##

Storm用来实时计算源源不断产生的数据，如同流水线生产。

### **1.3.1 运用场景** ###

Storm能用到很多场景中，包括：实时分析、在线机器学习、连续计算等。

1）推荐系统：实时推荐，根据下单或加入购物车推荐相关商品

2）金融系统：实时分析股票信息数据

3）预警系统：根据实时采集数据，判断是否到了预警阈值。

4）网站统计：实时销量、流量统计，如淘宝双11效果图

### **1.3.2 典型案列** ###

1）京东-实时分析系统：实时分析用户的属性，并反馈给搜索引擎

最初，用户属性分析是通过每天在云上定时运行的MR job来完成的。为了满足实时性的要求，希望能够实时分析用户的行为日志，将最新的用户属性反馈给搜索引擎，能够为用户展现最贴近其当前需求的结果。

2）携程-网站性能监控：实时分析系统监控携程网的网站性能

利用HTML5提供的performance标准获得可用的指标，并记录日志。Storm集群实时分析日志和入库。使用DRPC聚合成报表，通过历史数据对比等判断规则，触发预警事件。

3）淘宝双十一：实时统计销售总额

## **1.4 Storm特点** ##

1）适用场景广泛：Storm可以适用实时处理消息、更新数据库、持续计算等场景。

2）可伸缩性高：Storm的可伸缩性可以让Storm每秒处理的消息量达到很高。扩展一个实时计算任务，你所需要做的就是加机器并且提高这个计算任务的并行度。Storm使用Zookeeper来协调机器内的各种配置使得Storm的集群可以很容易的扩展。

3）保证无数据丢失：Storm保证所有的数据都被处理。

4）异常健壮：Storm集群非常容易管理，轮流重启节点不影响应用。

5）容错性好：在消息处理过程中出现异常，Storm会进行重试。

# **二 Storm基础知识** #

## **2.1 Storm编程模型** ##

### **2.1.1 元组（Tuple）** ###

元组（Tuple），是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于各个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元组填入各个value即可，所以元组是一个value的List。

### **2.1.2 流（Stream）** ###

流是Storm的核心抽象，是一个无界的元组系列。源源不断传递的元组就组成了流，在分布式环境中并行地进行创建和处理。

### **2.1.3 水龙头（Spout）** ###

Spout是拓扑的流的来源，是一个拓扑中产生源数据流的组件。通常情况下，Spout会从外部数据源中读取数据，然后转换为拓扑内部的源数据。

Spout可以是可靠的，也可以是不可靠的。如果Storm处理元组失败，可靠的Spout能够重新发射，而不可靠的Spout就尽快忘记发出的元组。

Spout可以发出超过一个流。

Spout的主要方法是nextTuple()。NextTuple()会发出一个新的Tuple到拓扑，如果没有新的元组发出，则简单返回。

Spout的其他方法是ack()和fail()。当Storm检测到一个元组从Spout发出时，ack()和fail()会被调用，要么成功完成通过拓扑，要么未能完成。Ack()和fail()仅被可靠的Spout调用。

IRichSpout是Spout必须实现的接口。

### **2.1.4 转接头（Bolt）** ###

在拓扑中所有处理都在Bolt中完成，Bolt是流的处理节点，从一个拓扑接收数据，然后执行进行处理的组件。Bolt可以完成过滤、业务处理、连接运算、连接与访问数据库等任何操作。

Bolt是一个被动的角色，七接口中有一个execute()方法，在接收到消息后会调用此方法，用户可以在其中执行自己希望的操作。

Bolt可以完成简单的流的转换，而完成复杂的流的转换通常需要多个步骤，因此需要多个Bolt。

Bolt可以发出超过一个的流。

### **2.1.5 拓扑（Topology）** ###

拓扑（Topology）是Storm中运行的一个实时应用程序，因为各个组件间的消息流动而形成逻辑上的拓扑结构。

把实时应用程序的运行逻辑打成jar包后提交到Storm的拓扑（Topology）。Storm的拓扑类似于MapReduce的作业（Job）。其主要的区别是，MapReduce的作业最终会完成，而一个拓扑永远都在运行直到它被杀死。一个拓扑是一个图的Spout和Bolt的连接流分组。

## **2.2 Storm核心组件** ##

nimbus是整个集群的控管核心，负责topology的提交、运行状态监控、任务重新分配等工作。

zk就是一个管理者，监控者。

总体描述：nimbus下命令（分配任务），zk监督执行（心跳监控，worker、supurvisor的心跳都归它管），supervisor领旨（下载代码），招募人马(创建worker和线程等)，worker、executor就给我干活！task就是具体要干的活。

### **2.2.1 主控节点与工作节点** ###

Storm集群中有两类节点：主控节点（Master Node）和工作节点（Worker Node）。其中，主控节点只有一个，而工作节点可以有多个。

### **2.2.2 Nimbus进程与Supervisor进程** ###

主控节点运行一个称为Nimbus的守护进程类似于Hadoop的JobTracker。Nimbus负责在集群中分发代码，对节点分配任务，并监视主机故障。

每个工作节点运行一个称为Supervisor的守护进程。Supervisor监听其主机上已经分配的主机的作业，启动和停止Nimbus已经分配的工作进程。

### **2.2.3 流分组（Stream grouping）** ###

流分组，是拓扑定义中的一部分，为每个Bolt指定应该接收哪个流作为输入。流分组定义了流/元组如何在Bolt的任务之间进行分发。

Storm内置了8种流分组方式。

### **2.2.4 工作进程（Worker）** ###

Worker是Spout/Bolt中运行具体处理逻辑的进程。一个worker就是一个进程，进程里面包含一个或多个线程。

### **2.2.5 执行器（Executor）** ###

一个线程就是一个executor，一个线程会处理一个或多个任务。

### **2.2.6 任务（Task）** ###

一个任务就是一个task。

## **2.3 实时流计算常见架构图** ##

1）Flume获取数据。

2）Kafka临时保存数据。

3）Strom计算数据。

4）Redis是个内存数据库，用来保存数据。

# 三 安装集群 #

**下载页面：[http://storm.apache.org/downloads.html][http_storm.apache.org_downloads.html]**

**安装向导：[http://storm.apache.org/releases/2.2.0/Setting-up-a-Storm-cluster.html][http_storm.apache.org_releases_2.2.0_Setting-up-a-Storm-cluster.html]**

## **3.1 解压** ##

tar -zxvf apache-storm-2.2.0.tar.gz

![20201122072932746.png][]

## 3.2 配置storm.yaml ##

storm.zookeeper.servers:
            - "hadoop01"
            - "hadoop02"
            - "hadoop03"
    #
    nimbus.seeds: ["hadoop01"]
    storm.local.dir: "/mine/apache-storm-2.2.0/data"
    
    supervisor.slots.ports:
        - 6700
        - 6701
        - 6702
        - 6703

## 3.3 配置环境变量 ##

cd /mine/apache-storm-2.2.0
    mkdir data

vim /etc/profile

export JAVA_HOME=/mine/jdk1.8.0_201
    export HIVE_HOME=/mine/apache-hive-3.1.2-bin
    export HADOOP_HOME=/mine/hadoop-3.2.0
    export FLUME_HOME=/mine/apache-flume-1.9.0-bin
    export SQOOP_HOME=/mine/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
    export ZOOKEEPER_HOME=/mine/apache-zookeeper-3.6.2-bin
    export HBASE_HOME=/mine/hbase-2.3.3
    export STORM_HOME=/mine/apache-storm-2.2.0
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:/$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$FLUME_HOME/bin:$SQOOP_HOME/bin:$HBASE_HOME/bin:$STORM_HOME/bin

source /etc/profile

## 3.4 拷贝到其他节点上（storm的压缩文件夹） ##

scp -r /mine/apache-storm-2.2.0 hadoop02:/mine/
    scp -r /mine/apache-storm-2.2.0 hadoop03:/mine/
    scp /etc/profile hadoop02:/etc/
    scp /etc/profile hadoop03:/etc/
    
    
    source /etc/profile

## 3.5 启动集群 ##

**注意：由于storm的bin下有个python的脚本，所以需要python2的环境，所以要安装python2**

yum install python2 -y
    ln -s /usr/bin/python2.7 /usr/bin/python

### **3.5.1 安装python2** ###

yum install python2 -y
    ln -s /usr/bin/python2.7 /usr/bin/python

### 3.5.2 在各个机器节点上安装nimbus ###

**hadoop01、hadoop02、hadoop03:**

storm nimbus &

###  3.5.3 在各个机器节点上安装supervisor ###

**hadoop01、hadoop02、hadoop03:**

storm supervisor &

###  3.5.4 启动网页ui ###

**hadoop01：**

storm ui &

、Zookeeper AdminServer，默认使用8080端口，它的配置属性如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70][]

我们可以修改在zoo.cfg中修改AdminServer的端口：

admin.serverPort=8888

保存后，再次启动，Zookeeper启动成功。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1][]

**开启日志查询： **

storm logviewer &

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2][]

**nimbus.log：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3][]

**supervisor.log ：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 4][]

[http_storm.apache.org_downloads.html]: http://storm.apache.org/downloads.html
[http_storm.apache.org_releases_2.2.0_Setting-up-a-Storm-cluster.html]: http://storm.apache.org/releases/2.2.0/Setting-up-a-Storm-cluster.html
[20201122072932746.png]: /images/20221120/a2277ed01a7f42efaecc1a8c64c73a58.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70]: /images/20221120/cd4cf35012c040468d7edd95f37dc4a8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1]: /images/20221120/897035e8b5a84210a28d746884aa3504.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201122161605928.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201122161637421.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201122163350713.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI=,size_16,color_FFFFFF,t_70