一文对比storm与spark（特性与应用场景）

超、凢脫俗 2022-10-26 04:58 179阅读 0赞

## 背景 ##

随着实时数据的增加，对实时数据流的需求也在增长。更不用说，流技术正在引领大数据世界。使用更新的实时流媒体平台，用户选择一个平台变得很复杂。Apache Storm和Spark是该列表中最流行的两种实时技术。

让我们根据它们的功能比较Apache Storm和Spark，并帮助用户做出选择。本文的目的是Apache Storm Vs与Apache Spark无关，不是要对两者进行判断，而是要研究两者之间的异同。

## **什么是Apache Storm与Apache Spark？** ##

要了解Spark Vs Storm，让我们首先了解两者的基础！

### **Apache Storm** ###

Apache Storm是一个开源，容错，可扩展的实时流处理计算系统。它是实时分布式数据处理的框架。它着重于事件处理或流处理。Storm实现了一种容错机制来执行计算或调度事件的多个计算。Apache Storm基于流和元组。

### **Apache Spark** ###

Apache Spark是用于集群计算的闪电般的快速大数据技术框架。它旨在对大型数据集进行快速计算。它是用于分布式处理的引擎，但没有内置的分布式存储系统和资源管理器。需要插入自己选择的存储系统和集群资源管理器。

Apache YARN或Mesos可用于群集管理器，而Google Cloud Storage，Microsoft Azure，HDFS（Hadoop分布式文件系统）和Amazon S3可用于资源管理器。

## **Apache Storm与Apache Spark之间的比较** ##

在这里，我们将解释实时处理工具（例如Apache Spark和Apache Storm）之间在功能方面的区别。让我们逐一查看每个功能，以比较Apache Storm与Apache Spark。这将帮助我们学习并决定根据该特定功能采用哪种更好的方法。

### **1.加工模型** ###

*  **Storm：** Apache Storm拥有用于通过核心Storm层进行流处理的真正流模型。
 *  **Spark：** Apache Spark Streaming充当 批处理的包装器。

### **2.原语** ###

*  **Storm：** Apache Storm提供了各种各样的基元，它们按流间隔（功能，过滤器）执行元组级别的处理。在流中，可以通过语义组对信息消息进行聚合，例如，左流，内部连接（默认情况下），流中的右连接由Apache Storm支持。
 *  **Spark：**在Apache Spark中，有两种流操作符，例如输出操作符和流转换操作符。输出运算符用于在外部系统上写信息，流转换运算符用于将DStream转换为另一个。

### **3.状态管理**  ###

*  **Storm：** Apache Storm不提供任何框架来存储任何介入的Bolt输出作为状态。这就是每个应用程序需要在需要时自行为其创建状态的原因。
 *  **Spark：**可以通过UpdateStateByKey更改和维护Apache Spark中的状态。但是不能将可插拔策略应用于外部系统中的状态实现。

### **4.语言选项** ###

*  **Storm：**可以使用Java，Scala和Clojure创建Storm应用程序。
 *  **Spark：**可以使用Java，Python，Scala和R创建Spark应用程序。

### **5.自动拓扑** ###

*  **Storm：** Apache Storm提供了在不同拓扑级别（各种任务，执行程序和工作进程）构建基本并行机制的功能。而且，Storm提供了动态重新平衡，可以减少或增加执行程序和辅助进程的数量，而无需重新启动拓扑或集群。但是，某些主要任务在整个拓扑结构中保持不变。
 *  **Spark：**  Spark社区正在致力于为流应用程序开发动态缩放。值得一提的是，Spark流应用程序不支持弹性缩放。接收拓扑在Spark中是静态的，因此无法使用动态分配。一旦StreamingContext启动，就无法修改拓扑。此外，中止接收器将导致拓扑停止。

### **6.容错** ###

Apache Spark和Apache Storm框架在相同程度上具有容错能力。

*  **Storm：**在Apache Storm中，当进程失败时，主管状态将自动重新启动它，因为状态管理由Zookeeper管理。
 *  **Spark：** Apache Spark通过资源管理器（可能是Mesos，YARN或它的独立管理器）设法重新启动工作器。

### **7.YARN整合** ###

*  **Storm** –通过Apache Slider将Storm与YARN集成。滑块本身是YARN的应用程序，负责在YARN群集中部署非YARN应用程序。
 *  **Spark** – Spark流利用Spark框架中的YARN本地集成。因此，每个Spark流应用程序都将转换为Yarn应用程序以进行部署。

### **8.隔离** ###

*  **风暴** \-在工作进程级别，执行程序针对特定拓扑独立运行。它表明拓扑任务之间没有连接，因此在执行时导致隔离**。**另外，执行程序线程只能运行相同元素的任务，以避免不同元素的任务混合在一起。
 *  **Spark** – Spark应用程序作为不同的应用程序在YARN群集上运行，而执行程序在YARN容器中运行。在同一个JVM中无法执行不同的拓扑，因此YARN提供了JVM级别的隔离。YARN还支持容器级别资源约束的组织，从而提供资源级别隔离。

### **9.消息传递保证（处理消息级别失败）** ###

*  **Storm：** Apache Storm支持三种消息处理模式：

1.  至少一次
2.  最多一次
3.  恰好一次

*  **Spark：** Apache Spark流仅支持一种消息处理模式，即“至少一次”。

### **10.易于发展**  ###

*  **Storm** – **Storm中**有易于使用且有效的API，它们表明拓扑的本质是DAG。Storm元组是动态编写的。仅需注册Kryo序列化程序，即可轻松插入新的元组。通过编写拓扑并在本机集群模式下运行它们来启动它。
 *  **Spark** – Spark由具有实用编程的Java和Scala API组成，这使得拓扑代码有些难以理解。但是，就像这样，API文档和示例可供开发人员轻松使用，这变得容易。

### **11.易于操作** ###

*  **Storm** – **Storm**的安装和部署有些棘手。它仍然依赖Zookeeper集群来与状态，集群和统计信息进行协调。它包含一个功能强大的容错系统，该系统不允许守护程序在一段时间内影响拓扑。
 *  **Spark** – Spark本身是执行Spark Streaming的基本框架。在YARN上维护Spark集群很容易。需要启用检查点以使应用程序驱动程序具有容错能力，这使得Spark依赖于HDFS（即容错存储）。

### **12.低延迟** ###

*  **Storm：** Apache Storm提供了更好的延迟，几乎没有任何限制。
 *  **Spark：**与Apache Storm相比，Apache Spark提供更高的延迟

### **13.开发成本** ###

*  **Storm：**在Apache Storm中，流处理和批处理都不能使用相同的代码库。
 *  **Spark：**在Apache **Spark中**，可以将相同的代码库用于流处理和批处理。

### **14.总结性对比** ###

Storm擅长于动态处理大量实时生产的小数据块，概念上是将小数据量的数据源源不断传给过程；

Spark擅长对现有的数据全集做处理，概念是将过程传给大数据量的数据。

二者设计思路相反。Storm侧重于处理的实时性，Spark侧重处理庞大数据（类似于Hadoop的MR）。

Spark流模块(Spark Streaming)与Storm类似，但有区别：

1.Storm纯实时，来一条数据，处理一条数据；SparkStreaming准实时，对一个时间段内的数据收集起来，作为一个RDD，再做处理。

2.Storm响应时间毫秒级；Spark Streaming响应时间秒级

3.Storm可以动态调整并行度；SparkStreaming不行