SparkStreaming (一) --------- SparkStreaming 概述

小鱼儿 2024-04-07 13:12 70阅读 0赞

#### 目录 ####

*  一、Spark Streaming 是什么 ?
 *  二、Spark Streaming 的特点
 *  二、Spark Streaming 架构
 *   *  1. 架构图
     *  2. 背压机制

--------------------

## 一、Spark Streaming 是什么 ? ##

![在这里插入图片描述][dde641b8264945f7921baf0054c5e725.png]  
Spark 流使得构建可扩展的容错流应用程序变得更加容易。

Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语，如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。

![在这里插入图片描述][5401c2fb78c243f28ce977b960b17b23.png]和 Spark 基于 RDD 的概念很相似，Spark Streaming 使用离散化流 (discretized stream)作为抽象表示，叫作 DStream。DStream 是随时间推移而收到的数据的序列。在内部，每个时间区间收到的数据都作为 RDD 存在，而 DStream 是由这些RDD 所组成的序列(因此得名“离散化”)。所以简单来将，DStream 就是对 RDD 在实时数据处理场景的一种封装。

## 二、Spark Streaming 的特点 ##

➢ 易用

![在这里插入图片描述][f9d71651ce7a4a3d9512c7788c089fe4.png]  
➢ 容错

![在这里插入图片描述][c2b2d5e37f5e4da3af8bcadbc7d01ed3.png]  
➢ 易整合到 Spark 体系

![在这里插入图片描述][1d21858c74e748fdba08e76bd010e390.png]

## 二、Spark Streaming 架构 ##

### 1. 架构图 ###

➢ 整体架构图

![在这里插入图片描述][9500606461874ef9a9c49ada8921d807.png]  
➢ SparkStreaming 架构图

![在这里插入图片描述][3900bbe34b074088b6cfb0977583641d.png]

### 2. 背压机制 ###

Spark 1.5 以前版本，用户如果要限制 Receiver 的数据接收速率，可以通过设置静态配制参数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前的处理能力，防止内存溢出，但也会引入其它问题。比如：producer 数据生产高于 maxRate，当前集群处理能力也高于 maxRate，这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力，1.5 版本开始 Spark Streaming 可以动态控制数据接收速率来适配集群数据处理能力。背压机制（即 Spark Streaming Backpressure）: 根据 JobScheduler 反馈作业的执行信息来动态调整 Receiver 数据接收率。

通过属性“spark.streaming.backpressure.enabled”来控制是否启用 backpressure 机制，默认值false，即不启用。

[dde641b8264945f7921baf0054c5e725.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/c859322cac3b4078a174568f151c27ed.png
[5401c2fb78c243f28ce977b960b17b23.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/8d0d079e98e942d4b636107c0ffcea6c.png
[f9d71651ce7a4a3d9512c7788c089fe4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4a5c3dc3ffc947a4810664096d9e2a3f.png
[c2b2d5e37f5e4da3af8bcadbc7d01ed3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/78c1114fd6824f9f9f04ff0a613b828f.png
[1d21858c74e748fdba08e76bd010e390.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f7071dc1fe434ddab51133c679ca7f48.png
[9500606461874ef9a9c49ada8921d807.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/4cd108b6a8ff4e0a8651fda636a8cc41.png
[3900bbe34b074088b6cfb0977583641d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/56afa21b43934889a91e9f5c23a55495.png