Spark Streaming架构与背压机制

Dear 丶 2023-01-11 13:00 84阅读 0赞

# Spark Streaming架构与背压机制 #

## 1. Spark Streaming架构 ##

*  **整体架构图**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]
 *  SparkStreaming架构图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

## 2. 背压机制 ##

Spark 1.5以前版本，用户如果要限制Receiver的数据接收速率，可以通过设置静态配制参数“spark.streaming.receiver.maxRate”的值来实现，此举虽然可以通过限制接收速率，来适配当前的处理能力，防止内存溢出，但也会引入其它问题。比如：producer数据生产高于maxRate，当前集群处理能力也高于maxRate，这就会造成资源利用率下降等问题。

为了更好的协调数据接收速率与资源处理能力，1.5版本开始Spark Streaming可以动态控制数据接收速率来适配集群数据处理能力。背压机制（即Spark Streaming Backpressure）: 根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率。

通过属性“spark.streaming.backpressure.enabled”来控制是否启用backpressure机制，默认值false，即不启用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221119/10f3a511d4ac4f7896decb4f1ddf5dff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221119/b98fa48977eb404fb7e0d516d51c55fb.png

发表评论取消回复

表情：

评论列表（有 0 条评论，84人围观）

还没有评论，来说两句吧...

相关阅读

相关深入理解Spark Streaming流量控制及反压机制

流量控制简介在流式处理系统中，流量控制（rate control/rate limit）是一个非常重要的话题。对系统进行流控，主要目的是为了保证运行的稳定性，防止突发大

刺骨的言语ヽ痛彻心扉/ 2023年09月27日 10:36/ 0 赞/ 55 阅读

相关 Spark Streaming架构与背压机制

Spark Streaming架构与背压机制 1. Spark Streaming架构整体架构图 ![在这里插入图片描述][watermark_

Dear 丶/ 2023年01月11日 13:00/ 0 赞/ 85 阅读

相关 Spark Streaming之容错机制

目录一、容错机制的背景二、Spark Streaming 容错语义的定义三、接收数据的容错语义四、输出数据的

迷南。/ 2022年12月29日 04:48/ 0 赞/ 102 阅读

相关 Spark Streaming之checkpoint机制

目录一、checkpoint机制二、checkpoint启用方式三、Driver失败重写超过程序四、配置sp

超、凢脫俗/ 2022年12月29日 04:47/ 0 赞/ 106 阅读

相关实时计算引擎Spark笔试题:Spark Streaming 反压机制(Back Pressure)

Spark Streaming 反压机制是1.5版本推出的特性，用来解决处理速度比摄入速度慢的情况，简单来讲就是做流量控制。当批处理时间(Batch Processing Ti

清疚/ 2022年12月28日 14:10/ 0 赞/ 151 阅读

相关 Spark Streaming架构原理详解！

目录一、Spark Streaming功能介绍（1）概述（2）DStream概述（3）

- 日理万妓/ 2022年12月10日 14:42/ 0 赞/ 183 阅读

相关 Spark Streaming反压机制介绍

1.反压机制原理 Spark Streaming中的反压机制是Spark 1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。当批处理时间(Batch Proc

以你之姓@/ 2022年08月30日 05:17/ 0 赞/ 119 阅读

相关 Spark Streaming 数据清理机制

Spark Streaming 数据清理机制时间 2016-05-11 10:29:54 [51CTO][] 原文 [http://developer.51c

雨点打透心脏的1/2处/ 2022年07月05日 15:08/ 0 赞/ 174 阅读

相关 [spark streaming] 架构和运行机制

本期内容：　　1. Spark Streaming架构　　2. Spark Streaming运行机制 3.解密Spark Streaming Job架

灰太狼/ 2022年05月15日 09:58/ 0 赞/ 190 阅读

相关 Spark Streaming架构原理剖析

文章目录一、Spark Streaming 原理概述二、DStream生成RDD实例的过程 1、什么是DStream

末蓝、/ 2022年02月04日 03:49/ 0 赞/ 249 阅读