[Hadoop] Kafka + Spark Streaming 数据零丢失

短命女 2022-05-19 01:48 177阅读 0赞

Kafka：输入  
Spark Streaming：伪实时流处理 batch批次 1s :> = 0 0，1...100...  
DB：输出 Redis/ES

雪崩效应  Job全部hung在那里 解决一般是手工kill ==> 如何保证数据0丢失  
流处理程序 bug => 挂了 => 下次再启动，也要保证数据0丢失

生产上如何确认spark和kafka的版本：sparl.apache.orh/docs/latest/streaming-kafka-integration.html

CDH Kafka:0.10.0.0  
Apache Spark Streaming:(cdh的spark不支持sql，阉割版）2.1.1   （官方最新版2.3.1）

数据领丢失：  
Offset Commit API：  kafka数据偏移量

比如：Kafka Topic 有10个分区： 分区：a b c d e f  
data    offset  
a     1  
b     2  
c     3  
\------------  
d     4  
e     5 挂了  
f     6

读的过程中把offset存起来，官网Storing Offset：  
1）Checkpoint： HDFS 小文件（合并）存在一定弊端，生产上不用这种方法

如果读的进度和offset存的不同步

结构化流

2） your own data store：zk/hbase （offset存放的地方）这样做法业务维护太麻烦

![70][]

源码是JAVA的，可以改造成SCALA来使用。

第三种方法

3）kafka itself 自我维护offset

面试时常问的问题：

问题1：Receiver DStream 和Direct  DStream区别

问题2：spark partition VS kafka partition：1：1可以并行提高执行效率

kafka itself 自我维护offset ==> 新的topic(内嵌的topic:\_consumer) 内嵌在topic

具体执行代码在spark官网kafka itself这里可以找到

stream.foreachRDD \{

...

// 业务处理

// ofset信息是异步提交到内嵌的\_consumer topic里面。生产中我们必须要自己手动去提交

dstream.asInstanceOf...

\}

![70 1][]

什么叫流

![70 2][]

代码实现

![70 3][]

![70 4][]

消费语义：

至少1次   12    12   重复消费，至少保证不丢。生产中选用这一种

最多1次    12

1. 重复消费，至少保证不丢，如何解决重复问题

2. key = null

数据是通过flume 发送到kafka

逻辑顺序

1 insert

2 update

3 delete

1 --> p0

2，3  -> p1

数据倾斜

如何保证spark streaming 有序消费

[70]: /images/20220519/d459b33249bf4f789414c42ad1a64b91.png
[70 1]: /images/20220519/bd8ae188273f4e0b9a0093e4a91d4a29.png
[70 2]: /images/20220519/7f407e892f0b40b2bc62bea70387ae57.png
[70 3]: /images/20220519/010c171055ad4f98bcfb4308d0fae3be.png
[70 4]: /images/20220519/7dd9055bb0ae4e9a9ad15716eadd4e2a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，177人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark Streaming消费Kafka Direct保存offset到Redis，实现数据零丢失和exactly once

一、概述上次写[这篇文章][Link 1]文章的时候，Spark还是1.x，kafka还是0.8x版本，转眼间spark到了2.x，kafka也到了2.x，存储o

我会带着你远行/ 2023年05月31日 02:46/ 0 赞/ 9 阅读

相关 Spark Streaming读取kafka中数据详解

话不多说今天就给大家说下Spark Streaming如何读取Kafka中数据先导依赖包到pom.xml <dependency> <groupId

电玩女神/ 2022年12月04日 09:22/ 0 赞/ 125 阅读

相关 Spark Streaming读写 kafka

[大数据开发-Spark-开发Streaming处理数据 && 写入Kafka][-Spark-_Streaming_ _ _Kafka] [Spark Streaming+

﹏ヽ暗。殇╰゛Y/ 2022年10月16日 07:23/ 0 赞/ 224 阅读

相关 Spark Streaming的容错和数据无丢失机制

[Spark Streaming的容错和数据无丢失机制][Spark Streaming] 原文链接：[Improved Fault-tolerance and Zero D

分手后的思念是犯贱/ 2022年07月12日 04:15/ 0 赞/ 182 阅读

相关 Spark踩坑记——Spark Streaming+Kafka

前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sp

超、凢脫俗/ 2022年05月27日 06:39/ 0 赞/ 201 阅读

相关 [Hadoop] Kafka + Spark Streaming 数据零丢失

Kafka：输入 Spark Streaming：伪实时流处理 batch批次 1s :> = 0 0，1...100... DB：输出 Redis/ES

短命女/ 2022年05月19日 01:48/ 0 赞/ 178 阅读

相关 Spark学习（7）- Spark Streaming整合Kafka

流程： 1. 创建maven项目 2. 引入相应的依赖 3. 编写代码 4. 发布第一种方式：KafkaUtils.createDstream方式（基于kafka

桃扇骨/ 2022年03月10日 03:42/ 0 赞/ 230 阅读

相关 Spark Streaming与Kafka如何保证数据零丢失

1、At most once - 每条数据最多被处理一次（0次或1次），这种语义下会出现数据丢失的问题； 2、At least once - 每条数据最少被处理一次 (1次

矫情吗；*/ 2022年03月09日 13:06/ 0 赞/ 327 阅读

相关 Spark Streaming将处理结果数据写入Kafka

Spark 没有直截有效的方式将消息发送到Kafka。 input.foreachRDD(rdd => // 不能在这里创建KafkaProducer

Bertha 。/ 2021年12月16日 07:39/ 0 赞/ 300 阅读

相关 Spark Streaming + Kafka整合实例

摘要：本文主要讲了一个Spark Streaming+Kafka整合的实例本文工程下载：[https://github.com/appleappleapple/B

桃扇骨/ 2021年09月12日 05:54/ 0 赞/ 435 阅读