php kafka 读数据丢失,kafka丢失和重复消费数据

秒速五厘米 2022-10-21 04:58 241阅读 0赞

Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。

1、丢包问题：消息推送服务，每天早上，手机上各终端都会给用户推送消息，这时候流量剧增，可能会出现kafka发送数据过快，导致服务器网卡爆满，或者磁盘处于繁忙状态，可能会出现丢包现象。

解决方案：首先对kafka进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后Kafka设置acks=all，即需要相应的所有处于ISR的分区都确认收到该消息后，才算发送成功。

检测方法：使用重放机制，查看问题所在。

kafka配置如下：

props.put("compression.type", "gzip");

props.put("linger.ms", "50");

props.put("acks", "all");

props.put("retries ", 30);

props.put("reconnect.backoff.ms ", 20000);

props.put("retry.backoff.ms", 20000);

2、重发问题：当消费者重新分配partition的时候，可能出现从头开始消费的情况，导致重发问题。当消费者消费的速度很慢的时候，可能在一个session周期内还未完成，导致心跳机制检测报告出问题。

底层根本原因：已经消费了数据，但是offset没提交。

配置问题：设置了offset自动提交

解决办法：至少发一次+去重操作(幂等性)

问题场景：

设置offset为自动提交，正在消费数据，kill消费者线程；

设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset没提交，下次重启会重复消费；

消费kafka与业务逻辑在一个线程中处理，可能出现消费程序业务处理逻辑阻塞超时，导致一个周期内，offset还未提交；继而重复消费，但是业务逻辑可能采用发送kafka或者其他无法回滚的方式；

重复消费最常见的原因：re-balance问题,通常会遇到消费的数据，处理很耗时，导致超过了Kafka的session timeout时间(0.10.x版本默认是30秒)，那么就会re-balance重平衡，此时有一定几率offset没提交，会导致重平衡后重复消费。

3、去重问题：消息可以使用唯一id标识

保证不丢失消息：生产者(ack=all 代表至少成功发送一次)

消费者 (offset手动提交，业务逻辑成功处理后，提交offset)

保证不重复消费：落表(主键或者唯一索引的方式，避免重复数据)

业务逻辑处理(选择唯一主键存储到Redis或者mongdb中，先查询是否存在，若存在则不处理；若不存在，先插入Redis或Mongdb,再进行业务逻辑处理)

发表评论取消回复

表情：

评论列表（有 0 条评论，241人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka经典三大问：数据有序丢失重复

在kafka中有三个经典的问题：如何保证数据有序性如何解决数据丢失问题如何处理数据重复消费这些不光是面试常客，更是日常使用过程中会遇到的几个问

朱雀/ 2024年03月24日 14:05/ 0 赞/ 18 阅读

相关 kafka如何保证数据不丢失

Guide哥 ![lv-6][] 2020年03月16日阅读 4974 关注面试官问我如何保证Kafka不丢失消息?我哭了！ kafka如何保证不丢消息

ゝ一纸荒年。/ 2023年02月17日 02:22/ 0 赞/ 89 阅读

相关 Kafka不丢失数据与不重复消费数据

文章目录一、不丢失数据 1.生产者数据不丢失 2.消费者数据不丢

短命女/ 2023年01月01日 08:50/ 0 赞/ 140 阅读

相关 kafka如何保证消息不丢失不被重复消费

文章目录 [kafka如何保证消息不丢失不被重复消费][kafka] [消息的发送机制][Link 1] [消息的接

你的名字/ 2022年12月27日 14:01/ 0 赞/ 109 阅读

相关 Kafka 消息丢失和消息重复消费

1. 消息丢失 1. producer 的`acks`参数值设置为‘0’或者‘1’，不等待服务器确认或者只让leader确认 > 解决方法：将`ack

系统管理员/ 2022年12月05日 12:11/ 0 赞/ 202 阅读

相关 php kafka 读数据丢失,kafka丢失和重复消费数据

Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。 1、丢

秒速五厘米/ 2022年10月21日 04:58/ 0 赞/ 242 阅读

相关【Kafka】——顺序消费、重复消费、消息丢失

前言 Kafka可以说是为分布式而生的一个消息中间件，功能很强大，提到这个，我们可能就会想到消息中间件常提到的几个问题，消费的顺序性、重复消费、消息丢失等问题，接下来我们

逃离我推掉我的手/ 2022年10月05日 11:00/ 1 赞/ 361 阅读

相关 Kafka 如何保证数据不丢失？不重复？

一般我们在用到这种消息中件的时候，肯定会考虑要怎样才能保证数据不丢失，在面试中也会问到相关的问题。但凡遇到这种问题，是指3个方面的数据不丢失，即：produce

梦里梦外;/ 2022年09月01日 09:21/ 0 赞/ 195 阅读

相关 Kafka重复消费数据问题

kafka重复消费的问题,主要的原因还是在指定的时间内,没有进行kafka的位移提交,导致根据上一次的位移重新poll出新的数据,而这个数据就是上一次没有消费处理完全的(

骑猪看日落/ 2022年03月20日 11:50/ 0 赞/ 516 阅读

相关 Kafka中的消息是否会丢失和重复消费

[https://blog.csdn.net/u012050154/article/details/78592854][https_blog.csdn.net_u0120501

绝地灬酷狼/ 2021年09月15日 05:34/ 0 赞/ 398 阅读