kafka之消费

快来打我* 2023-03-06 03:29 12阅读 0赞

消费者客户端使用kafkaconsumer向broker订阅topic，接收消息进行消费。kafka中消息的消费，要知晓两个紧密相关的概念：消费者consumer和消费者组consumer group。

## 消费者和消费者组 ##

每个consumer的实例只属于某一个consumer group。

对于每个consumer group，在任意时刻，每个分区partition至多有一个consume实例在消费，反过来，consumer group中的每个consumer独占一个或多个partition分区。

举例来说，4个分区，当前consumer group组内只有三个consumer实例，那么其中会有一个consumer实例消费两个分区的消息。

如果同一个主题topic需要被多个应用消费，那么，只需要为每个应用创建各自的consumer group，这样每个应用也就是每个consumer group能够消费该主题topic的所有消息。

每个consumer group可以订阅多个主题topic，比如consumer group订阅了三个主题topic，每个主题分别有1，2，3个分区，那么可以设定consumer group下有6个消费者实例，这样每个消费者实例就对应消费这三个主题下的一个分区。

## 消费者组重平衡 ##

每个consumer group都有一个协调者coordinator来负责分配消费者consumer和分区partition的关系。当consumer实例或者partition发生了变更，会触发reblance过程，重新分配消费者consumer和分区partition的关系。

1. 组成员的数量发生了变化，也就是consumer增加或者减少了

2. 订阅的主题的分区数发生了变化，比如该主题topic又新增或者减少了分区

3. 订阅主题的数量发生了变化，比如由原来订阅的1个主题topic下有3个分区，又新增订阅了另外一个有4个分区的主题topic，其实这也相当于是2中的分区数量发生了变化。

组成员的数量发生了变化是最常见的，举个最简单的例子，当消费者应用在发布或者重启的过程中，就可能会触发rebalance的过程。

消费者实例通过心跳来与协调者coordinator通信，一旦某个消费者实例一段时间没有发送心跳请求给协调者，协调者就会认为这个消费者实例挂了，就会决定开启一轮新的重平衡。

那么问题来了，协调者是如何通知其他消费者实例来进行重平衡的？

其实很简单，其他消费者实例也是在和协调者不停的发送心跳请求的，一旦协调者决定开启新的一轮重平衡，那么就会将相关的通知信息封装到心跳请求的响应中，这样其他消费者实例就会感知到这个重平衡的通知。

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkStreaming踩坑之Kafka重复消费

1.问题描述使用SparkStreaming连接Kafka的demo程序每次重启，都会从Kafka队列里第一条数据开始消费。修改enable.auto.commit相

谁践踏了优雅/ 2023年05月31日 02:45/ 0 赞/ 6 阅读

相关 kafka之消费

消费者客户端使用kafkaconsumer向broker订阅topic，接收消息进行消费。kafka中消息的消费，要知晓两个紧密相关的概念：消费者consumer和消费者组co

快来打我*/ 2023年03月06日 03:29/ 0 赞/ 13 阅读

相关 kafka重复消费问题

一.前言最近项目中替换了我以前使用的string cloud stream kafka后，改为了spring kafka。当大批量数据进来的时候，就会频繁出

本是古典何须时尚/ 2022年11月27日 03:15/ 0 赞/ 285 阅读

相关 kafka系列之Consumer 消费模式(10)

消费模式 Standalone Consumer(独立消费者) 和消费者组相同的是，它们也要配置 group.id 参数值，但和消费者组调用 KafkaCon

悠悠/ 2022年11月07日 14:39/ 0 赞/ 427 阅读

相关【Kafka】——顺序消费、重复消费、消息丢失

前言 Kafka可以说是为分布式而生的一个消息中间件，功能很强大，提到这个，我们可能就会想到消息中间件常提到的几个问题，消费的顺序性、重复消费、消息丢失等问题，接下来我们

逃离我推掉我的手/ 2022年10月05日 11:00/ 1 赞/ 443 阅读

相关 kafka重复消费问题

问题描述采用kafka读取消息进行处理时，consumer会重复读取afka队列中的数据。问题原因 kafka的consumer消费数据时首先会从broker

谁践踏了优雅/ 2022年05月31日 04:06/ 0 赞/ 348 阅读

相关 kafka_Kafka的消息消费机制

测试：启动生产者与消费者。使用zooinspector工具查看当前zook情况：找到当前的消费者：（我也是一个一个找的） ![70][] 可以看到当前的off

小灰灰/ 2022年05月24日 03:29/ 0 赞/ 272 阅读

相关 kafka重复消费问题

开篇提示：kafka重复消费的根本原因就是“数据消费了，但是offset没更新”！而我们要探究一般什么情况下会导致offset没更新？今天查看Elasticsearch索引

布满荆棘的人生/ 2022年05月03日 23:54/ 0 赞/ 320 阅读

相关 kafka重新消费

kafka重新消费的两种方式低级API AUTO\_OFFSET\_RESET\_CONFIG 方式一：低级API public class

刺骨的言语ヽ痛彻心扉/ 2022年03月28日 04:11/ 0 赞/ 384 阅读

相关 kafka优化之多线程消费

我之前用ssm消费kafka，在注解配置了消费队列，这是一种来生产多少，消费多少的形式，为了提升性能，加了一些优化：消费分为两部分：接收生产消费不变，执行消费行为用线程跑，但又

末蓝、/ 2022年03月17日 09:07/ 0 赞/ 178 阅读