kafka中consumer和partition的对应关系

深藏阁楼爱情的钟 2023-02-27 10:42 88阅读 0赞

参考文章：[https://www.cnblogs.com/gxyandwmm/p/11442328.html][https_www.cnblogs.com_gxyandwmm_p_11442328.html]

一个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果。

# 1. 消费者多于partition #

**1> 创建一个名称为test的topic, 该topic只有一个partition:**

[root@bigdata02 ~]# bin/kafka-topics.sh --create --zookeeper localhost:2181 
    --replication-factor 1 --partitions 1 --topic test

**2> 在g2组中启动两个consumer**

1. [root@bigdata02 ~]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 
       --topic test --from-beginning --consumer.config config/consumer_g2.properties
    
    2. [root@bigdata02 ~]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 
       --topic test --from-beginning --consumer.config config/consumer_g2.properties

**3> 消费者数量为2大于partition数量1，此时partition和消费者进程对应关系如下：**

[root@bigdata02 ~]# bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 
    --describe --group g2
    
    TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test 0 9 9 0 consumer-1-4a2a4aa8-32f4-4904-9c16-1c0bdf7128a2 /127.0.0.1 consumer-1
    - - - - - consumer-1-fd7b120f-fd21-4e07-8c23-87b71c1ee8a5 /127.0.0.1 consumer-1

消费者consumer-1-fd7b120f-fd21-4e07-8c23-87b71c1ee8a5无对应的partition。  
**用图表示为**

![format_png][]

如上图，向test发送消息：1，2， 3，4，5，6，7，8，9只有C1能接收到消息，C2则不能接收到消息，

> **结论:**  
> 即同一个partition内的消息只能被同一个组中的一个consumer消费,当消费者数量多于partition的数量时，多余的消费者空闲。  
> 也就是说如果只有一个partition你在同一组启动多少个consumer都没用，partition的数量决定了此topic在同一组中被可被均衡的程度，例如partition=4，则可在同一组中被最多4个consumer均衡消费。

# 2. 消费者少于和等于partition #

**1> topic：test2包含3个partition**

[root@bigdata02 ~]# bin/kafka-topics.sh --create --zookeeper localhost:2181 
    --replication-factor 1 --partitions 3 --topic test2

**2> 开始时，在g3组中启动2个consumer**

1.[root@bigdata02 ~]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 
      --topic test2 --from-beginning --consumer.config config/consumer_g3.properties
    
    2.[root@bigdata02 ~]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 
      --topic test2 --from-beginning --consumer.config config/consumer_g3.properties

则对应关系如下：

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test2 0 8 8 0 consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c /127.0.0.1 consumer-1
    test2 1 7 7 0 consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c /127.0.0.1 consumer-1
    test2 2 8 8 0 consumer-1-f362847d-1094-4895-ad8b-1e1f1c88936c /127.0.0.1 consumer-1

其中，consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c对应了2个partition  
**用图表示为：**

![format_png 1][]

消费者数量2小于partition的数量3，此时，向test2发送消息1，2，3，4，5，6，7，8，9  
C1接收到1，3，4，6，7，9  
C2接收到2，5，8  
此时P1、P2对对应C1，即多个partition对应一个消费者，C1接收到消息量是C2的两倍

**3> 在g3组中再启动一个消费者，使得消费者数量为3等于topic2中partition的数量**

[root@bigdata02 ~]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 
    --topic test2 --from-beginning --consumer.config config/consumer_g3.properties

对应关系如下：

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test2 0 8 8 0 consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c /127.0.0.1 consumer-1
    test2 1 7 7 0 consumer-1-ab472ed5-de11-4e56-863a-67bf3a3cc36a /127.0.0.1 consumer-1
    test2 2 8 8 0 consumer-1-f362847d-1094-4895-ad8b-1e1f1c88936c /127.0.0.1 consumer-1

> 此时，partition和消费者是一对一关系，向test2发送消息1，2，3，4，5，6，7，8，9  
> C1接收到了：2，5，8  
> C2接收到了：3，6，9  
> C3接收到了：1，4，7  
> C1，C2，C3均分了test2的所有消息，即消息在同一个组之间的消费者之间均分了!

# 3.多个消费者组 #

**1> 启动g4组，仅包含一个消费者C1，消费topic2的消息，此时消费端有两个消费者组**

[root@bigdata02 ~]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 
    --topic test2 --from-beginning --consumer.config config/consumer_g4.properties 
    --delete-consumer-offsets

**2> g4组的C1的对应了test2的所有partition:**

[root@bigdata02 ~]# bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 
    --describe --group g4
    
    TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test2 0 36 36 0 consumer-1-befc9234-260d-4ad3-b283-b67a2bf446ca /127.0.0.1 consumer-1
    test2 1 35 35 0 consumer-1-befc9234-260d-4ad3-b283-b67a2bf446ca /127.0.0.1 consumer-1
    test2 2 36 36 0 consumer-1-befc9234-260d-4ad3-b283-b67a2bf446ca /127.0.0.1 consumer-1

用图表示为

![format_png 2][]

> 如上图，向test2发送消息1，2，3，4，5，6，7，8，9  
> 消息被g3组的消费者均分，g4组的消费者在接收到了所有的消息。  
> g3组：  
> C1接收到了：2，5，8  
> C2接收到了：3，6，9  
> C3接收到了：1，4，7  
> g4组：  
> C1接收到了：1，2，3，4，5，6，7，8，9  
> 启动多个组，则会使同一个消息被消费多次，**即组与组之间的消息是否被消费是相互隔离互不影响的。**

那么，**在消息消费的过程中，如果有一个consumer宕机了kafka会如何应对呢？ **

此处可参考：[Kafka Consumer Group和Consumer Rebalance机制][Kafka Consumer Group_Consumer Rebalance]

[https_www.cnblogs.com_gxyandwmm_p_11442328.html]: https://www.cnblogs.com/gxyandwmm/p/11442328.html
[format_png]: /images/20230209/79a25346ff794e73b2e0d26a0f304df2.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTQ0OTk2My8yMDE5MDkvMTQ0OTk2My0yMDE5MDkwMTE0NTMzMzI1MS0xNzI2OTk2MjgwLnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTQ0OTk2My8yMDE5MDkvMTQ0OTk2My0yMDE5MDkwMTE0NTU1Njg4Ny0xNDA1MTQwMTE0LnBuZw?x-oss-process=image/format,png
[Kafka Consumer Group_Consumer Rebalance]: https://fiend.blog.csdn.net/article/details/107401100

发表评论取消回复

表情：

评论列表（有 0 条评论，88人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka——》consumer和partition关系

> 推荐链接： > [总结——》【Java】][Java] > [总结——》【Mysql】][Mysql] > [总结——》【Redis】][Redis] >

拼搏现实的明天。/ 2024年03月31日 15:22/ 0 赞/ 72 阅读

相关 kafka中consumer和partition的对应关系

参考文章：[https://www.cnblogs.com/gxyandwmm/p/11442328.html][https_www.cnblogs.com_gxyandwmm

深藏阁楼爱情的钟/ 2023年02月27日 10:42/ 0 赞/ 89 阅读

相关 kafka的topic,broker,partition之间的关系

一个topic对应多个partition，partition分布在多broker上，多broker一起提供kafka服务。 kafka中，Topic是一个存储消息的

迷南。/ 2022年11月05日 00:53/ 0 赞/ 188 阅读

相关【Flink】 Flink与Kafka版本对应关系

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

￡神魔★判官ぃ/ 2022年08月31日 12:20/ 0 赞/ 637 阅读

相关 Kafka中的消费者组（Consumer Group）

[https://blog.csdn.net/gdkyxy2013/article/details/86644919][https_blog.csdn.net_gdkyxy20

心已赠人/ 2022年04月25日 10:14/ 0 赞/ 228 阅读

相关面试 - kafka中partition和消费者对应关系

简洁易懂的总结需要Mark 1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果 > 消费者多于partition top

比眉伴天荒/ 2022年03月18日 04:38/ 0 赞/ 199 阅读

相关 kafka partition

这里写自定义目录标题 kafka partition kafka partition 一个topic 可以配置几个partition，produce

男娘i/ 2022年03月16日 16:48/ 0 赞/ 212 阅读

相关 Kafka Consumer APIs

> Kafka 0.10.X 版本及之前 [http://kafka.apache.org/0100/documentation.html\impl\_consum

约定不等于承诺〃/ 2022年01月07日 01:33/ 0 赞/ 230 阅读

相关 Kafka中的消费者组（Consumer Group）

1. 消费者组（Consumer Group）消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据。

系统管理员/ 2021年09月17日 23:04/ 0 赞/ 541 阅读

相关 Kafka Consumer配置

新消费者配置：（注意，右面是可拖动的） <table> <thead> <tr> <th>NAME</th> <th>DESCRIPTION</th

短命女/ 2021年06月22日 15:36/ 0 赞/ 438 阅读