Kafka3.0.0版本——消费者（分区的分配以及再平衡）

水深无声 2024-03-04 02:55 67阅读 0赞

#### 目录 ####

*   *  一、分区的分配以及再平衡
     *   *  1.1、消费者分区及消费者组的概述
         *  1.2、如何确定哪个consumer来消费哪个partition的数据
         *  1.3、消费者分区分配策略

### 一、分区的分配以及再平衡 ###

#### 1.1、消费者分区及消费者组的概述 ####

*  **一个consumer group中有多个consumer组成，一个 topic有多个partition组成。**

![在这里插入图片描述][4bf01f3fe8494f6fa85440ec9b5540a5.png]

#### 1.2、如何确定哪个consumer来消费哪个partition的数据 ####

*  **Kafka有四种主流的分区分配策略： Range、RoundRobin、Sticky、CooperativeSticky。**  
    ![在这里插入图片描述][8629d83448204f0e8778cb4b186a3c8e.png_pic_center]
 *  **可以通过配置参数partition.assignment.strategy，修改分区的分配策略。默认策略是Range + CooperativeSticky。Kafka可以同时使用多个分区分配策略。**  
    ![在这里插入图片描述][4c8093e874db4c6b9026ce345f1caf58.png_pic_center]

#### 1.3、消费者分区分配策略 ####

<table> 
 <thead> 
  <tr> 
   <th>参数名称</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>heartbeat.interval.ms</td> 
   <td>Kafka 消费者和 coordinator 之间的心跳时间，<font> 默认 3s。</font>该条目的值必须小于 session.timeout.ms，也不应该高于session.timeout.ms 的 1/3。</td> 
  </tr> 
  <tr> 
   <td>session.timeout.ms</td> 
   <td>Kafka 消费者和 coordinator 之间连接超时时间，<font> 默认 45s。</font>超过该值，该消费者被移除，消费者组执行再平衡。</td> 
  </tr> 
  <tr> 
   <td>max.poll.interval.ms</td> 
   <td>消费者处理消息的最大时长，<font> 默认是 5 分钟。</font>超过该值，该消费者被移除，消费者组执行再平衡。</td> 
  </tr> 
  <tr> 
   <td>partition.assignment.strategy</td> 
   <td>消 费 者 分 区 分 配 策 略 ， <font>默 认 策 略 是 Range +CooperativeSticky。</font>Kafka 可以同时使用多个分区分配策略。可 以 选 择 的 策 略 包 括 ： Range 、 RoundRobin 、 Sticky 、CooperativeSticky</td> 
  </tr> 
 </tbody> 
</table>

[4bf01f3fe8494f6fa85440ec9b5540a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/965330d9fde249f38508dff0369d6a50.png
[8629d83448204f0e8778cb4b186a3c8e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/678b32d7ec2949e4a8387db4de357cc8.png
[4c8093e874db4c6b9026ce345f1caf58.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/39da8edd172f4e6b80a7e8daf569313a.png