Kafka3.0.0版本——消费者（offset的默认维护位置）

冷不防 2024-03-04 01:34 81阅读 0赞

#### 目录 ####

*   *  一、offset的默认维护位置
     *   *  1.1、offset的默认维护位置概述
         *  1.2、offset的默认维护位置图解
     *  二、消费者offset的案例

### 一、offset的默认维护位置 ###

#### 1.1、offset的默认维护位置概述 ####

*  **Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。**
 *  **从Kafka0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为\_\_consumer\_offsets**
 *  **\_\_consumer\_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic进行compact，也就是每个 group.id+topic+分区号就保留最新数据。**
 *  **\_\_consumer\_offsets 为 Kafka 中的 topic，那就可以通过消费者进行消费。**

#### 1.2、offset的默认维护位置图解 ####

![在这里插入图片描述][f33aa07ea3744d66abc103cfb1561c29.png_pic_center]

### 二、消费者offset的案例 ###

*  **在配置文件 config/consumer.properties 中添加配置 exclude.internal.topics=false，默认是 true，表示不能消费系统主题。为了查看该系统主题数据，所以该参数修改为 false。**  
    ![在这里插入图片描述][91bb8608b9684f858a3be2854961bd7c.png_pic_center]  
    ![在这里插入图片描述][fb80abf3620342e68ce2bbe6581e05ca.png_pic_center]
 *  **重启kafka服务。**  
    ![在这里插入图片描述][92fe3a884b40461eaf1e492ad1e9cd09.png_pic_center]
 *  **采用命令行方式，创建一个新的 topic。**
    
        bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 2 --replication-factor 2 --topic offsetTopic
    
    ![在这里插入图片描述][079b9bc0939841ebb68ca68c59102452.png_pic_center]
 *  **启动生产者往 offsetTopic 生产数据。**
    
        bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic
    
    ![在这里插入图片描述][25c59e31373848299e4bc27e68970a42.png_pic_center]
 *  **启动消费者消费 offsetTopic 数据。**  
    注意：指定消费者组名称，更好观察数据存储位置（key 是 group.id+topic+分区号）。
    
        bin/kafka-console-consumer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic --group test
    
    ![在这里插入图片描述][94f1615f20e649b88b50bd98f3d02a00.png_pic_center]
 *  **查看消费者消费主题\_\_consumer\_offsets。**
    
        bin/kafka-console-consumer.sh --topic __consumer_offsets  --bootstrap-server  192.168.136.29:9092  --consumer.config  config/consumer.properties  --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning
    
    ![在这里插入图片描述][2858f0cea9974d54ba204eb9925ebf06.png_pic_center]  
    ![在这里插入图片描述][880fb347bfb74ec582e2a8cbeb408468.png]

[f33aa07ea3744d66abc103cfb1561c29.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/eb6a837b30af41fba61427e3735953a2.png
[91bb8608b9684f858a3be2854961bd7c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/e00524a9b63343c896c9938368ffc56d.png
[fb80abf3620342e68ce2bbe6581e05ca.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/bd3af3e20eb5481bb974fe0113549021.png
[92fe3a884b40461eaf1e492ad1e9cd09.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/b47aa2c1563640a6848f3ae1e6e605bf.png
[079b9bc0939841ebb68ca68c59102452.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/50000a3dc588494e8f06588a0851f58f.png
[25c59e31373848299e4bc27e68970a42.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/8431d5d24fda4c7899a28676363ec281.png
[94f1615f20e649b88b50bd98f3d02a00.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/682f18860b344134b384c4406665eb3d.png
[2858f0cea9974d54ba204eb9925ebf06.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/e67f75b4db3b4b45afc4b4d0cea6b78a.png
[880fb347bfb74ec582e2a8cbeb408468.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/411892d6206e4769be4ddd8ed077a3a8.png