Kafka重复消费数据问题

骑猪看日落 2022-03-20 11:50 590阅读 0赞

kafka重复消费的问题,主要的原因还是在指定的时间内,没有进行kafka的位移提交,导致根据上一次的位移重新poll出新的数据,而这个数据就是上一次没有消费处理完全的(即没有进行offset提交的),这也是导致kafka重复数据的原因.

改为代码中就是,代码中会指定一个session-time来进行kafka数据的poll,供consumer进行消费处理..一次进行poll的数据量由maxpoolrecordsconfig来决定,这个数值就是决定了一次poll的数据量大小...

手动提交offset时,当第一次poll出maxrecords条记录给程序时,程序需要进行处理(数据清理什么的),在session-time内,程序没有处理完这些数据,即还没有进行offset的commit,kafka又会根据上一次的offset进行poll出数据,其实这个数据就是我们刚刚没有消费处理完成的,这就导致了我们这次会有maxrecords条数据是重复的了...

解决这个问题的简单方法,就是调整session-time和maxpollrecordsconfig的值,这个的均值,即最优化的方程式就是:

maxpollrecordsconfig/代码处理单条数据时间=session-time.

我们可以通过优化代码处理数据的时间,增大max和减少session来提高最优化的程序方式.

项目中使用是基于springcloud的JHipster开源框架.consumer消费kafka的基本配置文件如下.

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70][]

配置类如下:

package com.trs.idap.config;
    
    import org.apache.kafka.clients.consumer.ConsumerConfig;
    import org.apache.kafka.common.serialization.StringDeserializer;
    import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.beans.factory.annotation.Value;
    import org.springframework.context.annotation.Bean;
    import org.springframework.context.annotation.Configuration;
    import org.springframework.kafka.annotation.EnableKafka;
    import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
    import org.springframework.kafka.config.KafkaListenerContainerFactory;
    import org.springframework.kafka.core.ConsumerFactory;
    import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
    import org.springframework.kafka.listener.AbstractMessageListenerContainer;
    import org.springframework.kafka.listener.ConcurrentMessageListenerContainer;
    
    import java.util.HashMap;
    import java.util.Map;
    
    @Configuration
    @EnableKafka
    public class KafkaConsumerConfiguration {
        private final Logger logger = LoggerFactory.getLogger(this.getClass());
        @Value("${spring.data.kafka.consumer.zookeeper-connect}")
        private String zookeeper;
        @Value("${spring.data.kafka.consumer.servers}")
        private String servers;
        @Value("${spring.data.kafka.consumer.enable-auto-commit}")
        private boolean enableAutoCommit;
        @Value("${spring.data.kafka.consumer.session-timeout}")
        private String sessionTimeout;
        @Value("${spring.data.kafka.consumer.auto-commit-interval}")
        private String autoCommitInterval;
        @Value("${spring.data.kafka.consumer.group-id}")
        private String groupId;
        @Value("${spring.data.kafka.consumer.auto-offset-reset}")
        private String autoOffsetReset;
        @Value("${spring.data.kafka.consumer.concurrency}")
        private int concurrency;
        @Value("${spring.data.kafka.consumer.maxpollrecordsconfig}")
        private int maxPollRecordsConfig;
        @Value("${zmAndHeartBeat.switch.kafkaListenerFlag:true}")
        private Boolean kafkaListenerFlag;
        @Bean
        public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() {
            ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();
            factory.setConsumerFactory(consumerFactory());
            factory.setConcurrency(concurrency);
            factory.getContainerProperties().setPollTimeout(1500);
            factory.setBatchListener(true);
            factory.getContainerProperties().setAckMode(AbstractMessageListenerContainer.AckMode.MANUAL_IMMEDIATE);
            //配置kafka监听默认为false,不监听;
            factory.setAutoStartup(kafkaListenerFlag);
            logger.info("kafka监听开启状态:"+kafkaListenerFlag);
            return factory;
        }
        public ConsumerFactory<String, String> consumerFactory() {
            return new DefaultKafkaConsumerFactory<>(consumerConfigs());
        }
        public Map<String, Object> consumerConfigs() {
            Map<String, Object> propsMap = new HashMap<>(9);
            //propsMap.put("zookeeper.connect", zookeeper);
    
            propsMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, servers);
            propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, enableAutoCommit);
            propsMap.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, autoCommitInterval);
            propsMap.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, sessionTimeout);
            propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
            propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
            propsMap.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
            propsMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, autoOffsetReset);
            propsMap.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, maxPollRecordsConfig);//每个批次获取数
            return propsMap;
        }
    }

### TIPS: ###

1,在配置文件中,我们看到了一个concurrent 的数值10..原因是kafka本身是处理高并发和大数据的组件,所以本身是支持多线程操作的...即在poll出数据的时候都是可以支持多线程....是否进行多线程处理,取决于代码中的构建和kafka主题创建的时候给的broker数量.这个数量决定了可以进行多少多线程的数量...即代码中支持10个线程,但是kafka主题支持多少线程还看创建的..

2,配置文件中还有一个autostartup,这个是决定了是否启用kafka监听操作.这样可以通过配置文件来决定是否启用kafka的功能.

### 附录 ###

常用kafka控制台命令

查看所有kafka主题

bin/kafka-topics.sh --zookeeper node0:2181 --list

消费topic主题

bin/kafka-console-consumer.sh  --zookeeper node0:2181  --topic zmfor4g1 --from-beginning

生产kafka主题数据

./kafka-console-producer.sh --broker-list node0:9092 --topic devicefordingwei

创建kafka主题

./kafka-topics.sh --create --zookeeper node0:2181,node2:2181,node4:2181 --replication-factor 2 --partitions 3 --topic ZmTopic

查看kafka主题详情

./kafka-topics.sh --zookeeper trsnode0:2181,trsnode1:2181,trsnode2:2181 --describe --topic wifiTopic

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70]: /images/20220320/3541cd730e324a908197e00bba2e6009.png