kafka批量消费配置

刺骨的言语ヽ痛彻心扉 2022-09-02 11:50 161阅读 0赞

spring.kafka.bootstrap-servers=127.0.0.1:9092
    spring.kafka.consumer.group-id=order_ck_group
    spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
    spring.kafka.consumer.auto-offset-reset=earliest
    spring.kafka.consumer.enable-auto-commit=false
    #最多拉取1000条数据
    spring.kafka.consumer.max-poll-records=1000
    #最长1000毫秒
    spring.kafka.listener.type=batch
    spring.kafka.listener.idle-between-polls=1000
    spring.kafka.listener.ack-mode=manual_immediate
    #topic名称
    spring.kafka.topic=order_topic

消费者代码

@Component
    public class OrderConsumer {
    
        @KafkaListener(topics = "#{'${spring.kafka.topic}'.split(',')}")
        public void orderConsumer(List<ConsumerRecord> data, Acknowledgment acknowledgment) {
            /*Iterator<ConsumerRecord> iterator = data.iterator();
            List<JSONObject> list = new ArrayList<>();
            JSONObject jsonObject = new JSONObject();
            while (iterator.hasNext()) {
                jsonObject = JSON.parseObject(iterator.next().value().toString());
                list.add(jsonObject);
            }*/
            System.out.println(data.size());
            acknowledgment.acknowledge();
        }
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，161人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flink Kafka consumer的消费策略配置

[Flink Kafka consumer的消费策略配置][Flink Kafka consumer] val helloStream: FlinkKafkaCo

你的名字/ 2023年05月30日 15:57/ 0 赞/ 10 阅读

相关 Spring-Kafka —— 实现批量消费和手动提交offset

spring-kafka的官方文档介绍，可以知道自1.1版本之后， @KafkaListener开始支持批量消费，只需要设置batchListener参数为true 把ap

叁歲伎倆/ 2022年12月27日 14:00/ 0 赞/ 1069 阅读

相关【Kafka】——顺序消费、重复消费、消息丢失

前言 Kafka可以说是为分布式而生的一个消息中间件，功能很强大，提到这个，我们可能就会想到消息中间件常提到的几个问题，消费的顺序性、重复消费、消息丢失等问题，接下来我们

逃离我推掉我的手/ 2022年10月05日 11:00/ 1 赞/ 422 阅读

相关 kafka批量消费配置

spring.kafka.bootstrap-servers=127.0.0.1:9092 spring.kafka.consumer.group-id=ord

刺骨的言语ヽ痛彻心扉/ 2022年09月02日 11:50/ 0 赞/ 162 阅读

相关 Java开发面经分享：kafka批量消费实现

在这里分享一份 \[mybatis从入门到精通\] 的强力教程，定能够助你一臂之力。 Mybatis基本介绍 1. ORM和MyBatis 2. 对象/关系数据库映

梦里梦外;/ 2022年08月31日 06:36/ 0 赞/ 256 阅读

相关 kafka_Kafka的消息消费机制

测试：启动生产者与消费者。使用zooinspector工具查看当前zook情况：找到当前的消费者：（我也是一个一个找的） ![70][] 可以看到当前的off

小灰灰/ 2022年05月24日 03:29/ 0 赞/ 255 阅读

相关 springboot kafka group.id多消费组配置

很早之前就使用了springboot + kafka组合配置，但是之前使用的spring-kafka（1.1.7）版本较低，所以只能通过 spring.kafka.consum

曾经终败给现在/ 2022年05月12日 18:34/ 0 赞/ 2033 阅读

相关 kafka重新消费

kafka重新消费的两种方式低级API AUTO\_OFFSET\_RESET\_CONFIG 方式一：低级API public class

刺骨的言语ヽ痛彻心扉/ 2022年03月28日 04:11/ 0 赞/ 366 阅读

相关 Flink 消费 Kafka 数据批量写入 MySQL 多个表

> 业务场景： > sdk 数据统一入Kafka 的一个 topic（topic\_sdk\_log），其中包含多种事件类型数据，如：登录，注册，激活等，需要将 Kafka

你的名字/ 2021年09月24日 02:38/ 0 赞/ 841 阅读

相关 Spring整合Kafka实现批量消费和手动提交offset

spring-kafka的官方文档介绍，可以知道自1.1版本之后， @KafkaListener开始支持批量消费，只需要设置batchListener参数为true 把ap

喜欢ヅ旅行/ 2021年09月03日 07:55/ 0 赞/ 876 阅读