Flink Kafka consumer的消费策略配置

你的名字 2023-05-30 15:57 3阅读 0赞

# [Flink Kafka consumer的消费策略配置][Flink Kafka consumer] #

val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps)
      //  指定消费策略
      helloStream.setStartFromEarliest() // - 从最早的记录开始；
      helloStream.setStartFromLatest() //- 从最新记录开始；
      helloStream.setStartFromTimestamp(null); // 从指定的epoch时间戳（毫秒）开始；
    
     //使用这个就不需要依赖redis了
      helloStream.setStartFromGroupOffsets(); // 默认行为，从上次消费的偏移量进行继续消费。
    
      import org.apache.flink.streaming.connectors.kafka.internals.KafkaTopicPartition
      val specificStartOffsets = new mutable.HashMap[KafkaTopicPartition,Long]()
      specificStartOffsets.put(new KafkaTopicPartition("myTopic", 0), 23L) // 第一个分区从23L开始
      specificStartOffsets.put(new KafkaTopicPartition("myTopic", 1), 31L) // 第二个分区从31L开始
      specificStartOffsets.put(new KafkaTopicPartition("myTopic", 2), 43L) // 第三个分区从43L开始
      helloStream.setStartFromSpecificOffsets(specificStartOffsets)
    
    //  Kafka支持Topic自动发现，也就是用正则的方式创建FlinkKafkaConsumer

[Flink Kafka consumer]: https://www.cnblogs.com/maoxiangyi/p/10912274.html

发表评论取消回复

表情：

评论列表（有 0 条评论，3人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka——》消费组管理kafka-consumer-groups

> 推荐链接： > [总结——》【Java】][Java] > [总结——》【Mysql】][Mysql] > [总结——》【Redis】][Redis] >

痛定思痛。/ 2024年03月31日 15:32/ 0 赞/ 79 阅读

相关 flink消费kafka的例子

Apache Flink是一个分布式流处理框架，可以用来消费Apache Kafka中的数据。下面是一个Flink消费Kafka数据的示例代码： import org

逃离我推掉我的手/ 2024年03月25日 10:37/ 0 赞/ 100 阅读

相关 Flink Kafka consumer的消费策略配置

[Flink Kafka consumer的消费策略配置][Flink Kafka consumer] val helloStream: FlinkKafkaCo

你的名字/ 2023年05月30日 15:57/ 0 赞/ 4 阅读

相关【Kafka】原理分析：Consumer消费规则

在实际生产过程中，每个topic都会有多个partitions，多个partitions的好处在于，一方面能够对 broker上的数据进行分片有效减少了消息的容量从而提升io性

￡神魔★判官ぃ/ 2022年12月21日 04:54/ 0 赞/ 141 阅读

相关 1.12.Flink Kafka-Connector详解、Consumer消费策略设置、动态加载Topic、Consumers Offset 自动提交、Producer、容错等

1.12.Flink Kafka-Connector详解 1.12.1.Kafka Consumer消费策略设置 1.12.2.Kafka Consumer的容错

旧城等待，/ 2022年11月18日 00:14/ 0 赞/ 227 阅读

相关 Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consu

叁歲伎倆/ 2022年06月04日 05:19/ 0 赞/ 232 阅读

相关【Kafka】Consumer均衡、Consumer消费组

一、kafka的Consumer均衡算法有一个topic：topic\_test，然后这个topic的partition和他们所在的broker的图如下![è¿éåå¾çæ

旧城等待，/ 2022年04月11日 02:27/ 0 赞/ 313 阅读

相关 Kafka消费组(consumer group)详解

一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer

比眉伴天荒/ 2022年04月02日 09:55/ 0 赞/ 689 阅读

相关 flink消费kafka数据

maven配置 <dependency> <groupId>org.apache.flink</groupId> <artifa

偏执的太偏执、/ 2022年02月28日 08:36/ 0 赞/ 323 阅读

相关 Kafka Consumer配置

新消费者配置：（注意，右面是可拖动的） <table> <thead> <tr> <th>NAME</th> <th>DESCRIPTION</th

短命女/ 2021年06月22日 15:36/ 0 赞/ 437 阅读