Kafka 发布消息时如何选择 Partition

曾经终败给现在 2022-06-09 02:28 173阅读 0赞

本文旨在了解 Kafka 发送消息到有多个 Partition 的 Topic 时如何选择 Partition。或许多数人已经知道 Kafka 默认(当 key 为 null) 时采用 [Round-robin][] 策略，也就是雨露均沾，风水轮流转，实现类是 [DefaultPartitioner][]。但我们实际应用中为保持相关消息按序到，就必须送到指定的 Partition，方法可以有

1.  指定 Partition 编号
2.  指定 Key
3.  自定义 Partitioner - 实现 org.apache.kafka.clients.producer.Partitioner, 并通过属性注册

还应考究当指定了 Key 或 Partition 编号发送消息后，后续消息 key 为 null 会选用哪个 Partition。最后再思考一个问题，Consumer 每次  poll 时是获得的消息列表是否只包含一个 Partition 源还是可以多个 Partiton 源。

为完成本次实验，可以本地搭建一个 Kafka 环境，参考 [简单搭建 Apache Kafka 分布式消息系统][Apache Kafka]。待 Zookeeper 和 Kafka 正常启动后，我们用下面的命令创建一个 Partition 数量为 3 的 Topic `partition-test`

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic partition-test

验证一下该 Topic 的信息 [阅读全文 >>][Link 1]

[Round-robin]: https://en.wikipedia.org/wiki/Round-robin
[DefaultPartitioner]: https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/clients/producer/internals/DefaultPartitioner.java
[Apache Kafka]: https://yanbin.blog/initial-apache-kafka-environment/
[Link 1]: https://yanbin.blog/how-kafka-select-partition/#more-8179

发表评论取消回复

表情：

评论列表（有 0 条评论，173人围观）

还没有评论，来说两句吧...

相关阅读

相关消息队列 ActiveMQ 、RocketMQ 、RabbitMQ 和 Kafka 如何选择？

「预计阅读 6 分钟」旁白：这是一篇拖更了N久的文章...0.0（看不见我~）往期回顾 [安全框架 Shiro 和 Spring Security 如何选择？][

╰半橙微兮°/ 2023年05月29日 13:12/ 0 赞/ 6 阅读

相关 kafka发送消息Key为null时如何选择分区

分区的原则通过分析，建议发送消息时轮询指定分区。我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。 ![在这里插入图片描述

旧城等待，/ 2022年12月26日 04:59/ 0 赞/ 166 阅读

相关分布式消息订阅-发布系统——Kafka

一、什么是Kafka ![20200908092700115.jpg][] Kafka是一个高吞吐量的分布式消息订阅-发布系统，其具备高性能、持久化、多副本备份、横向扩

忘是亡心i/ 2022年11月26日 11:00/ 0 赞/ 269 阅读

相关 kafka集群如何确定partition数

[kafka集群选择多少topic和partition最合适][kafka_topic_partition] 如何确定分区数确定分区数步骤：创建一个只有1个分区的to

Bertha 。/ 2022年11月26日 11:00/ 0 赞/ 187 阅读

相关图解kafka如何保证partition内部消息顺序（一）

> 原创不易，转载请注明出处 > 注意：kafka版本v0.10 文章目录前言 1.kafka保证消息顺序配置

短命女/ 2022年11月03日 11:51/ 0 赞/ 162 阅读

相关 Kafka(分布式发布-订阅消息系统)

一、简介 Apache Kafka是分布式发布-订阅消息系统，在 [kafka官网][kafka]上对 kafka 的定义：一个分布式发布-订阅消息传递系统。它最初由L

曾经终败给现在/ 2022年10月01日 11:59/ 0 赞/ 156 阅读

相关 Kafka 发布消息时如何选择 Partition

本文旨在了解 Kafka 发送消息到有多个 Partition 的 Topic 时如何选择 Partition。或许多数人已经知道 Kafka 默认(当 key 为 null)

曾经终败给现在/ 2022年06月09日 02:28/ 0 赞/ 174 阅读

相关 RabbitMQ ，Kafka 消息队列选择

前言： `MQ` 是什么？队列是什么，`MQ` 我们可以理解为消息队列，队列我们可以理解为管道。以管道的方式做消息传递。场景： 1.其实我们在双11的时

小咪咪/ 2022年05月26日 13:47/ 0 赞/ 236 阅读

相关 Kafka——分区partition

在之前的例子里([Kafka生产者——向 Kafka写入数据][Kafka_ Kafka])， ProducerRecord 对象包含了目标主题、键和值。 Kafka 的消息是

我就是我/ 2022年05月17日 12:27/ 0 赞/ 260 阅读

相关 kafka partition

这里写自定义目录标题 kafka partition kafka partition 一个topic 可以配置几个partition，produce

男娘i/ 2022年03月16日 16:48/ 0 赞/ 212 阅读