Kafka生产者消息分区机制剖析

╰半橙微兮° 2021-10-15 00:25 436阅读 0赞

### 一、为什么要分区？ ###

在使用Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务上。 比如很多公司使用Kafka收集应用程序的日志数据，这种数据都是很多的， 特别是对于大批量集群环境，每分钟产生的日志量达到GB级别，因此如何将这么大的数据量均匀分配到Kafka的各个Broker上，是一个非常重要的问题。

Kafka有主题（Topic）的概念，它是承载真实数据的逻辑容器，而在主体之下还分为若干分区，Kafka 消息组织是三级结构：主题-分区-消息。主题下每条消息都会保存到一个分区中。 官网描述三级结果示例图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70]  
Kafka 为什么使用分区的概念而不使用多个主题呢 ？  
其实分区的作用是提供负载均衡的能力，是为了实现系统的高伸缩性（Scalability）。不同的分区能够放置到不同的节点上，而数据的读写操作是针对分区粒度进行的，这样每个节点的机器都能独立执行各个自分区的读写操作。并且，我们还可以通过添加新节点机器来增加整体的吞吐量。

其实分区的概念在分布式系统中非常常见，不同的分布式系统中叫法不尽相同而已。比如，在Kafka中叫分区，在MongoDB 和 Elasticsearch 中就叫分片Shard，在HBase中则叫Region，在Cassandra 中被叫做vnode。

在Kafka 分区除了提供负载均衡这种核心功能外， 还能解决供顺序消息等业务需求。

### 二、有哪些分区策略？ ###

所谓的分区策略就是决定生产者将消息发送到哪个分区的算法。 Kafka为我们提供了默认的分区策略，同时也支持自定义的分区策略。

##### 2.1 轮询策略（Rund-robin） #####

比如一个主题下有3个分区，第一条消息被发送的了分区0，第二条消息被发送到了分区1，第三条消息被分配到了分区2，依次类推 第四条消息应该又重新开始，发送到分区0。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70 1]  
**轮询策略是Kafka 生产者API默认提供的分区策略。轮询策略有非常优秀的负载表现，它能最大限度的将消息平均分配大道所有分区上，也是我们最常用的分区策略之一。**

##### 2.2 随机策略（Randomness） #####

将消息发送到Topic下任意一个分区。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70 2]  
本质上随机策略是力求将数据均匀的打散到每个分区，但实际表现看来，它要逊于轮询策略。

##### 2.3 按消息键保序策略（Key-ordering） #####

Kafka允许每条消息定义消息键，简称为Key。这个Key的作用非常大，她可以是一个有明确业务含义的字符串，比如：客户代码，部门编码，业务编号等，也可以用来表征消息元数据。在同一个Key的消息可以进入同一分区，且可以保证消息的顺序性，故这个策略叫按消息键保序策略。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70 3]

##### 2.4 其它分区策略 #####

除了上面已经讲述的几种分区策略， 还有哪些实际运用到的分区策略呢 ？有一种比较常见的 按地理位置分区的策略。这种策略对一些大规模的Kafka集群，特别是跨城市、跨国家 的集群比较有使用的价值。  
比如：按注册地的不同，发不同的优惠卷。

### 三、总结 ###

分区是实现负载均衡及高吞吐量的关键，故生产者一定要仔细盘算好合适的分区策略，避免出现消息数据“倾斜”，使得某些分区出现性能瓶颈。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70]: /images/20211015/86f3feb786a04a7b920f573050d62781.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70 1]: /images/20211015/1548f6ee44fd4bc48cb70b4010ffc1e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70 2]: /images/20211015/df50230a939e449cac77aa51a6bd497a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2OTE4MTQ5_size_16_color_FFFFFF_t_70 3]: /images/20211015/1d9472734c1d4bb9bb74094e7e700e5d.png