Kafka 常见概念、基础理论

朴灿烈づ我的快乐病毒、 2022-10-16 04:53 178阅读 0赞

### 目录 ###

*   *   *  Kafka中的基本概念
         *   *  Broker、Topic、Partition
             *  Offset、LEO、HW
             *  Segment 分段
             *  Producer、Consumer、ConsumerGroup
             *  Replication 副本
         *  kafka特点总结

kafka是一个高性能的分布式流处理平台，使用java和scala编写，使用zk进行协调，具有高吞吐量、高可靠性、低延迟（实时）的特点。

### Kafka中的基本概念 ###

#### Broker、Topic、Partition ####

Broker：Kafka的服务端程序，可以认为一个broker就是一个mq节点。

Topic 主题

*  一个虚拟概念，由1个或多个Partition组成（至少1个）
 *  topic名称可以包含英文字母、阿拉伯数字、点号、连词线、下划线。

Partition 分区

*  partition是kafka数据存储的基本单元，是topic物理上的分组，一个topic中的消息分散在1个或多个partition中，这些partition往往分散在多个broker上。每个partition都是一个有序队列。
 *  可以在server.properties中设置一个topic默认的分区数（默认1），如果创建topic时未指定分区数，则使用kafka配置文件中设置的默认值。
 *  service.properties中的log.dirs指定本地日志存储目录，topic中的数据会持久化到这个目录下，类似于redis的rdb、aof文件。partition以文件夹的形式存储在broker机器上，目录名格式为topicName-partitionName，分区名称从0开始，依次递增。
 *  删除topic时会先将本地对应的分区目录重命名，再删除该目录，整个过程有一些延迟。

#### Offset、LEO、HW ####

offset 偏移量

*  partition是有序队列，partition使用一个连续的序列号唯一标识此partition中一条消息，这个序列号就是offset，类似于数组的下标，可以标识消息在partition（队列）中的位置。
 *  每个consumer实例需要在ConsumerGroup中维护自己消费的Partition的Offset，记录已消费的消息的位置。

LEO：LogEndOffset

*  每个partition的log文件中最后一条消息的位置（offset）。

HW：HighWatermark

*  partition中各个replicas同步到的消息位置（offset）。
 *  此位置及之前位置的消息已经同步到了各个副本，对消费者可见、可以被消费者消费；此位置之后的消息尚未同步到所有副本，对消费者不可见、不能被消费者消费。

#### Segment 分段 ####

*  一个partition对应一个分区目录，每个分区目录下包含.log文件、.index文件，.log文件保存此分区中的消息，.index文件是.log文件中消息的索引，可根据索引快速找到消息存储位置。
 *  如果一个partition中的消息都存储在一个.log文件中，文件会太大，.index中的索引也会很长，所以一个partition中的消息是拆分为多个segment（分段）进行存储。
 *  1个segment包含一个.log文件、一个.index文件，.log文件尺寸上限1g，达到上限后会新建新的.log文件、.index文件（即使用新的分段）进行存储。
 *  partition的第一个segment的log文件名为全0，后续每个.log文件名为上一个.log文件的最后一条消息的offset+1，.index文件名和.log文件名一一对应。

kafka高效文件存储的设计特点

*  将一个大parition拆分为多个较小的segment，方便定期清除已经消费完的文件，减少磁盘占用。
 *  通过索引可以快速定位消息位置。
 *  producer产生的消息，是直接追加.log文件的末尾，顺序写入，比随机写入效率高得多。

#### Producer、Consumer、ConsumerGroup ####

Producer：生产者，创建消息，然后发布到MQ中

Consumer：消费者，消费队列中的消息

ConsumerGroup 消费者组

*  由多个消费者组成，一般是同一个消费者的不同实例。
 *  Partition中的消息，会被订阅了此topic的所有ConsumerGroup消费，但一个ConsumerGroup中只会有一个Consumer会消费此消息。

使用ConsumerGroup可以实现

*  基于队列的模型：消费者都在同一消费者组里，每条消息只会被一个消费者处理。
 *  基于发布/订阅的模型：消费者属于不同的消费者组，消息可以广播到多个消费者组中被消费。

#### Replication 副本 ####

*  副本是Partition级别的概念，一个Partition可以有1个或多个副本，这些副本组成一个副本集Replications。
 *  一个副本集中有1个ReplicationLeader，其它副本都是ReplicationFollower。ReplicationLeader接收处理生产者、消费者的请求；ReplicationFollower从ReplicationLeader同步数据，只是作为备份。
 *  sql、redis有大量的读请求，可以做读写分离；kafka一般都是写请求，没必要读写分离，所以以前ReplicationFollower只是数据备份，不对外提供读服务。kafka2.4以后提供了有限度的读写分离，ReplicationFollower也可以对外提供读服务。
 *  当ReplicationLeader所在的Broker挂掉后，会从ReplicationFollower中选出一个新的ReplicationLeader。
 *  可以在kafka配置文件中指定每个Partition的默认副本数量（默认1），如果创建topic时未指定每个Partition的副本梳理，则使用配置文件中的默认值。
 *  kafka会把同一个Partition的副本分散在多个Broker上，以保证数据安全，副本数量要小于等于broker的数量，大于broker的数量会报错、也没有意义。

ReplicationManager：负责维护副本信息，副本状态切换。

### kafka特点总结 ###

*  高吞吐量、低延迟: 每秒可以处理几十万条消息
 *  高并发：支持几千个客户端同时读写
 *  高可用性：多副本、多分区，只要有一个副本正常此Partition就可以工作。
 *  扩展性强：支持热扩展