6.1.1 分区、副本、日志、日志分段

男娘i 2023-01-12 15:52 106阅读 0赞

Kafka是一个分布式的(distributed)、分区的(partitioned)、复制的(replicated)提交日志(commitlog)服务。“分布式”是所有分布式系统的特性；“分区”指消息会按照分区分布在集群的所有节点上；“复制”指每个分区都会有多个剧本存储在不同的节点上；“提交日志”指新的消息总是以追加的方式进行存储。

注意：“分区”可以做到线性扩展和负载均衡，“复制”可以做到故障容错，而“提交日志”是一种存储方式。

Kafka的这几个特性在大多数分布式系统中都很常见，比如HDFS分布式文件系统将一个大文件分成64MB的数据块(分区)，每个数据块有3份副本(复制)；HBase/Cassandra等分布式存储系统会同时将数据写到内存和提交日志文件。写到提交日志的目的是防止节点右机后，因内存中的数据来不及刷写到磁盘而导致数据丢失。分布式存储系统除了提交日志，一般还有真正的数据存储格式。它们的提交日志只是作为一种故障恢复的数据源，而Kafka直接使用提交日志作为最终的存储格式。

数据的更新操作在分布式存储系统中很常见，比如不同时间产生相同键(key)的数据。分布式存储系统为了保证写数据的性能，采用追加方式，而不是直接修改已有记录。为了只保存最近的一条数据，坯会有一个后台的压缩(compaction)操作，负责将相同键的多条记录合并为一条。Kafka的消息如果指定了键，也会有类似的日志压缩操作，保证相同键的消息只会保留最近的一条。

注意：如果Kafka的消息没有指定键，那么消息的写入顺序和读取顺序一致，就不会有压缩操作。

--------------------

#### 6.1日志的读写 ####

> Kafka的消息按照主题进行组织，不同类别的消息分成不同的主题。为了提高消息的并行处理能力，每个主题会有多个分区。为了保证消息的可用性，每个分区会有多个副本。下面先从逻辑意义上理解Kafka分区和副本的关系，再从物理上理解分区在Kafka代理节点上的存储形式。

#### 6.1.1 分区、副本、日志、日志分段 ####

> 为了理解Kafka分区的概念，以HDFS分布式文件系统为例进行对比。如表6-1所示，HDFS的文件以数据块的形式存储在多个数据节点上，名称节点保存了文件和数据块的对应关系。Kafka的主题以分区的形式存储在多个代理节点上，ZK记录了主题和分区的对应关系。  
> ![在这里插入图片描述][20210414231617456.png]

Kafka一个主题的所有消息以分区的方式，分布式地存储在多个节点上。主题的分区数量一般比  
集群的消息代理节点多，而且实际运用时会根据不同的业务逻辑，不同的消息按照不同的主题进行分  
类。反过来从消息代理节点到分区的角度看，集群的每一个代理节点都会管理多个主题的多个分区。

注意：为什么要对主题进行分区？如果消息没有分区，所有的消息就只能存储到一个节，或上。这样无限地追加消息会导致一个节点的文件非常大，这就需要解决文件切分的问题。与其在一个节点上按照一定大小切分文件，还不如在源头控制消息写往不同的节点，从而分散每个节点的压力。使用分区的优势是，生产者可以将一批消息同时写入不同的节点，而没有分区的写操作只能串行。读操作与之类似，多个消费者可以同时读耳又不同节点的不同分区，从而加快消息消费进度。

Kafka主题的消息分布在不同节点的不同分区上，客户端以分区作为最权的处理单位生产或消费消息。以消费者消费消息为例，主题的分区数设置得越多，就可以启动越多的消费者线程。消费者数盘越多，消息的处理性能就越好，消息就可以更快地被消费者处理，消息的延迟就越低。

主题的分区保存在消息代理节点上，当消息代理节点挂掉后，为了保证分区的可用性，Kafka采用副本机制为一个分区备份多个副本。一个分区只有一个主副本(Leader)，其他副本叫作备份副本(Follower)。主副本负责客户端的读和写，备份副本负责向主副本拉取数据，以便和主剧本的数据同步。当主副本挂掉后，Kafka会在备份副本中选择一个作为主副本，继续为客户端提供读写服务。

如图6-1(左)所示，分区从逻辑上分成一个主副本(图中灰色背最)和多个备份副本。每个分区都有唯一的分区编号，比如，分区l用Pl表示，分区5用P5表示。如图6-1(有)所示，分区从物理上来看，所有的副本分布在不同的消息代理节点上。每个副本的编号表示所在的消息代理节点编号。比如，Pl的第一个副本编号是2，表示这个备份副本在编号为2的消息代理节点上。

注意：P1(主)表示分区l的主副本，P1(从)表示分区l的备份副本。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70]

为了进一步理解分区和副本的关系，下面两段代码列举了分区类(Partition)和副本类(Replica)  
的成员变韭：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70 1]

分区类的变革·partition\_id表示分区的编号，副本类的broker＿id表示副本所在代理节点的编号，partition表示所属的分区对象引用。分区有一个主副本的引用(leader)，副本有一个日志文件的引用(log)。

分区还有两个副本集构成的AR(AssignedReplica)和ISR(In-SyncReplica)。AR表示分区的所有副本，ISR表示和主副本处于同步的所有副本，也叫作“正在同步的副本”。如果副本超出同步范围，就叫作Out-SyncReplica。

如图6-2所示，分区到副本的映射关系可以认为是逻辑层，而副本和1日志的关系则属于物理层面。因为副本会真正存储在消息代理节点上，所以会持有Log对象的引用，表示副本对应的日志文件。分区和副本与外部交互的对象分别是客户端和消息代理节点。客户端访问分区，先获取分区的主副本，然后找到主副本所在的消息代理节点编号，最后从消息代理节点读写主剧本对应的日志文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70 2]

分区的每个副本存储在不同的消息代理节点上，每个副本都对应一个日志。在将分区存储到底层文件系统上时，每个分区对应一个目录，分区目录下有多个日志分段(LogSeg111ent)。同一个目录下，所有的日志分段都属于同一个分区。

注意：为什么一个分区要分成多个日志分段？如果一个分区只有一个日瓦分段，这个分区随着消息的不断追加，肯定会越来越大，所以需要进行划分。

每个日志分段在物理上由一个数据文件和l一个索引文件组成。数据文件存储的是消息的真正内容，索引文件存储的是数据文件的索引信息。为数据文件建立索引文件的目的是更快地访问数据文件。

注意：生产者写消息到分区时采用追加的方式，顺序写磁盘的性能是很高的。消费者一般情况下也是顺序读取消息的，顺序读磁盘的性能也很高。但有些场景下，消费者可能想妥随机读取分区，比如定位到某个指定的偏移量位直，重新处理消息，这时可以利用索引文件快速定位读取的位直。下面两段代码列举了日志(Log)和日志分段(LogSeg111ent)的主要成员变量：  
![在这里插入图片描述][20210414231800217.png]  
![在这里插入图片描述][20210414231814881.png]

其中日志的dir表示分区的目录，可以从分区目录中解析并构造出对应的分区对象(TopicAndPartition)。日志分段的baseOffset表示这个分段相对于整个日志的基准偏移盘(绝对位置)。上面分别从逻辑层分析了分区和副本的关系，从物理层分析了副本和日志文件的关系。分区和副本的概念比较抽象，下面我们从易于理解的日志文件开始分析，日志文件存储的是实际的消息内容。

[20210414231617456.png]: /images/20221022/3390b717a8f5493c821b3f69c978f3dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70]: /images/20221022/7a981bd830d14462a516b4e9f10cdc0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70 1]: /images/20221022/da4c9cfc253449f3b6db423bda35e574.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70 2]: /images/20221022/fc6ea68854eb49618a39bafb0c239d44.png
[20210414231800217.png]: /images/20221022/4f43906003f04a97b80b7c45f5175c06.png
[20210414231814881.png]: /images/20221022/1ce52ddf4ba04ab08f8a6ddfd2191d5b.png