分布式消息系统：Kafka（七）日志管理

落日映苍穹つ 2022-05-14 03:20 201阅读 0赞

kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。  
　　\*\*分区的每个副本对应到一个Log对象，每个Log有划分为多个LogSegment，每个LogSegment包括一个日志文件和两个索引文件，其中两个索引文件分别是偏移量索引文件和时间戳索引文件。\*\*Log和LogSegment是逻辑概念，日志文件和索引文件才是物理存储对象。

**日志目录中的锁文件**  
　　同一时刻只能由一个日志管理器实例或者线程来获取该锁文件，该文件只有在Kafka正常关闭后才会被删除，通过该文件可以判断Kafka上次是否正常关闭。

代理启动时会启动包括日志管理器在内的很多管理器，日志管理器是用来专门管理日志的。

*  加载配置文件中的log.dir配置项所配置的路径，并检查路径是否存在，如果不存在就创建，并在这个日志目录下创建.lock锁文件，该文件只有kafka被正常关闭时才会删除。同时创建和加载日志检查点文件，如果不存在就创建，该文件记录每个主题每个分区下一次写入磁盘数据的偏移量
 *  然后根据检查点文件加载和恢复日志，它会产生一个线程池来完整这个工作。它会检查.kafka\_cleanshutdown文件，当代理上一次正常关闭是才会有这个文件，如果不存在则表示第一次启动或者上一次没有正常关闭。
 *  线程开始恢复日志，在内部会为目录下每一个分区创建一个任务由线程池里的线程执行。
 *  完成后删除.kafka\_cleanshutdown文件，同时关闭线程池。

**日志清理：**

Kafka提供两种日志清理策略，删除和压缩。通过参数cleanup.policy来指定清理策略。日志清理可以控制到主题级别，可以为不同主题创建不同的清理策略。

*  日志删除，它是一个定时任务在日志管理器启动后会启动它。默认为5分钟执行一次。kafka提供了基于日志保留时长的删除策略和日志大小的策略，默认是168小时，也就是7天，日志被保留7天之后将会删除。默认不设置日志大小。日志保留时长不是通过日志文件的最后修改时间来确定的，它是基于时间戳索引进行的。
 *  日志压缩