就这一次！拼多多内部架构师培训Kafka源码笔记（现已绝版）

r囧r小猫 2023-09-27 09:30 4阅读 0赞

在大数据、高并发的系统中，为了突破瓶颈，会将系统进行水平扩展和垂直拆分，形成独立的服务。每个独立的服务背后，可能是一个集群在对外提供服务。这就会碰到一个问题，整个系统是由多个服务(子系统)组成的，数据需要在各个服务中不停流转。如果数据在各个子系统中传输时，速度过慢，就会形成瓶颈，降低整个系统的性能。从而就形成了以Kafka为中心的解决方案！

因为阅读Kafka源码重要性就不言而喻，今天小编就分享一份拼多多Kafka的源码笔记，现已面向大众全面开源！（为了不影响大家的阅读体验，获取方式放在了文末！）

![da060a694c3f3253a5082c4e4f713dc1.jpeg][]

> 这份笔记从Kafka的应用场景、源码环境搭建开始逐步深人，不仅介绍Kafka的核心概念，而且对Kafka生产者、消费者、服务端的源码进行深人的剖析，最后介绍Kafka常用的管理脚本实现，让读者不仅从宏观设计上了解Kafka,而且能够深人到Kafka的细节设计之中。在源码分析的过程中，还穿插了笔者工作积累的经验和对Kafka设计的理解，希望读者可以举一反三， 不仅知其然，而且知其所以然。

## 第1章快速入门 ##

1.1 Kafka简介

1.2 以Kafka为中心的解决方案

1.3 Kafka核心概念

1.4 Kafka源码环境

![4da26d21682f88330bcf6e69bef4cd0b.png][]

## 第2章生产者 ##

2.1 KafkaProducer 使用示例

2.2 KafkaProducer 分析

*  ProducerInterceptors&cProducerInterceptor
 *  Kafka 集群元数据
 *  Serializer&Deserializer
 *  Partitioner

![edaf6622e771d6a3af2755f074013601.png][]

2.3 RecordAccumulator分析

*  MemoryR ecords
 *  RecordBatch
 *  BufferPool
 *  RecordAccumulator

![9d0bd2abdf69daaa6c3e337fc1fc4117.png][]

2.4 Sender分析

*  创建请求
 *  KSelector
 *  InFlightRequests
 *  MetadataUpdater
 *  NetworkClient

![2041822b07a8bb9086283d8207a1728e.png][]

## 第3章消费者 ##

3.1 KafkaConsumer 使用示例

3.2 传递保证语义( Delivery guarantee semantic )

3.3 Consumer Group Rebalance设计

![30fc8cd95a28a5445a0120eb3aee8f9c.png][]

3.4 KafkaConsumer 分析

*  ConsumerNetworkC lient
 *  SubscriptionState
 *  ConsumerCoordinator.
 *  PartitionAssignor 分析
 *  Heartbeat 分析
 *  Rebalance 实现
 *  offset 操作
 *  Fetcher
 *  KafkaConsumer 分析总结

![69e4e10da6582d903a6054aa9fcdc7b6.png][]

## 第4章Kafka服务端 ##

4.1 网络层

*  Reactor模式
 *  SocketServer
 *  AbstractServer Thread
 *  Acceptor
 *  Processor
 *  RequestChannel

![f8014e6f698162d8217b8c6e86ac9e36.png][]

4.2 API层

KafkaR equestHandler

KafkaApis

![31c416f345fa48dfcb173c02b8ed827e.png][]

4.3 日志存储

*  基本概念
 *  FileMessageSet
 *  ByteBufferMessageSet
 *  OfsetIndex
 *  LogSegment
 *  Log
 *  LogManager

![672534bcbb1e803f908e294384234a75.png][]

4.4 DelayedOperationPurgatory 组件

*  TimingWheel
 *  SystemTimer
 *  Delayed Dperation
 *  DelayedOperationPurgatory
 *  DelayedProduce
 *  DelayedFetch

![3879ebd1e658941496201a8b660b2035.png][]

4.5 副本机制

*  副本
 *  分区
 *  ReplicaManager

![c10f729d601ec048d019382cfd1235ca.png][]

4.6 KafkaController

*  ControllerChannelManager
 *  ControllerContext
 *  ControllerBrokerRequestBatch
 *  PartitionStateMachine
 *  PartitionLeaderSelector
 *  ReplicaStateMachine
 *  ZooKeeper Listener
 *  KafkaController 初始化与故障转移
 *  处理ContolledShutdownRequest

![fd94baa463d9324744a304286c99b015.png][]

4.7 GroupCoordinator

*  GroupMetadataManager
 *  GroupCoordinator分析

![2f2734257cb5ee4a8764162397c607ca.png][]

4.8 身份认证与权限控制

*  配置SASL/PLAIN认证
 *  身份认证
 *  权限控制

![ccc11ab61487bad6da24085caa0a4628.png][]

4.9 Kafka 监控

*  JMX 简介
 *  Metrics简介
 *  Kafka中的Metrics
 *  Kafka的监控功能
 *  监控KSelector的指标

![14b744881f6078a9073e8184ec601dea.png][]

## 第5章Kafka Tool ##

5.1 kafka-server-start 脚本

5.2 kafka-topics 脚本

*  创建Topic
 *  修改Topic

5.3kafka-preferred-replica-election脚本

5.4 kafka-reassign-partitions 脚本

5.5 kafka-console -producer脚本

5.6 kafka-console-consumer脚本

![18c82da8d1d295127340cc4dde292ca7.png][]

5.7 kafka-consumer-groups脚本

5.8 DumpLogSegments

5.9 kafka-producer-perf-test 脚本

5.10 kafka-consumer-perf-test脚本

5.11kafka-mirror-maker脚本

![2b1014dca223e20f2efc216976a336f9.png][]

## 总结 ##

大型分布式系统犹如一个生命，系统中各个服务犹如骨骼，其中的数据犹如血液，而Kafka犹如经络，串联整个系统。这份Kafka源码笔记通过大量的设计图展示、代码分析、示例分享，把Kafka的实现脉络展示在读者面前，帮助读者更好地研读Kafka代码。

[da060a694c3f3253a5082c4e4f713dc1.jpeg]: https://img-blog.csdnimg.cn/img_convert/da060a694c3f3253a5082c4e4f713dc1.jpeg
[4da26d21682f88330bcf6e69bef4cd0b.png]: https://img-blog.csdnimg.cn/img_convert/4da26d21682f88330bcf6e69bef4cd0b.png
[edaf6622e771d6a3af2755f074013601.png]: https://img-blog.csdnimg.cn/img_convert/edaf6622e771d6a3af2755f074013601.png
[9d0bd2abdf69daaa6c3e337fc1fc4117.png]: https://img-blog.csdnimg.cn/img_convert/9d0bd2abdf69daaa6c3e337fc1fc4117.png
[2041822b07a8bb9086283d8207a1728e.png]: https://img-blog.csdnimg.cn/img_convert/2041822b07a8bb9086283d8207a1728e.png
[30fc8cd95a28a5445a0120eb3aee8f9c.png]: https://img-blog.csdnimg.cn/img_convert/30fc8cd95a28a5445a0120eb3aee8f9c.png
[69e4e10da6582d903a6054aa9fcdc7b6.png]: https://img-blog.csdnimg.cn/img_convert/69e4e10da6582d903a6054aa9fcdc7b6.png
[f8014e6f698162d8217b8c6e86ac9e36.png]: https://img-blog.csdnimg.cn/img_convert/f8014e6f698162d8217b8c6e86ac9e36.png
[31c416f345fa48dfcb173c02b8ed827e.png]: https://img-blog.csdnimg.cn/img_convert/31c416f345fa48dfcb173c02b8ed827e.png
[672534bcbb1e803f908e294384234a75.png]: https://img-blog.csdnimg.cn/img_convert/672534bcbb1e803f908e294384234a75.png
[3879ebd1e658941496201a8b660b2035.png]: https://img-blog.csdnimg.cn/img_convert/3879ebd1e658941496201a8b660b2035.png
[c10f729d601ec048d019382cfd1235ca.png]: https://img-blog.csdnimg.cn/img_convert/c10f729d601ec048d019382cfd1235ca.png
[fd94baa463d9324744a304286c99b015.png]: https://img-blog.csdnimg.cn/img_convert/fd94baa463d9324744a304286c99b015.png
[2f2734257cb5ee4a8764162397c607ca.png]: https://img-blog.csdnimg.cn/img_convert/2f2734257cb5ee4a8764162397c607ca.png
[ccc11ab61487bad6da24085caa0a4628.png]: https://img-blog.csdnimg.cn/img_convert/ccc11ab61487bad6da24085caa0a4628.png
[14b744881f6078a9073e8184ec601dea.png]: https://img-blog.csdnimg.cn/img_convert/14b744881f6078a9073e8184ec601dea.png
[18c82da8d1d295127340cc4dde292ca7.png]: https://img-blog.csdnimg.cn/img_convert/18c82da8d1d295127340cc4dde292ca7.png
[2b1014dca223e20f2efc216976a336f9.png]: https://img-blog.csdnimg.cn/img_convert/2b1014dca223e20f2efc216976a336f9.png