Kafka 2.7.x 源码浅析 : kafka2.7.2 编译

阳光穿透心脏的1/2处 2022-10-17 04:13 101阅读 0赞

# 一. 前言 #

编译kafka2.7.2版本, 目前最新版本为2.8.x , 但是因为2.8.x去掉了zk,稳定性不确定, 所以暂时以该版本进行研究.

# 二. 环境准备 #

## 2.1. 下载代码 ##

> GIT LAB方式: git clone https://github.com/apache/kafka.git -b 2.7

## 2.2. 安装环境 ##

> 1.  Scala 2.11.8 +
> 2.  JDK1.8 +
> 3.  需要安装 gradlew 我这要求是 6.6 版本

# 三 .安装 #

## 3.1. 修改配置文件 ##

修改根目录下的 `gradle.properties`配置

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]

## 3.2. 代码指令 ##

如果你是在 Mac 或 Linux 平台上搭建环境，那么直接运行下列命令构建即可

$ ./gradlew clean build -x test

*  异常 :

> Failed to connect to raw.githubusercontent.com port 443: Connection refused

去找一下直接下载 Wrapper 所需的 Jar 包，手动把这个 Jar 文件拷贝到 kafka 路径下的 gradle/wrapper 子目录下，然后重新执行 gradlew build 命令去构建工程

网盘地址 : 链接: https://pan.baidu.com/s/106bb0CHMiBuc\_hnzhCi\_Cw 密码: 2bjh

*  其他指令

# 构建 jar包并运行
     ./gradlew jar
    
    # 构建项目
    ./gradlew idea
    ./gradlew eclipse
    
    
    
    # 构建源码包
    ./gradlew srcJar
    
    
    # 构建javadoc文档
    ./gradlew aggregatedJavadoc
    
    
    # 清理并构建
    ./gradlew clean

## 3.3. 导入idea ##

*  构建项目

# 构建项目
    ./gradlew idea

*  将项目导入idea
 *

接着，你需要打开 IDEA，选择“打开工程”，然后再选择 kafka 目录即可。

在导入的时候选择gradle , 在输入 Gradle home 的时候路径为 : /opt/tools/gradle-6.6/bin

如果找不到,可以全局搜索一下.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 1]

# 四 .代码结构 #

## 4.1. 代码安装包结构 ##

**bin 目录**：保存 Kafka 工具行脚本，我们熟知的 kafka-server-start 和 kafka-console-producer 等脚本都存放在这里。  
**clients 目录**：保存 Kafka 客户端代码，比如生产者和消费者的代码都在该目录下。  
**config 目录**：保存 Kafka 的配置文件，其中比较重要的配置文件是 server.properties。  
**connect 目录**：保存 Connect 组件的源代码。 Kafka Connect 组件是用来实现 Kafka 与外部系统之间的实时数据传输的。  
**core 目录**：保存 Broker 端代码。Kafka 服务器端代码全部保存在该目录下。  
**streams 目录**：保存 Streams 组件的源代码。Kafka Streams 是实现 Kafka 实时流处理的组件。

## 4.2. 项目结构 ##

**controller 包**：保存了 Kafka 控制器（Controller）代码，而控制器组件是 Kafka 的核心组件，后面我们会针对这个包的代码进行详细分析。  
**coordinator 包**：保存了消费者端的 GroupCoordinator 代码和用于事务的 TransactionCoordinator 代码。对 coordinator 包进行分析，特别是对消费者端的 GroupCoordinator 代码进行分析，是 Broker 端协调者组件设计原理的关键。  
**log 包**：保存了 Kafka 最核心的日志结构代码，包括日志、日志段、索引文件等, 另外，该包下还封装了 Log Compaction 的实现机制，是非常重要的源码包。  
**network 包**：封装了 Kafka 服务器端网络层的代码，特别是 SocketServer.scala 这个文件，是 Kafka 实现 Reactor 模式的具体操作类，非常值得一读。  
**server 包**：顾名思义，它是 Kafka 的服务器端主代码，里面的类非常多，很多关键的 Kafka 组件都存放在这里，比如状态机、Purgatory 延时机制等。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70]: /images/20221014/0cdc6e55f2dc4aad8f28a9ff7e05398f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poYW5nbG9uZ180NDQ0_size_16_color_FFFFFF_t_70 1]: /images/20221014/ad729622ccc5461d8db816a0172d1fff.png