Kafka3.x安装以及使用

小灰灰 2024-02-21 10:54 46阅读 0赞

#### 一、Kafka下载 ####

下载地址：[https://kafka.apache.org/downloads][https_kafka.apache.org_downloads]  
![在这里插入图片描述][27603faa707f427793ed0cd7aad84e6a.png]

#### 二、[Kafka安装][Kafka] ####

> 因为选择下载的是 .zip 文件，直接跳过安装，一步到位。  
> 选择在任一磁盘创建空文件夹（不要使用中文路径），解压之后把文件夹内容剪切进去（本人选择 D:\\env-java\\路径下，即完成安装）。  
> [linux解压命令][linux]`tar -zxvf kafka_2.13-3.5.1.tgz`，linux环境下指令是在`\kafka_2.13-3.5.1\bin`目录。  
> windows直接解压即可，windows环境下指令是在`kafka_2.13-3.5.1\bin\windows`目录。  
> 注意：不同系统指令所在的目录不同。  
> 执行命令当前目录`D:\env-java\kafka_2.13-3.5.1`

##### 修改 kafka-server 和zookeeper配置 #####

进入到目录：`kafka_2.13-3.5.1/config/server.properties`以及`kafka_2.13-3.5.1/config/zookeeper.properties`

*  linux系统:

broker.id=1
    log.dir=/Users/imagetask/kafka-logs

![在这里插入图片描述][5189a1506aa6498693b169d02f2c78de.png]

*  windows系统:

broker.id=1
    log.dirs=/env-java/kafka_2.13-3.5.1/kafka-logs

![在这里插入图片描述][a02eaf6d83cd4e538cf99c364a592d84.png]  
![在这里插入图片描述][2c67c283e23b402599466fb92655f79b.png]  
/：表示当前的根路径，即D盘。没有就会创建对应的文件夹。

#### 三、启动Kafka服务 ####

##### 1、启动ZooKeeper #####

*  linux系统:

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

*  windows系统:

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

##### 2、启动kafka #####

*  linux系统:

bin/kafka-server-start.sh config/server.properties

*  windows系统:

bin\windows\kafka-server-start.bat config\server.properties

#### 四、Kafka的使用 ####

##### 1、创建主题 #####

*  linux系统:

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

*  windows系统:

bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

##### 2、删除主题 #####

*  linux系统:

bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic test

*  windows系统:

bin\windows\kafka-topics.bat --delete --bootstrap-server localhost:9092 --topic test

##### 3、查看Topic 列表 #####

*  linux系统:

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

*  windows系统:

bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

##### 4、启动 Producer #####

*  linux系统:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

*  windows系统:

bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

##### 5、启动 Consumer #####

*  linux系统:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

*  windows系统:

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

##### 6、查看Topic 相关信息（test） #####

*  linux系统:

bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test

*  windows系统:

bin\windows\kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic test

##### 7、删除Topic 数据（test） #####

*  linux系统:

bin\windows\kafka-delete-records.sh--bootstrap-server localhost:9092 --offset-json-file d:\delete_script.json

*  windows系统:

bin\windows\kafka-delete-records.bat --bootstrap-server localhost:9092 --offset-json-file d:\delete_script.json

delete_script.json文件内容为：{"partitions":[{"topic": "test", "partition": 0, "offset": -1}]}

[https_kafka.apache.org_downloads]: https://kafka.apache.org/downloads
[27603faa707f427793ed0cd7aad84e6a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/ae41552edfe04815b11356131b7e9abe.png
[Kafka]: https://so.csdn.net/so/search?q=Kafka%E5%AE%89%E8%A3%85&spm=1001.2101.3001.7020
[linux]: https://so.csdn.net/so/search?q=linux%E8%A7%A3%E5%8E%8B%E5%91%BD%E4%BB%A4&spm=1001.2101.3001.7020
[5189a1506aa6498693b169d02f2c78de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/641f669d5f2d4fb09872577c646d80e5.png
[a02eaf6d83cd4e538cf99c364a592d84.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/a7d64f001d21482a9edd2e499988ef50.png
[2c67c283e23b402599466fb92655f79b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/5ea8c6df567845f58e3ad91b156a45d9.png