kafka常用命令汇总(亲测自用)

雨点打透心脏的1/2处 2024-03-31 11:20 13阅读 0赞

#### 文章目录 ####

*  一、启动kafka
 *  二、查看命令
 *  三、创建topic
 *  四、生产者
 *  五、消费者
 *  六、修改topic
 *  七、删除topic

## 一、启动kafka ##

【kafka\_2.13-3.3.1】  
【zookeeper-3.4.14】

> 2.13-3.3.1：前面部分2.13其实是scala的版本（kafka是scala编写的），后面三位3.3.1就是真正的 kafka 版本

*2.2 及更高版本 Kafka,不再需要 ZooKeeper 连接字符串，即- -zookeeper localhost:2181。使用–bootstrap-server localhost:9092来替代*

# 启动zookeeper
    ./zkServer.sh start
    # 启动kafka
    nohup ./kafka-server-start.sh  ../config/server.properties &

## 二、查看命令 ##

# 查看正在使用的所有topic名
    ./kafka-topics.sh --list --bootstrap-server localhost:9092
    # 查看topic分区数量
    ./kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic web
    # 查看消费者列表
    ./kafka-consumer-groups.sh --bootstrap-server :9092 --group test-watermarker --describe
    # watch查看消费者列表
    watch -d "./kafka-consumer-groups.sh --bootstrap-server :9092 --group test-watermarker --describe"

## 三、创建topic ##

# 创建topic
    ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic web --replication-factor 1 --partitions 3

## 四、生产者 ##

./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic web

## 五、消费者 ##

*注意：消费前，确定topic已经创建成功！！！！*

# 默认从最新消费
    ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic web
    # 从最开始消费
    ./kafka-console-consumer.sh --bootstrap-server 39.105.12.10:9092 --topic web --from-beginning

## 六、修改topic ##

./kafka-topics.sh --alter --bootstrap-server localhost:9092 --topic jzjy1_01 --partitions 5

## 七、删除topic ##

大佬在线解答交流圈子，783092701

# 查询kafka中的topic
    ./kafka-topics.sh --list --bootstrap-server localhost:9092
    # 删除指定的topic
    ./kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic mytopic
    # 查询是否删除
    ./kafka-topics.sh --list --bootstrap-server localhost:9092
    # 删除zookeeper中的topic
    ./zkCli.sh
    ls /brokers/topics
    rmr /brokers/topics/mytopic
    
    ls /config/topics
    rmr /config/topics/mytopic
    
    ls /admin/delete_topics
    rmr /admin/delete_topics/mytopic

进入到kafka的log.dirs（server.properties中有配置）的路径中删除整个文件夹或者删除对应的数据（如：mytopic-0）

**注意**：  
1、使用方法1中kafka命令删除时后，log.dirs中的数据会首先标记为mytopic-0.78d282e0f72c4804b2eaa0c3c434b656-delete 过几秒中后kafka会自动删除该日志数据，所以推荐方法1删除topic，省略了一步  
2、方法2相对于方法1除了不能主动删除日志数据外，它俩是相同的，即在kafka中删除后，同时zookeeper中也被删除了，反之亦然  
复制代码  
3、说明  
1）有些版本需要在server.properties中添加delete.topic.enable=true  
2）使用方法1删除，出现如下提示是正常的，查询结果topic不显示（marked for deletion）即可  
Topic topic\_deal is marked for deletion.  
Note: This will have no impact if delete.topic.enable is not set to true.  
3）执行删除命令，需要关闭topic与之对应的生产者和消费者  
4）如果还是无法删除，就重启kafka和zookeeper再执行删除