kafka客户端脚本windows版

ゞ浴缸里的玫瑰 2023-06-19 11:26 5阅读 0赞

以下脚本除集群启动，均视为kafka客户端，因此放在windows上运行即可，不必放在linux上，即用windows上的kafka客户端，访问linux上的kafka服务器

# 1、第一版（不建议使用） #

## 1.1、集群启动 ##

@echo off
    echo %date% %time%,开始启动kafka集群！
    start /b /d "server1/bin/windows" kafka-server-start.bat D:/development-software/kafka/cluster/server1/config/server.properties>> server1.log
    
    start /b /d "server2/bin/windows" kafka-server-start.bat D:/development-software/kafka/cluster/server2/config/server.properties>> server2.log
    
    start /b /d "server3/bin/windows" kafka-server-start.bat D:/development-software/kafka/cluster/server3/config/server.properties>> server3.log

## 1.2、创建主题 ##

@echo off
    echo 请输入要创建的主题名：
    set /p topicName=
    :start
    echo 请输入分区数目：
    set /p partitions=
    echo 正在创建主题%topicName%...
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183/KafkaCluster --replication-factor 3 --partitions %partitions% --topic %topicName%
    echo 继续创建主题请输入主题名：
    set /p topicName=
    goto start
    pause > nul

## 1.3、查看主题 ##

@echo off
    echo 正在查询主题列表...
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --list --zookeeper localhost:2181/KafkaCluster
    echo 请输入主题名称，若直接回车则视为查看所有主题详情：
    set /p topicName=
    echo 正在查询...
    if  defined topicName (
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --describe --zookeeper localhost:2181,localhost:2182,localhost:2183/KafkaCluster --topic %topicName%
    ) else (
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --describe --zookeeper localhost:2181,localhost:2182,localhost:2183/KafkaCluster
    )
    pause > nul

## 1.4、查看消费组 ##

@echo off
    echo 正在查询消费者组列表...
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-consumer-groups.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --list
    
    echo 请输入消费者组：
    set /p group=
    
    :start
    echo 正在查询消费者组详情...
    start /wait /b /d  "D:\development-software\kafka\cluster\server1\bin\windows" kafka-consumer-groups.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --describe --group %group%
    echo 继续查看其他消费者组详情，请输入消费者组：
    set /p group=
    goto start

## 1.5、生产者 ##

@echo off
    echo 请输入生产者发布的主题：
    set /p topicName=
    ./server1/bin/windows/kafka-console-producer.bat --broker-list localhost:9092,localhost:9093,localhost:9094 --topic %topicName% --producer.config ./server1/config/producer.properties

## 1.6、消费者 ##

@echo off
    echo 请输入消费者订阅的主题：
    set /p topicName=
    echo 请输入groupId：
    set /p groupId=
    echo 请输入clientId：
    set /p clientId=
    ./server1/bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic %topicName% --from-beginning --consumer-property group.id=%groupId% client.id=%clientId%

# 2、第二版  #

## 2.1、创建主题  ##

@echo off
    echo 请输入zookeeper.connect(如[localhost:2181]):
    set /p zkconn=
    echo 请输入要创建的主题名：
    set /p topicName=
    echo 请输入分区数目：
    set /p partitions=
    echo 请输入副本数目:
    set /p factor=
    echo 正在创建主题%topicName%...
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --create --zookeeper %zkconn% --replication-factor %factor% --partitions %partitions% --topic %topicName%
    pause > nul

## 2.2、查看主题  ##

@echo off
    echo 请输入zookeeper.connect(如[localhost:2181]):
    set /p zkconn=
    echo 正在查询主题列表...
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --list --zookeeper %zkconn%
    echo 请输入主题名称，若直接回车则视为查看所有主题详情：
    set /p topicName=
    echo 正在查询...
    if  defined topicName (
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --describe --zookeeper %zkconn% --topic %topicName%
    ) else (
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-topics.bat --describe --zookeeper %zkconn%
    )
    pause > nul

## 2.3、 查看消费者群组 ##

@echo off
    echo 请输入bootstrap-server(如[localhost:9092]):
    set /p bs=
    echo 正在查询消费者组列表...
    start /wait /b /d "D:\development-software\kafka\cluster\server1\bin\windows" kafka-consumer-groups.bat --bootstrap-server %bs% --list
    echo 请输入消费者组：
    set /p group=
    :start
    echo 正在查询消费者组详情...
    start /wait /b /d  "D:\development-software\kafka\cluster\server1\bin\windows" kafka-consumer-groups.bat --bootstrap-server %bs% --describe --group %group%
    echo 继续查看其他消费者组详情，请输入消费者组：
    set /p group=
    goto start

## 2.4、生产者 ##

@echo off
    echo 请输入broker-list(如[localhost:9092])：
    set /p brokerList=
    echo 请输入生产者发布的主题：
    set /p topicName=
    echo 生产者使用配置文件：./server1/config/producer.properties
    ./server1/bin/windows/kafka-console-producer.bat --broker-list %brokerList% --topic %topicName% --producer.config ./server1/config/producer.properties

## 2.5、消费者 ##

@echo off
    echo 请输入bootstrap-server(如[localhost:9092]):
    set /p bs=
    echo 请输入消费者订阅的主题：
    set /p topicName=
    echo 消费者使用配置文件：./server1/config/consumer.properties
    ./server1/bin/windows/kafka-console-consumer.bat --bootstrap-server %bs% --topic %topicName% --from-beginning --consumer.config ./server1/config/consumer.properties