kafka集群搭建一

╰半橙微兮° 2023-02-15 01:22 84阅读 0赞

1、  准备2台虚拟机，192.168.2.131和192.168.2.130，下载kafka的tar压缩包分别解压到两台虚拟指定的目录，本次示例放到如图目录下

![20200604100050524.png][]

2、进入kafka\_2.11-2.2.1/config/下，配置 server.properties

![20200604100527274.png][]

输入以下配置

#broker的全局唯一编号，不能重复
    broker.id=0
    #删除topic功能使能
    delete.topic.enable=true
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘IO的现成数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的缓冲区大小
    socket.request.max.bytes=104857600
    #kafka运行日志存放的路径	
    log.dirs=/opt/module/kafka/logs
    #topic在当前broker上的分区个数
    num.partitions=1
    #用来恢复和清理data下数据的线程数量
    num.recovery.threads.per.data.dir=1
    #配置zookeeper
    zookeeper.connect=192.168.2.131:2181,192.168.2.130:2181

broker.id将192.168.2.131配置为0，将192.168.2.130配置为1

3、启动kafka集群

kafka依赖zookeeper，在启动kafka之前要先启动相应结点的zookeeper

（1）kafka\_2.11-2.2.1/bin/kafka-server-start.sh   kafka\_2.11-2.2.1/config/server.properties

![2020060410100968.png][]

（2）创建topic

创建一个名称为testdemo的topic

kafka\_2.11-2.2.1/bin/kafka-topics.sh --zookeeper  192.168.2.131:2181  --create --replication-factor 1 --partitions 1 --topic testdemo

参数说明  --topic 定义topic名    --replication-factor  定义副本     --partitions  定义分区数

![20200604105200583.png][]

（3）查看topic

查询所有

kafka\_2.11-2.2.1/bin/kafka-topics.sh --zookeeper   192.168.2.131:2181 --list

![20200604105436874.png][]

查询指定

kafka\_2.11-2.2.1/bin/kafka-topics.sh  --zookeeper   192.168.2.131:2181  --describe  --topic  testdemo

（4）删除topic

kafka\_2.11-2.2.1/bin/kafka-topics.sh --zookeeper 192.168.2.131:2181  --delete  --topic testdemo

![20200604105703406.png][]

(5)消息生产

kafka\_2.11-2.2.1/bin/kafka-console-producer.sh  --broker-list  192.168.2.131:9092  --topic testdemo   HELLOWORDKAFKA

（6）消息消费

kafka\_2.11-2.2.1/bin/kafka-console-consumer.sh  --bootstrap-server  92.168.2.131:9092   --from-beginning --topic  testdemo

4、停止kafka集群

kafka\_2.11-2.2.1/bin/kafka-server-stop.sh

[20200604100050524.png]: https://img-blog.csdnimg.cn/20200604100050524.png
[20200604100527274.png]: https://img-blog.csdnimg.cn/20200604100527274.png
[2020060410100968.png]: https://img-blog.csdnimg.cn/2020060410100968.png
[20200604105200583.png]: https://img-blog.csdnimg.cn/20200604105200583.png
[20200604105436874.png]: https://img-blog.csdnimg.cn/20200604105436874.png
[20200604105703406.png]: https://img-blog.csdnimg.cn/20200604105703406.png