kafka+zookeeper+kafka-manager集群部署（集群版）

心已赠人 2021-12-11 05:07 359阅读 0赞

**                                                                                      服务器规划**

<table style="width:445px;"> 
 <tbody> 
  <tr> 
   <td style="width:147px;"><strong>172.25.62.100</strong></td> 
   <td style="width:144px;"><strong>172.25.62.101</strong></td> 
   <td style="width:152px;"><strong>172.25.62.102</strong></td> 
  </tr> 
  <tr> 
   <td style="width:147px;">zookeeper1</td> 
   <td style="width:144px;">zookeeper2</td> 
   <td style="width:152px;">zookeeper3</td> 
  </tr> 
  <tr> 
   <td style="width:147px;">kafka1</td> 
   <td style="width:144px;">kafka2</td> 
   <td style="width:152px;">kafka3</td> 
  </tr> 
  <tr> 
   <td style="width:147px;">&nbsp;</td> 
   <td style="width:144px;">kafka-manager</td> 
   <td style="width:152px;">&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

**一、搭建zookeeper集群并启动**

参考：[https://blog.csdn.net/qq\_35859844/article/details/87908283][https_blog.csdn.net_qq_35859844_article_details_87908283]

**二、搭建kafka集群**

1.下载kafka

wget https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz

a.创建kafka消息目录，主要存放kafka消息

mkdir kafkalogs

b.解压kafka

tar -zxvf kafka_2.11-0.9.0.1.tgz

c.进入kafka 配置文件 server.properties，修改过的地方如下（只展示其中一台服务器的修改，其他两台类似修改）

############################# Server Basics #############################
    broker.id=0  #其他两台改为 1， 2
    
    ############################# Socket Server Settings #############################
    #其他两台只需要修改成对应ip即可
    listeners=PLAINTEXT://172.25.62.102:9092
    port=9092
    host.name=172.25.62.102
    advertised.host.name=172.25.62.102
    advertised.port=9092
    
    ############################# Log Basics #############################
    log.dirs=/home/test/kafka/kafkalogs  #修改成自己新建的日志文件目录
    
    ############################# Zookeeper #############################
    zookeeper.connect=172.25.62.100:2181,172.25.62.101:2181,172.25.62.102:2181
    
    ############################# Group Coordinator Settings #############################
    group.initial.rebalance.delay.ms=0
    group.initial.rebalance.delay.ms=0
    delete.topic.enable=true  #允许删除topic
    auto.create.topics.enable = true #允许自动创建topic

2.启动三台kafka

进入kafka bin目录，后台启动kafka，（zookeeper集群必须先启动）

./kafka-server-start.sh -daemon ../config/server.properties

3.测试kafka集群是否启动成功

a.创建topic

./kafka-topics.sh --create --zookeeper 172.25.62.100:2181 --replication-factor 2 --partitions 1 --topic guanguan

b.创建生产者，此时处于阻塞状态，可以直接输入消息

./kafka-console-producer.sh --broker-list 192.168.7.100:9092 --topic guanguan

c.创建消费者，此时处于阻塞状态，可以看到生产者发的消息即为成功

./kafka-console-consumer.sh --bootstrap-server 172.25.62.100:9092 --topic guanguan --from-beginning

d.查看topic列表

./kafka-topics.sh --zookeeper 172.25.62.100:2181 --list

**三、搭建kafka-manager**

1.下载kafka-manager

2.修改application.conf如下：

kafka-manager.zkhosts="172.25.62.100:2181,172.25.62.101:2181,172.25.62.102:2181" #改成zookeeper集群地址

3.浏览器打开地址172.25.62.101:9000

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODU5ODQ0_size_16_color_FFFFFF_t_70][]

如上图操作即可

[https_blog.csdn.net_qq_35859844_article_details_87908283]: https://blog.csdn.net/qq_35859844/article/details/87908283
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1ODU5ODQ0_size_16_color_FFFFFF_t_70]: /images/20211211/272cc98920c54f1db5fda977d201f088.png