kafka实践（二）：分布式部署

青旅半醒 2022-07-18 00:12 172阅读 0赞

实践（一）主要是跟着教程大体上了解了一下kafka的基本内容，并在自己的虚拟机上简单测试了一下，本章内容重要是实践进行分布式部署。

一、部署模式分类

kafka的部署，主要是有三种：（部署原理图，取自网络）

1、单节点部署单broker

![Center][]

此方式是最简单的一种，可以用kafka自带的zookeeper启动后，在单物理节点上，启动kafka的server( broker )。

2、单节点部署多个broker

![Center 1][]

此方式，也是在单物理节点上启动一个zookeeper，多个kafka的broker， 采用多个broker的目的是为了在单个broker无法负载大量的消息收发要求后，必然采用的扩展方式。

3、多节点部署多个broker

![Center 2][]

此方式，broker 分别部署到不同的物理节点上，可以进行横向扩展，满足高负载的分担。这种方式的配置和第二种比较类似。

二、本次实践规划

1） 采用单节点多broker方式

2） 在linux虚拟机centos6.5 环境，

3） jdk 1.7

三、部署步骤

1、zookeeper部署

kafka自带了zookeeper，如果使用自带的，需要拷贝三个zookeeper.properties　为　zookeeper1.properties，　zookeeper2.properties，        zookeeper3.properties。　具体以zookeeper1.properties为例，配置为

![Center 3][]

dataDir 属性，需要每个properties文件都设定自己的数据目录， 并且 使用echo命令，在myid文件填入每个zookeeper id。以zookeeper1.properties为例： echo 1 >/tmp/zookeeper1/myid。上图中标红色的内容，都是需要配置好，否则会报错。

这种方式启动的时候，要带入具体的配置文件路径作为启动参数。

本次实践，建议以自己独立的zookeeper版本进行伪分布式部署，具体见系列博客中的zookeeper分布式部署。这样的好处是可以充分应用独立zookeeper版本中的带的各种工具脚本，使用起来更顺手。

下图为独立版本中的配置文件内容：

![Center 4][]

需要保证每个zookeeper的数据目录和日志目录，端口都是不同的。

2、kafka部署

由于要生成三个broker，所以需要有不同的配置，将kafka\_2.11-0.10.0.1/config目录下的 server.properties 分别拷贝为server1.properties ， server2.properties server3.properties ， 以server1.properties为例，修改如下内容

![Center 5][]![Image 1][]

broker id 在每个配置文件里面分别配置为1， 2，3， id需要保证不同。在2.11版的kafka中，port参数已经变化为listeners， 默认是被注释的，确保放开注释，并保障每个broker的端口不同（如果部署在不同物理节点，端口可以一样）。

还需要修改同一文件的下面内容：

![Center 6][]

这里是配置kafka连接的zookeeper，确保每个broker这里的配置都一样，正确。

3、启动kafka

确保zookeeper已经启动正确情况下，分别启动kafka server，启动脚本为：

bin/kafka-server-start.sh  config/server1.properties  >/dev/null 2>&1 & 
         bin/kafka-server-start.sh  config/server2.properties  >/dev/null 2>&1 & 
         bin/kafka-server-start.sh  config/server3.properties  >/dev/null 2>&1 &

这样就完成3个kafka broker的分布式部署和启动。

[Center]: /images/20220717/4e211232fa884a5898d4044da64325ed.png
[Center 1]: /images/20220717/0760c3b156c2406ab18153e836741ce3.png
[Center 2]: /images/20220717/9ae2e93861a84699ae46034d283242d6.png
[Center 3]: /images/20220717/475dd52146844c398aea60c9f2c89d2c.png
[Center 4]: /images/20220717/82a3ec54f266414fbf5411054e2f8ed6.png
[Center 5]: https://img-blog.csdn.net/20160902180359991?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Image 1]: 
[Center 6]: /images/20220717/f70c83d12ebe4252adcfc2f656ca0b60.png