Kafka集群安装部署（超详细操作演示）—— Linux

绝地灬酷狼 2024-03-24 13:33 43阅读 0赞

#### Kafka集群安装部署（超详细操作演示）—— Linux ####

*   *  简介
     *  安装
     *  测试Kafka能否正常使用

### 简介 ###

*  `Kafka`是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。
 *  同`RabbitMQ`一样，`Kafka`也是**消息队列**。不过`RabbitMQ`多用于**后端系统**，因其更加专注于消息的**延迟和容错**。
 *  `Kafka`多用于**大数据体系**，因其更加专注于**数据的吞吐能力**。
 *  `Kafka`多数都是运行在**分布式（集群化）模式**下，所以课程将以3台服务器，来完成`Kafka`集群的安装部署。

### 安装 ###

**前提条件：**

*  确保已经跟随前面的安装教程，安装并部署了`JDK`和`Zookeeper`服务

> `Kafka`的运行依赖`JDK`环境和`Zookeeper`请确保已经有了`JDK`环境和`Zookeeper`

没安装的可以看完之前的博客：  
[Linux系统安装部署Tomcat（超详细操作演示）][Linux_Tomcat]  
[Zookeeper集群安装部署（超详细操作演示）][Zookeeper]

1、**【在node1操作】** 下载并上传`Kafka`的安装包

# 下载安装包
    wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

也可以下载好，再上传：

![在这里插入图片描述][ae86e5e91ead46279fe7f4405cc5a00c.png]  
查看是否上传成功：

![在这里插入图片描述][a0c7da8075aa4c38ab16daca643540cd.png]

2 、**【在node1操作】** 解压

# 此文件夹如果不存在需先创建
    mkdir -p /export/server 
    
    # 解压
    tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

![在这里插入图片描述][1b3b8a0aaa46442c803b6bba73bca5de.png]  
查看是否解压成功：  
![在这里插入图片描述][328822161c534807b4491693710c9bc2.png]

# 创建软链接
    ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

![在这里插入图片描述][c0e0accdc2f9495eb22c49eb27d26323.png]

3、**【在node1操作】** 修改`Kafka`目录内的`config`目录内的`server.properties`文件

cd /export/server/kafka/config
    vim server.properties

![在这里插入图片描述][d64f8e120c0049eb947f0750561775db.png]

# 指定broker的id
    broker.id=1

![在这里插入图片描述][532994bf773d421c8f66f207af265faf.png]

# 指定 kafka的绑定监听的地址
    listeners=PLAINTEXT://node1:9092

![在这里插入图片描述][e4f6ac9539ea4d6fbc21b5f2cf495f5a.png]

> 按`Esc`退出插入模式，输入`/dirs` 搜索：

# 指定Kafka数据的位置
    log.dirs=/export/server/kafka/data

![在这里插入图片描述][f894fc8af21c4dbfaacaaeb99c190208.png]

> 按`Esc`退出插入模式，输入`/connect` 搜索：

# 指定Zookeeper的三个节点
    zookeeper.connect=node1:2181,node2:2181,node3:2181

![在这里插入图片描述][5f0038248b63452681ab7a6796544362.png]

> 按`Esc`退出插入模式，输入`:wq` 保存退出。

4、**【在node1操作】** 将`node1`的`kafka`复制到`node2`和`node3`

cd /export/server
    
    # 复制到node2同名文件夹
    scp -r kafka_2.12-2.4.1 node2:`pwd`/

![在这里插入图片描述][6e04b4bb449543dfb4c47796e03e0e57.png]

# 复制到node3同名文件夹
    scp -r kafka_2.12-2.4.1 node3:$PWD

![在这里插入图片描述][1dc970a5ab1c43eb9111e71699e71a90.png]

5、**【在node2操作】**

# 创建软链接
    ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

![在这里插入图片描述][f5b15ca380e3449f8ef04d295d77637e.png]

cd /export/server/kafka/config
    vim server.properties
    # 指定broker的id
    broker.id=2
    
    # 指定 kafka的绑定监听的地址
    listeners=PLAINTEXT://node2:9092

![在这里插入图片描述][41e1ceb3ceff436090c870bd87172afc.png]

> 按`Esc`退出插入模式，输入`:wq` 保存退出。

6、**【在node3操作】**

# 创建软链接
    ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

![在这里插入图片描述][858f67cdab4c49dead49fa3194375be5.png]

cd /export/server/kafka/config
    vim server.properties
    # 指定broker的id
    broker.id=3
    
    # 指定 kafka的绑定监听的地址
    listeners=PLAINTEXT://node3:9092

![在这里插入图片描述][0f8dff2dea91453aa40522dce509570e.png]

> 按`Esc`退出插入模式，输入`:wq` 保存退出。

7、启动`kafka`

# 请先确保Zookeeper已经启动了
    # 方式1：【前台启动】分别在node1、2、3上执行如下语句 （一般很少用！）
    /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties
    
    # 方式2：【后台启动】分别在node1、2、3上执行如下语句
    nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

![在这里插入图片描述][fe49313aabb6454cb4c8f7c325966fcc.png]

8、验证`Kafka`启动

# 在每一台服务器执行
    jps

![在这里插入图片描述][5b1bb5776a2943b4a8f0ec898449f842.png]

### 测试Kafka能否正常使用 ###

1、创建测试主题

# 在node1执行，创建一个主题
    /export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test

2、运行测试，请在`FinalShell`中打开2个`node1`的终端页面

# 打开一个终端页面，启动一个模拟的数据生产者
    /export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
    # 再打开一个新的终端页面，在启动一个模拟的数据消费者
    /export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

![在这里插入图片描述][4cd3bc1fd5db49ac888e7f1960800cae.png]

**左边输入，右边能同步输出，就成功啦！**

[Linux_Tomcat]: https://blog.csdn.net/weixin_43412762/article/details/129740624
[Zookeeper]: https://blog.csdn.net/weixin_43412762/article/details/129918363
[ae86e5e91ead46279fe7f4405cc5a00c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/9a6b5a779df64441b526c912114b4504.png
[a0c7da8075aa4c38ab16daca643540cd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/225ff3ab3ee04181980e449fd15b2b00.png
[1b3b8a0aaa46442c803b6bba73bca5de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/daa3c7cf944b4a17817ac3e8b27c6e70.png
[328822161c534807b4491693710c9bc2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b7b86f755aaa4952a4ed993b563dc649.png
[c0e0accdc2f9495eb22c49eb27d26323.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b21c30575ba24376ad48d65f03324abf.png
[d64f8e120c0049eb947f0750561775db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b2e7f33498b048a8a1cfa94755e50fc9.png
[532994bf773d421c8f66f207af265faf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/c4a972ef79a04e0aaad6d91a21c41762.png
[e4f6ac9539ea4d6fbc21b5f2cf495f5a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/13657138c57c476c89c6c1049b2e0ecd.png
[f894fc8af21c4dbfaacaaeb99c190208.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/09a11ffae8614995977cfdd2c98892d9.png
[5f0038248b63452681ab7a6796544362.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/fd54d4a7f79149e68abde0767391c2d7.png
[6e04b4bb449543dfb4c47796e03e0e57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2cdbabe1efde4e469c600c9e492962c3.png
[1dc970a5ab1c43eb9111e71699e71a90.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/b5de18f9eb9548e5b7285f05015d62ed.png
[f5b15ca380e3449f8ef04d295d77637e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/2f7ed6300e07451ab72f838f86fcf102.png
[41e1ceb3ceff436090c870bd87172afc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3c4ecd1013404ff38c954804932938de.png
[858f67cdab4c49dead49fa3194375be5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/87d72f2c59e24c47a68cee566b1ffcf3.png
[0f8dff2dea91453aa40522dce509570e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/df171ce64e414dbf934eaeb38380e027.png
[fe49313aabb6454cb4c8f7c325966fcc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/6b8b4a5de33448cca760ce4aa83bf20e.png
[5b1bb5776a2943b4a8f0ec898449f842.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/3b0d38c8658040768d5d43b6a5966d18.png
[4cd3bc1fd5db49ac888e7f1960800cae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/24/89d8e199b1a24cbf895912627a4622c8.png