Kafka 在 Linux 环境下的安装配置

快来打我* 2024-04-23 20:01 84阅读 0赞

#### Kafka安装配置(本文为在 linux 环境下安装配置Kafka) ####

1.  在官网下载好kafka的安装包(linux和windows环境下都是同一个)
2.  将文件直接上传到linux下的/opt/software/目录下（可以通过xftp或者直接拖拽）
3.  解压到/opt/module/目录下：解压命令：tar -zxvf kafka\_2.13-3.1.0.tgz -C /opt/module/ 解压并安装到指定的目录下
4.  ![在这里插入图片描述][1b6e4a2168f340b9b21c3e62299242fe.png_pic_center]
5.  可以将文件名修改为kafka(也可以不进行修改) 命令：mv kafka\_2.13-3.1.0/ kafka
6.  ![在这里插入图片描述][4bdac14a27284e8091e366f0c77ece54.png_pic_center]
7.  接下来就是进行配置：先进入到 config 目录下，配置server.properties
    
    使用命令 vim server.properties进入到该配置文件
    
    1）broker.id=0是kafka集群身份的唯一标识，切记不能重复，这里不搭建集群，所以不用修改。
    
    ![在这里插入图片描述][8d8f15aa1cc54b01aa65c8a8ead029d5.png_pic_center]
    
    2）log.dirs=/tmp/kafka-logs 是kafka里面用于存储对应数据的地方
    
    /tmp 是 linux 下的临时目录，会被定时清除，为了防止 kafka 里的数据被删除，需要修改该路径。这里修改为 log.dirs=/opt/module/kafka/datas 方便以后的管理。
    
    ![在这里插入图片描述][1390de814f2149fb99fd3b42c501c065.png_pic_center]
    
    3）zookeeper.connect=localhost:2128 这里用于单机部署。
    
    4）host.name=外网ip
    
    5）listeners=PLAINTEXT://kafka所在服务器的内网ip:9092
    
    6）advertised.listeners=PLAINTEXT://kafka所在服务器的外网ip地址:9092
    
    7）  
    ![在这里插入图片描述][7569b0718d764222ac0d09a23b605a8e.png]
8.  配置环境变量
    
    命令：sudo vim /etc/profile.d/my\_env.sh，添加以下配置
    
    ![在这里插入图片描述][be9a3e8e5ad64c9cb8bc15187853eeba.png_pic_center]
9.  启动kafka，启动之前必须先启动zookeeper(kafka的运行需要Java环境)

启动Kafka

1.  启动 kafka 之前要先启动 zookeeper , 启动命令如下：（先进入到kafka安装目录下）
    
    /opt/module/zookeeper-3.7.0/bin/zkServer.sh start![在这里插入图片描述][53ecac439fd84b4480474aa33a0eb77d.png_pic_center]
2.  启动 kafka , 命令如下：（也是先进入到kfka安装目录下）
    
    bin/kafka-server-start.sh config/server.properties![在这里插入图片描述][1a5d09e1d62f417a9da72f3d8b33c01a.png_pic_center]
    
    进入kakfa目录执行启动脚本：后台模式启动(推荐使用后台启动)  
    bin/kafka-server-start.sh -daemon config/server.properties
3.  启动Kafka Broker后，在ZooKeeper终端上键入命令 jps,效果如下：![在这里插入图片描述][fd6720ddf8a1448aa0cb2402eb208673.png_pic_center]
    
    出现 QuorumPeerMain 表示 Zookeeper 已经启动，出现 Kafka 表示 Kafka已经启动。
4.  停止 Kafka ，命令如下：
    
    bin/kafka-server-stop.sh config/server.properties
5.  停止 Zookeeper ，命令如下：
    
    /opt/module/zookeeper-3.7.0/bin/zkServer.sh stop
6.  切记：一定要先关闭 Kafka 后再关闭 Zookeeper

**下面是我使用 Kafka 的时候遇到的坑：**

1.  Kafka不能正确启动
    
    这里可能是 server.properties 配置文件没有配置好
2.  我在 SpringBoot 集成了 Kafka ，并配置好 application.properties 后，运行项目，结果项目出了问题，我查看打印的日志信息，说是error connecting … node ，我感觉可能是 server.properties 文件中某个地方没有配置好，在网上参考了别人的 server.properties 的配置后，才知道可能是 *节点需要绑定的主机名称* 没有设置。
    
    下面是我在 Socket Server Settings 新增的配置
    
    listeners=PLAINTEXT:172…(内网ip)//:9092  
    advertised.listeners=PLAINTEXT://59…(外网ip):9092
    
    后面 IDEA 的控制台终于不报错了。
3.  结果新的问题就来了，控制台开始一直打印 Kafka 的日志信息
    
    解决方案是：在日志的配置文件logbackXXX.xml中增加以下配置
    
        <logger name="org.apache.kafka.clients.consumer.internals.ConsumerCoordinator" level="OFF"/>
    
    如有不足，还请大家指正。

[1b6e4a2168f340b9b21c3e62299242fe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/3b2131d451934e78ad1aab24562a2a1f.png
[4bdac14a27284e8091e366f0c77ece54.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/ca0a14159bd64184a7bde2546b853ad8.png
[8d8f15aa1cc54b01aa65c8a8ead029d5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/8a7957d752ba40d1b75dc0d6f2bfef58.png
[1390de814f2149fb99fd3b42c501c065.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/dc298efc80ec4289bb49dd4e3b9691c3.png
[7569b0718d764222ac0d09a23b605a8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/dea55a50ee424e9f9e60b929b9e5495d.png
[be9a3e8e5ad64c9cb8bc15187853eeba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/768501f3e9b840c387714f6e4fd6b1f3.png
[53ecac439fd84b4480474aa33a0eb77d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/8e9ef976d43e4e3cbb4db68db0d95f89.png
[1a5d09e1d62f417a9da72f3d8b33c01a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/3123fb8354fd4c28971e45353cd5eacf.png
[fd6720ddf8a1448aa0cb2402eb208673.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/4fc9d0f2ce8445258c81fb689d6bfddc.png