CentOS7安装kafka

我就是我 2022-05-10 01:54 179阅读 0赞

根据搜集的资料安装测试并整理的文档，如有不足希望不吝赐教。

--------------------

**目录**

1、下载及解压

2、配置（&拷贝）

3、启动测试

4、彻底底删除topic

--------------------

*安装kafka之前**确保****jdk和zookeeper集群已经在服务器上部署成功**。安装方法请自行搜索或者参考：*

*[CentOS7安装JDK][CentOS7_JDK]*

*[CentOS7安装zookeeper][CentOS7_zookeeper]*

*此处以简单集群为例，单机模式测试请自行搜索。*

*下文安装以四台机器为例，内网地址为**172.17.3.205-208**。*

*安装集群时每台服务器配置基本一样，因此可以在每台机器上单独配置，也可以只在一台机器上安装好之后，使用scp命令，将文件夹拷贝到其他服务器，修改差异部分即可。*

# 1、下载及解压 #

下载地址：[http://mirrors.hust.edu.cn/apache/kafka/][http_mirrors.hust.edu.cn_apache_kafka]

![70][]

下载方法与zookeeper类似，以curl为例：

curl -O http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

下载完成后解压下载的文件到指定的目录，此处解压的位置为/usr/local目录：

tar zxf kafka_2.11-1.1.0.tgz -C /usr/local

解压完修改目录名（非必须）：

mv kafka_2.11-1.1.0 kafka

目录结构如下：

![70 1][]

# 2、配置（&拷贝） #

kafka的配置文件为kafka/config/ server.properties，使用vim命令编辑配置文件：

vim config/server.properties

在配置文件中找到以下两行并注释掉（在文本前加\#）如图：：

> \#broker.id=0
> 
> \#zookeeper.connect=localhost:2181

![70 2][]

然后在文件的底部添加如下三个配置（以172.17.3.205为例，其余看下文）：

> broker.id=1
> 
> zookeeper.connect=172.17.3.205:2181,172.17.3.206:2181,172.17.3.207:2181,172.17.3.208:2181
> 
> listeners = PLAINTEXT://172.17.3.205:9092

【说明】如果是单机版的话，默认即可，我们什么都不需要改动。现在我们是要配置集群，所以需要配置一些参数：

*  broker.id：每台机器不能一样
 *  zookeeper.connect：因为我有4台zookeeper服务器，所以在这里zookeeper.connect设置为4台，必须全部加进去
 *  listeners：在配置集群的时候，必须设置，不然以后的操作会报找不到leader的错误

另外三台服务器，zookeeper.connect的配置跟这里的一样，但是broker.id和listeners不能一样。

一台配置完成后，如果是在一台机器配置需要使用scp命令将目录拷贝到其他机器，如果分别配置则可以跳过本步。以从172.17.3.205拷贝到172.17.3.206为例，在172.17.3.205上执行scp命令如下（其余参考即可）：

scp -r /usr/local/kafka root@172.17.3.206:/usr/local/

其他机器需要修改的配置项如下：

**172.17.3.206**

> broker.id=2
> 
> zookeeper.connect=172.17.3.205:2181,172.17.3.206:2181,172.17.3.207:2181,172.17.3.208:2181
> 
> listeners = PLAINTEXT://172.17.3.206:9092

**172.17.3.207**

> broker.id=3
> 
> zookeeper.connect=172.17.3.205:2181,172.17.3.206:2181,172.17.3.207:2181,172.17.3.208:2181
> 
> listeners = PLAINTEXT://172.17.3.207:9092

**172.17.3.208**

> broker.id=4
> 
> zookeeper.connect=172.17.3.205:2181,172.17.3.206:2181,172.17.3.207:2181,172.17.3.208:2181
> 
> listeners = PLAINTEXT://172.17.3.208:9092

# 3、启动测试 #

（1）启动

启动之前需要**开启相关的端口**，每台机器都要开启。kafka通信默认是通过9092端口，也就是我们上面配的listeners。

firewall-cmd --zone=public --add-port=9092/tcp --permanent
    
    firewall-cmd --reload

或者直接关闭防火墙（参考：*[CentOS7安装zookeeper][CentOS7_zookeeper]*）。

**启动****zookeeper**，参考：*[CentOS7安装zookeeper][CentOS7_zookeeper]*。已经启动忽略

**启动****kafka**

全部机器都要启动，命令（在/usr/local/kafka/目录执行，其他位置做相应修改）：

bin/kafka-server-start.sh -daemon config/server.properties

使用jps命令检查是否启动成功，如图表示启动成功：

![70 3][]

**关闭：**如果bin目录中stop脚本不能关闭，则可以使用：

jps -l | grep 'kafka\\.Kafka'

查看kafka进程id，然后使用 kill -9 id 直接关闭kafka进程。

（2）测试

**创建****topic**（在172.17.3.205服务器/usr/local/kafka/目录执行，其他位置做相应修改）

bin/kafka-topics.sh --create --zookeeper 172.17.3.205:2181 --replication-factor 1 --partitions 1 --topic test

如果成功的话，会输出：Created topic "test".

![70 4][]

**查看****topic**

虽然在172.17.3.205上创建的topic，但是其他机器上也能看到。例如在任意启动的机器上/usr/local/kafka/目录执行命令：

bin/kafka-topics.sh --list --zookeeper 172.17.3.207:2181

这里的ip可以是205-207任意一台机器ip。因为在测试zk时手动关闭了208机器上的zk用来查看是否成功重新选举leader，所以208上的zk没有启动，因此查询ip如果为208会报错。一下截图为在208测试查询topic的截图：

![70 5][]

peoducer和consumer测试略，以下为方法。

**创建发布**

在172.17.3.205上执行创建

bin/kafka-console-producer.sh --broker-list 172.17.3.205:9092 --topic test

**创建消费**

在172.17.3.206上执行消费

bin/kafka-console-consumer.sh --bootstrap-server 172.17.3.206:9092 --topic test --from-beginning

# 4、彻底底删除topic #

**方法一**：快速配置删除法

kafka启动之前，在server.properties配置

> delete.topic.enable=true

执行命令

bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181

***注意：**如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记为marked for deletion，加上配置，重启kafka，之前的topick就真正删除了。*

**方法二**：手动删除法（不推荐）

前提：不允许更改server.properties配置

登录zookeeper客户端的命令：

zookeeper/bin/zkCli.sh

找到topic所在的目录：

ls /brokers/topics

找到要删除的topic，执行如下命令即可，此时topic被彻底删除：

rmr /brokers/topics/topic名称

删除时只需要在任意一台机器上执行即可自动同步到其他机器。

--------------------

END

[CentOS7_JDK]: https://blog.csdn.net/qq_38591756/article/details/82828907
[CentOS7_zookeeper]: https://blog.csdn.net/qq_38591756/article/details/82828993
[http_mirrors.hust.edu.cn_apache_kafka]: http://mirrors.hust.edu.cn/apache/kafka/
[70]: /images/20220510/7a037844033e45bb8530d531618b6045.png
[70 1]: /images/20220510/3dcc467d4a5f40b39498bacdf2c6f4d8.png
[70 2]: /images/20220510/466f7f732316496aa7af3349823dc05a.png
[70 3]: /images/20220510/3ff0af3ecbd044b38c720e519e07519d.png
[70 4]: /images/20220510/a3957780ca264363a273ce31445c63c2.png
[70 5]: /images/20220510/9944cec6a9324dfe94eb7f3143ec8354.png