Kafka的安装与配置

深碍√TFBOYSˉ_ 2024-04-03 09:31 26阅读 0赞

### 一 jar包方式安装Kafka ###

jar包下载地址：https://[kafka][].apache.org/downloads下载

![9f781ae6540e4c5291c1de81f6e1783c.png][]

#### 1.配置java环境 ####

1.1、上传jdk-8u341-linux-x64.tar.gz到服务器并安装：

# tar -zxf jdk-8u341-linux-x64.tar.gz

1.2.配置环境变量：

> vim /etc/profile

![0d73b3b636e2436ab0e538b217cc70e2.png][]

> \# 生效
> 
> source /etc/profile
> 
> \# 验证
> 
> java -version

![28093bae1f0e43e191c629916d967412.png][]

#### 2 Zookeeper的安装配置 ####

2.1、上传zookeeper-3.4.14.tar.gz到服务器

2.2、解压到/opt：

> tar -zxf zookeeper-3.4.14.tar.gz -C /opt
> 
> cd /opt/zookeeper-3.4.14/conf
> 
> \# 复制zoo\_sample.cfg命名为zoo.cfg
> 
> cp zoo\_sample.cfg zoo.cfg
> 
> \# 编辑zoo.cfg文件
> 
> vim zoo.cfg

2.3、修改Zookeeper保存数据的目录，dataDir：

dataDir=/var/lagou/zookeeper/data

2.4、编辑/etc/profile：

设置环境变量ZOO\_LOG\_DIR，指定Zookeeper保存日志的位置；

ZOOKEEPER\_PREFIX指向Zookeeper的解压目录；

将Zookeeper的bin目录添加到PATH中：

![52569037cdd1452c9afa528796b5405f.png][]

2.5、使配置生效：

source /etc/profile

2.6、验证：

![0c2ce7e13adc49a39083f3618bd70bb8.png][]

#### 3 Kafka的安装与配置 ####

3.1、上传kafka\_2.12-1.0.2.tgz到服务器并解压：

> tar -zxf kafka\_2.12-1.0.2.tgz -C /opt

3.2、配置环境变量并生效：

> vim /etc/profile

![a7e18b23f6324cc29858c1c8f9dfcc38.png][]

3.3、配置/opt/kafka\_2.12-1.0.2/config中的server.properties文件：

Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例，连接地址localhost:2181，后面的 kafkaDemo 是Kafka在Zookeeper中的根节点路径：

![31808d9390bd4bfc93fd98789dcffecc.png][]

3.4、启动Zookeeper：

> zkServer.sh start

3.5、确认Zookeeper的状态： ![c1e071e887454fbba43e4550a82d10f0.png][]

3.6、启动Kafka：

进入Kafka安装的根目录，执行如下命令：

> kafka-server-start.sh ../config/server.properties

![d2761d27e2c24d45895458cfe97cf896.png][]

启动成功：

![b04b3b9b6a63469b9e36852a8587c0d3.png][]

3.7、查看Zookeeper的节点：

> ./zkCli.sh
> 
> ls /kafkaDemo

3.8、此时Kafka是前台模式启动，要停止，使用Ctrl+C。

如果要后台启动，使用命令：

> kafka-server-start.sh -daemon ../config/server.properties

查看kafka进程：

> ps -ef | grep kafka

停止后台运行的kafka:

> kafka-server-stop.sh

3.9、 验证kafka是否可以正常使用

kafka-console-producer.sh用于生产消息：

> \# kafka-console-producer.sh --topic topic\_1 --broker-list localhost:9092

![689f8f4907de4275913f1188cf207263.png][]

kafka-console-consumer.sh用于消费消息：

> \# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic\_1

![c5704e7ec2984b3a944fadd09bf03eba.png][]

### 二 Docker安装Kafka ###

#### 1.docker安装zookeeper ####

1.1、拉取zookeeper镜像

> \# docker pull wurstmeister/zookeeper

1.2、启动zookeeper

> \# docker run -d --name zookeeper -p 2181:2181 -e TZ="Asia/Shanghai" --restart always wurstmeister/zookeeper

1.3、查看zookeeper的启动信息

> \# docker logs -f zookeeper

#### 2.docker安装kafka ####

2.1、拉取镜像

> \# docker pull wurstmeister/kafka

2.2、启动kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=<这里换成你的zookeeper地址和端口> -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://<这里换成你的kafka地址和端口> -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e TZ="Asia/Shanghai" wurstmeister/kafka

> 启动环境变量参数说明

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td>变量&nbsp;</td> 
   <td>描述</td> 
  </tr> 
  <tr> 
   <td>KAFKA_BROKER_ID&nbsp;</td> 
   <td>kafka集群中每个kafka都有一个BROKER_ID来区分自己</td> 
  </tr> 
  <tr> 
   <td>KAFKA_ADVERTISED_LISTENERS&nbsp;</td> 
   <td>kafka的地址和端口，用于向zookeeper注册</td> 
  </tr> 
  <tr> 
   <td>KAFKA_ZOOKEEPER_CONNECT&nbsp;</td> 
   <td>zookeeper地址</td> 
  </tr> 
  <tr> 
   <td>KAFKA_LISTENERS</td> 
   <td>kafka监听端口</td> 
  </tr> 
  <tr> 
   <td>TZ</td> 
   <td>&nbsp;容器时区改为上海</td> 
  </tr> 
 </tbody> 
</table>

2.3、验证kafka是否可以使用

docker exec -it kafka /bin/sh
    
    进入路径：/opt/kafka_2.13-2.7.0/bin下
    
    运行kafka生产者发送消息
    
    ./kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1
    
    发送消息

另打开窗口消费者消费消息

kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginning

[kafka]: https://so.csdn.net/so/search?q=kafka&spm=1001.2101.3001.7020
[9f781ae6540e4c5291c1de81f6e1783c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0a619d2b1eff4ab78f51b25bc0ce213d.png
[0d73b3b636e2436ab0e538b217cc70e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/dcc7254e2b6a49f38d73836cdac89d33.png
[28093bae1f0e43e191c629916d967412.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b77380cf95144daeb14426c3733d4910.png
[52569037cdd1452c9afa528796b5405f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a66203d04e6a488d9102eb4c5be52b99.png
[0c2ce7e13adc49a39083f3618bd70bb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/9a0c30aa935146a893059d5cac29d2ad.png
[a7e18b23f6324cc29858c1c8f9dfcc38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4d6fcc80f9e945178483a841ba68d689.png
[31808d9390bd4bfc93fd98789dcffecc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f9c4ea484c814aaa924e42fb9a7fab5b.png
[c1e071e887454fbba43e4550a82d10f0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/35db5e06daa54dea8c490ec4a4b54080.png
[d2761d27e2c24d45895458cfe97cf896.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4e896a6e0b9940a0b337fe73b2d37d6a.png
[b04b3b9b6a63469b9e36852a8587c0d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c45eb97e7bbd4b308c5efbc6b8bab565.png
[689f8f4907de4275913f1188cf207263.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e0dd727df2e7457590b795ea827a8cb3.png
[c5704e7ec2984b3a944fadd09bf03eba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/642dd06b574845afa1d7f4cf96526f0a.png