centos7搭建zookeeper和kafka集群，kafka学习二

灰太狼 2021-05-10 11:13 717阅读 0赞

> Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。

## 1.环境准备 ##

> ZooKeeper是一个分布式服务框架，是Google Chubby一个开源实现，它是一个为分布式应用提供一致性服务的软件，提供的功能包括：分布式同步、统一命名服务、状态同步服务、集群管理、分布式应用配置项管理等。

*  ZooKeeper是安装kafka集群的必要组件，kafka通过ZooKeeper实现对元数据信息的管理，包括集群、broker、topic、partition等，所以要创建kafka集群需要先安装ZooKeeper。
 *  ZooKeeper集群的工作是超过半数才能对外提供服务，比如3台中超过两台则为超过半数，允许1台挂掉。集群可使用2\*n+1台搭建，所以我们准备三台虚拟机。

2 先在一台虚拟机上准备好，然后克隆两台，同时修改ZooKeeper的配置。

192.168.211.137
    192.168.211.139
    192.168.211.140

3.jdk，安装openjdk1.8

yum install -y java-1.8.0-openjdk

![在这里插入图片描述][20200618120102595.png]

## 2.zookeeper集群 ##

1.下载zookeeper  
创建文件夹

mkdir /opt/zookeeper
    mkdir /opt/zookeeper/zkdata
    mkdir /opt/zookeeper/zkdatalog

2.在opt/zookeeper目录下下载zookeeper，如果不存在自行下载，地址：http://mirrors.hust.edu.cn/apache/zookeeper/

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
    #解压文件
    tar -zxvf zookeeper-3.4.14.tar.gz
    #进入zookeeper的conf目录下，复制一份配置文件
    cd /zookeeper-3.4.14/conf
    cp zoo_sample.cfg zoo.cfg

3.编辑zoo.cfg

vim zoo.cfg

添加以下内容：

#心跳间隔
    tickTime=2000
    #其他服务器连接到Leader时，最长能忍受的心跳间隔数：10*2000 = 20秒
    initLimit=10
    #发送消息时，多长忍受心跳间隔数：5*2000 = 10秒
    syncLimit=5
    #快照日志
    dataDir=/opt/zookeeper/zkdata
    #事务日志
    dataLogDir=/opt/zookeeper/zkdatalog
    #zookeeper服务器的端口
    clientPort=2181
    #对应的server.x=0.0.0.0:2888:3888，其他两个ip为另外两台机器，克隆虚拟机时需要记得修改成0.0.0.0
    server.1=0.0.0.0:2888:3888
    server.2=192.168.211.139:2888:3888
    server.3=192.168.211.140:2888:3888

4.克隆虚拟机，如果你已经有多台机器，可跳过此步  
![在这里插入图片描述][20200618135641885.png]  
5.创建myid文件，对应配置文件里的server.1、server.2、server.3  
进入zookeeper目录下执行

#server1
    echo "1" > /zkdata/myid
    #server2
    echo "2" > /zkdata/myid
    #server3
    echo "3" > /zkdata/myid

6.进入zookeeper的bin目录，启动zookeeper  
三台机器，都要启动

./zkServer.sh start

查看状态：

./zkServer.sh status

![在这里插入图片描述][20200618140116922.png]  
停止执行：

./zkServer.sh stop

如果报错，查看日志，在bin目录的zookeeper.out文件

tail -f 100 zookeeper.out

## 3.kafka集群 ##

1.创建文件夹

mkdir /opt/kafka

2.在/opt/kafka下载，链接无效请自行下载[https://mirrors.aliyun.com/apache/kafka][https_mirrors.aliyun.com_apache_kafka]

wget https://mirrors.aliyun.com/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz

3.解压

tar -zxvf kafka_2.11-2.3.0

4.修改配置文件

vim /kafka_2.11-2.3.0/config/server.properties

添加如下配置

#分别对应每台虚拟机1，2，3
    broker.id=1
    #所在虚拟机ip
    listeners=PLAINTEXT://192.168.211.137:9092
    #所在虚拟机ip
    advertised.listeners=PLAINTEXT://192.168.211.137:9092
    #zookeeper集群地址
    zookeeper.connect=192.168.211.137:2181,192.168.211.139:2181,192.168.211.140:2181

5.启动kafka

./bin/kafka-server-start.sh -daemon ./config/server.properties

查看当前是否有kafka进程

jps -l

如果没有启动或者报错，可以查看日志文件

tail -fn 100 logs/server.log

6.停止kafka服务

./bin/kafka-server-stop.sh

7.创建topic名为kafka1，如果创建成功，则kafka搭建成功

./bin/kafka-topics.sh --create --zookeeper 192.168.211.137:2181,192.168.211.139:2181,
    192.168.211.140:2181 --replication-factor 3 --partitions 3 --topic kafka1

参数解析：

replication-factor 3  复制3份
    
    partitions 3 创建3个分区
    
    topic 主题名为kafka1

8.查看所有的topic

bin/kafka-topics.sh --zookeeper 192.168.211.137:2181 --list

![在这里插入图片描述][2020061815205297.png]  
9.查看topic的信息

bin/kafka-topics.sh --zookeeper 192.168.211.137:2181 --describe --topic kafka1

![在这里插入图片描述][20200618152220819.png]  
10.删除kafka的topic

bin/kafka-topics.sh --delete --zookeeper 192.168.211.137:2181 --topic kafka1

## 4.产生消息与消费消息 ##

1.产生消息

单机

bin/kafka-console-producer.sh --broker-list 192.168.211.137:9092 --topic kafka1

集群

bin/kafka-console-producer.sh --broker-list 192.168.211.137:9092,192.168.211.139:9092,\
    192.168.211.140:9092 --topic kafka1

![在这里插入图片描述][20200618160704182.png]  
2.消费消息  
单机

bin/kafka-console-consumer.sh --bootstrap-server 192.168.211.137:9092 --from-beginning --topic kafka1

集群，其中 --from-beginning 从第一个消息开始消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.211.137:9092,192.168.211.139:9092,\
    192.168.211.140:9092 --topic kafka1 --from-beginning

![在这里插入图片描述][20200618160649912.png]

[20200618120102595.png]: /images/20210505/7d9cd80e706e45859f1319148a485819.png
[20200618135641885.png]: /images/20210505/1f70469ef98a4ae2b531ab2d6ce090fa.png
[20200618140116922.png]: /images/20210505/ea46a6db07c7452782a36775e52e2642.png
[https_mirrors.aliyun.com_apache_kafka]: https://mirrors.aliyun.com/apache/kafka
[2020061815205297.png]: /images/20210505/1a96f35acfe84c98bdbaf424cd651735.png
[20200618152220819.png]: /images/20210505/887649f5afbb4e2d86b6bbb4a9c3cdd3.png
[20200618160704182.png]: /images/20210505/4952f147cf3e42e3b6c28f80eff13e4f.png
[20200618160649912.png]: /images/20210505/d757dda234514d419d075b2f6bcd1807.png