kafka环境搭建

落日映苍穹つ 2022-02-01 00:43 435阅读 0赞

一、安装环境要求

1、安装java

Kafka和zoopeeper都需要安装java环境，且推荐至少java7及以上版本’

2、安装zookeeper

Zookeeper是kafka集群的必要组件，kafka安装包已经集成了zookeeper，这里选择单独安装zookeeper

3、安装kafka

Kafka版本包括使用的scala语言版本和kafka版本，不同版本功能区别还是很大的，有些版本重写了produce和consumer，目前比较稳定的就是kafka1.0.0。

二、安装

1、java

这里选择安装1.8版本的java，从官网下载安装，步骤比较简单，linux机器也可以通过wget命令获取安装包

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm

no-check-certificate参数用于禁止检查证书

no-cookies用于禁用cookie

header用于设置请求头信息

wget方式会非常慢，建议还是官网注册账号下载比较快。

在/usr目录下新建java目录，将上传的tar包解压缩到该目录。

![20190512221709741.png][]

设置环境变量：

vim /etc/profile

![20190512221733598.png][]

使环境变量生效：

source /etc/profile

检查java是否安装成功：

java -version

![20190512221807661.png][]

2、zookeeper

官网下载zookeeper：[http://mirror.bit.edu.cn/apache/zookeeper/][http_mirror.bit.edu.cn_apache_zookeeper]，上传到虚拟机解压缩。

创建 /home/user/zk用于存储zookeeper数据：

mkdir -p /home/user/zk

然后编辑conf/zoo.cfg，即复制zoo\_sample.cfg修改

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5dXh1MzQyNzE5_size_16_color_FFFFFF_t_70][]

然后启动zk：

./bin/zkServer.sh start

![20190512221907341.png][]

通过telnet命令连接2181端口，用srvr命令查看zk的服务器状态信息。

![2019051222191792.png][]

3、kafka

从官网下载kafka安装包：[http://kafka.apache.org/downloads][http_kafka.apache.org_downloads]，这里选择1.0.0.1版本的安装包

解压缩包，并创建kafka数据保存目录：

mkdir -p /home/work/kafka/data-logs

然后打开config目录下的server.properties文件，修改日志目录为刚刚创建的目录:

![20190512222755973.png][]

然后启动kafka：

./bin/kafka-server-start.sh config/server.properties

如果要后台启动使用如下命令：

./bin/kafka-server-start.sh -daemon config/server.properties

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5dXh1MzQyNzE5_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5dXh1MzQyNzE5_size_16_color_FFFFFF_t_70 2][]

4、验证kafka

1）创建topic，创建名为test的topic，分区数1，副本1

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1

![20190512224110918.png][]

2）查看topic的状态

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

![20190512224129458.png][]

3）发送消息

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

![20190512224148363.png][]

4）消费消息

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

参数from-beginning表示从第一条消息开始读取

![20190512224209743.png][]

5、多节点环境安装

多节点kafka集群是由一套多节点zk集群和多节点kafka集群组成。一般zk需要部署奇数台，基于zk的选举策略，偶数台服务器会浪费一台。常见的是5台，这里为了测试部署3台。

[20190512221709741.png]: /images/20220201/198cdc702bfd43f78e1edcb3dae4bbd5.png
[20190512221733598.png]: /images/20220201/afaab27c2cb242a5a833e3ad7a6e7cb2.png
[20190512221807661.png]: /images/20220201/cf8d6d4637ea4f0c8fbaffa8e3e47524.png
[http_mirror.bit.edu.cn_apache_zookeeper]: http://mirror.bit.edu.cn/apache/zookeeper/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5dXh1MzQyNzE5_size_16_color_FFFFFF_t_70]: /images/20220201/870b2b50a02b418facc84346a60dd8d3.png
[20190512221907341.png]: /images/20220201/fc9d0300fcf84722b8c1484d1efe4911.png
[2019051222191792.png]: /images/20220201/2afa839c2aa145ef990833c047553c1b.png
[http_kafka.apache.org_downloads]: http://kafka.apache.org/downloads
[20190512222755973.png]: /images/20220201/5af0741cd5154c87a0df327766fca583.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5dXh1MzQyNzE5_size_16_color_FFFFFF_t_70 1]: /images/20220201/754fa411087141e08f360fc9d2a2fde0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5dXh1MzQyNzE5_size_16_color_FFFFFF_t_70 2]: /images/20220201/44a3d667ba544ad587248eb32a3cd282.png
[20190512224110918.png]: /images/20220201/7831ca4e066a418cbb9ca6eca80671c3.png
[20190512224129458.png]: /images/20220201/0a38ac44d5904c1fad4a9a1e047cdf0a.png
[20190512224148363.png]: /images/20220201/91381c5a1f6648a0885c0c5f9b2507d0.png
[20190512224209743.png]: /images/20220201/bc27c8ddaa534f0395f0e14558602270.png