Centos 7 搭建 kafka 集群

朴灿烈づ我的快乐病毒、 2022-05-27 03:42 110阅读 0赞

1. 前提条件  
1.1 已经安装 ZooKeeper,ZooKeeper集群搭建:https://blog.csdn.net/dejunyang/article/details/79874491  
1.2 已经安装 jdk 1.8或更高版本，jdk安装:https://blog.csdn.net/dejunyang/article/details/79826172  
1.3 本次安装Kafka版本2.11-1.1.0  
1.4 本次配置三台服务器,假设IP地址分别为   
192.168.174.129  
192.168.174.130  
192.168.174.131  
2. 下载  
http://kafka.apache.org/downloads  
3. 解压  
tar zxvf \*\*\*.tgz  
4. 配置  
4.1 第一台服务器配置, 192.168.174.129  
修改内容:  
log.dirs,消息持久化的位置,例如:  
log.dirs=/home/ydj/AppData/kafka-logs  
zookeeper.connect,连接ZooKeeper地址,例如:  
zookeeper.connect=192.168.174.129:2181,192.168.174.130:2181,192.168.174.131:2181  
添加内容:  
在log.retention.hours下边添加如下内容  
message.max.byte=5848576  
default.replication.factor=2  
replication.fetch.max.bytes=5848576  
4.2 第二台服务器配置, 192.168.174.130  
修改内容:  
broker.id=1  
log.dirs,消息持久化的位置,例如:  
log.dirs=/home/ydj/AppData/kafka-logs  
zookeeper.connect,连接ZooKeeper地址,例如:  
zookeeper.connect=192.168.174.129:2181,192.168.174.130:2181,192.168.174.131:2181  
添加内容:  
在log.retention.hours下边添加如下内容  
message.max.byte=5848576  
default.replication.factor=2  
replication.fetch.max.bytes=5848576  
4.3 第三台服务器配置, 192.168.174.131  
修改内容:  
broker.id=2  
log.dirs,消息持久化的位置,例如:  
log.dirs=/home/ydj/AppData/kafka-logs  
zookeeper.connect,连接ZooKeeper地址,例如:  
zookeeper.connect=192.168.174.129:2181,192.168.174.130:2181,192.168.174.131:2181  
添加内容:  
在log.retention.hours下边添加如下内容  
message.max.byte=5848576  
default.replication.factor=2  
replication.fetch.max.bytes=5848576  
5. 分别启动三台服务器的kafka服务  
5.1 启动kafka之前首先启动ZooKeeper  
5.2 启动kafka，在bin目录下执行命令  
./kafka-server-start.sh