CentOS7集群安装配置Kafka教程

妖狐艹你老母 2024-04-18 09:18 75阅读 0赞

### CentOS7集群安装配置Kafka教程 ###

*  前提
 *  集群
 *   *   *  安装
         *  验证
 *  参数

# 前提 #

*  官网下载kafka\_2.11-2.3.0.tgz  
    https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka\_2.11-2.3.0.tgz
 *  已安装zookeeper：  
    教程：https://blog.csdn.net/sndayYU/article/details/100537922  
    三台服务器192.168.230.128:2181,192.168.230.129:2181,192.168.230.130:2181

# 集群 #

### 安装 ###

1.3台服务器先单机安装  
https://blog.csdn.net/sndayYU/article/details/100557137  
2.分别修改3台: 安装目录/config/server.properties，检查broker.id、listeners这两个参数每台服务器是不同的

# 不重复的整数，可以用ip最后一个字段----------重点
    broker.id=128        
    # 默认分区划分数，一般为节点数乘以2
    num.partitions=6             
    # --------新增到最后----------------------------
    # 启用删除top
    delete.topic.enable=true	
    # 默认副本数
    default.replication.factor=2	
    # 自动创建topic
    auto.create.topics.enable=true

3.启动3台

[root@localhost /]# cd /usr/local/kafka_2.11-2.3.0/
    [root@localhost kafka_2.11-2.3.0]# bin/kafka-server-start.sh config/server.properties &

### 验证 ###

1.128服务器创建topic

[root@localhost kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --create --zookeeper 192.168.230.128:2181 --replication-factor 2 --partitions 3 --topic MY_TOPIC

2.129查看topic是否存在

[root@localhost kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --describe --zookeeper 192.168.230.130:2181 --topic MY_TOPIC
    Topic:MY_TOPIC	PartitionCount:3	ReplicationFactor:2	Configs:
    	Topic: MY_TOPIC	Partition: 0	Leader: 128	Replicas: 128,130	Isr: 128,130
    	Topic: MY_TOPIC	Partition: 1	Leader: 129	Replicas: 129,128	Isr: 129,128
    	Topic: MY_TOPIC	Partition: 2	Leader: 130	Replicas: 130,129	Isr: 130,129

3.xshell新建129的窗口，启动生产者，发送消息（–broker-list后面其实带一个地址就可以了）

./bin/kafka-console-producer.sh --broker-list 192.168.230.128:9092,192.168.230.129:9092,192.168.230.130:9092 --topic MY_TOPIC

4.xshell新建130的窗口，启动消费者，看是否能收到消息

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.230.128:9092  --topic MY_TOPIC --from-beginning

收到即成功，旧版本可能参数"–zookeeper ip:2181"，新版本使用kafka的地址，同样只要一个就好。

> 假如发现消费者无法消费消息的情况，可能是刚开始单机环境的影响，请关闭kafka、zookeeper，清除data、log文件夹，重启即可，注意zookeeper的data文件夹里myid文件不要删除了！！！

# 参数 #

log.retention.hours=168 ： 日志保留7天  
其他可参考博客: https://blog.csdn.net/zhongwumao/article/details/81171143