CentOS7集群安装配置Kafka教程

妖狐艹你老母 2024-04-18 09:18 154阅读 0赞

CentOS7集群安装配置Kafka教程

  • 前提
  • 集群
      • 安装
      • 验证
  • 参数

前提

  • 官网下载kafka_2.11-2.3.0.tgz
    https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka\_2.11-2.3.0.tgz
  • 已安装zookeeper：
    教程：https://blog.csdn.net/sndayYU/article/details/100537922
    三台服务器192.168.230.128:2181,192.168.230.129:2181,192.168.230.130:2181

集群

安装

1.3台服务器先单机安装
https://blog.csdn.net/sndayYU/article/details/100557137
2.分别修改3台: 安装目录/config/server.properties，检查broker.id、listeners这两个参数每台服务器是不同的

  1. # 不重复的整数，可以用ip最后一个字段----------重点
  2. broker.id=128        
  3. # 默认分区划分数，一般为节点数乘以2
  4. num.partitions=6             
  5. # --------新增到最后----------------------------
  6. # 启用删除top
  7. delete.topic.enable=true    
  8. # 默认副本数
  9. default.replication.factor=2    
  10. # 自动创建topic
  11. auto.create.topics.enable=true

3.启动3台

  1. [root@localhost /]# cd /usr/local/kafka_2.11-2.3.0/
  2. [root@localhost kafka_2.11-2.3.0]# bin/kafka-server-start.sh config/server.properties &

验证

1.128服务器创建topic

  1. [root@localhost kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --create --zookeeper 192.168.230.128:2181 --replication-factor 2 --partitions 3 --topic MY_TOPIC

2.129查看topic是否存在

  1. [root@localhost kafka_2.11-2.3.0]# ./bin/kafka-topics.sh --describe --zookeeper 192.168.230.130:2181 --topic MY_TOPIC
  2. Topic:MY_TOPIC    PartitionCount:3    ReplicationFactor:2    Configs:
  3.     Topic: MY_TOPIC    Partition: 0    Leader: 128    Replicas: 128,130    Isr: 128,130
  4.     Topic: MY_TOPIC    Partition: 1    Leader: 129    Replicas: 129,128    Isr: 129,128
  5.     Topic: MY_TOPIC    Partition: 2    Leader: 130    Replicas: 130,129    Isr: 130,129

3.xshell新建129的窗口，启动生产者，发送消息（–broker-list后面其实带一个地址就可以了）

  1. ./bin/kafka-console-producer.sh --broker-list 192.168.230.128:9092,192.168.230.129:9092,192.168.230.130:9092 --topic MY_TOPIC

4.xshell新建130的窗口，启动消费者，看是否能收到消息

  1. ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.230.128:9092  --topic MY_TOPIC --from-beginning

收到即成功，旧版本可能参数”–zookeeper ip:2181”，新版本使用kafka的地址，同样只要一个就好。

假如发现消费者无法消费消息的情况，可能是刚开始单机环境的影响，请关闭kafka、zookeeper，清除data、log文件夹，重启即可，注意zookeeper的data文件夹里myid文件不要删除了！！！

参数

log.retention.hours=168 ： 日志保留7天
其他可参考博客: https://blog.csdn.net/zhongwumao/article/details/81171143

发表评论

表情：
评论列表 （有 0 条评论，154人围观）

还没有评论，来说两句吧...

相关阅读

    相关 kafka集群版安装教程

    请参考[kafka单机版安装教程][kafka] 将kafka单机版安装教程中的1、2步骤进行三次，也就是三个节点 在每个节点文件夹的根目录下，新建log文件夹，然后配置在

    我就是我我就是我/ 0 赞/ 50 阅读

    相关 CentOS7 集群配置

    我一直以为的集群是一批服务器组成一个群体-有任务过来时快速分配，快速完成，所以在集群环境搭建好之后，我就傻眼了，为什么服务器A上Nginx启动，服务器B上Ngin

    谁践踏了优雅谁践踏了优雅/ 0 赞/ 268 阅读