kafka安装与集群

墨蓝 2022-05-24 00:29 234阅读 0赞

# 一、准备 #

#### 1、安装zookeeper集群 ####

参照：[zookeeper安装与集群配置][zookeeper]

#### 2、下载kafka ####

1.  官方下载：[kafka\_2.11-1.1.0.tgz][kafka_2.11-1.1.0.tgz]
2.  linux命令下载：`wget 'http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz'`
3.  网盘下载：链接：[https://pan.baidu.com/s/1ASx0OQ6b2UgeGl5eOdw7rQ][https_pan.baidu.com_s_1ASx0OQ6b2UgeGl5eOdw7rQ] 密码：y0mx

# 二、kafka单节点安装 #

kafka自带zookeeper，单节点使用自带的zookeeper。

tar -xzf kafka_2.11-1.1.0.tgz #解压缩
    cd kafka_2.11-1.1.0
    ./bin/zookeeper-server-start.sh config/zookeeper.properties # 启动自带的zookeeper
    ./bin/kafka-server-start.sh config/server.properties & # 启动kafka

至此，kafka的单节点安装与启动就完成了，可以在终端使用命令进行简单操作：

# 创建一个名称为test的主题
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    # 查看所有主题
    bin/kafka-topics.sh --list --zookeeper localhost:2181

现在开两个终端，分别生产消息、消费消息，生产消息终端：

# 往test发送消息
    > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    This is a message
    This is another message

启动消费者终端就可以看前面发送的消息

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    This is a message
    This is another message

# 三、kafka集群 #

1、启动zookeeper集群  
参照：[zookeeper安装与集群配置][zookeeper]  
2、分别在3台（多台）机器上安装kafka

3、编辑配置文件

cd kafka_2.11-1.1.0
    vim ./config/server.properties 
    # 编辑配置文件 server.properties 
    broker.id=0 # 指定broker.id，不同的服务器，broker.id不同
    zookeeper.connect=192.168.238.131:2181,192.168.238.132:2181,192.168.238.133:2181

[zookeeper]: https://blog.csdn.net/qq_37502106/article/details/80299941
[kafka_2.11-1.1.0.tgz]: http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
[https_pan.baidu.com_s_1ASx0OQ6b2UgeGl5eOdw7rQ]: https://pan.baidu.com/s/1ASx0OQ6b2UgeGl5eOdw7rQ