Kafka -- 环境搭建Linux(单机模式) 及常用命令

曾经终败给现在 2023-06-23 14:26 104阅读 0赞

### 依赖 ###

*  JDK8
 *  Zookeeper

自行安装JDK,不再赘述， Kafka安装包自带Zookeeper

--------------------

### Kafka下载 ###

1.  wget

wget http://archive.apache.org/dist/kafka/10.2.1/kafka_2.11-0.10.2.1.tgz
    tar -zxvf kafka_2.11-0.10.2.1.tgz

2. windows下载rz上传,kafka官网 [http://kafka.apache.org/][http_kafka.apache.org]

![20191219202740141.png][]

--------------------

### 配置 ###

1. 创建日志目录

mkdir -p /export/servers/wangaimin/logs/zookeeper
    mkdir -p /export/servers/wangaimin/logs/kafka

2. kafka配置

vim config/server.properties

Broker的id, 必须唯一
    broker.id=0
    
    监听地址及端口 
    listeners=PLAINTEXT://ip:9092
    port=9092
    
    #日志存放路径，上面创建的目录
    log.dirs=/export/servers/wangaimin/logs/kafka
    
    #zookeeper地址和端口
    zookeeper.connect=ip:2181
    
    #无此topic时，生产者生产时自动创建，不用cmd创建
    auto.create.topics.enable=true

3. zookeeper配置

vim zookeeper.properties

#服务器IP地址，修改为自己的服务器IP (貌似这两行在kafka配置里也行)
    host.name=ip
    advertised.host.name=ip
    
    #日志存放路径，上面创建的目录
    dataDir=/export/servers/wangaimin/zookeeper
    dataLogDir=/export/servers/wangaimin/logs/zookeeper
    
    #zookeeper端口
    clientPort=2181
    
    maxClientCnxns=100
    tickTime=2000
    initLimit=10
    syncLimit=5

--------------------

### 启动 ###

1. zookeeper启动 (先cd到bin目录）

./zookeeper-server-start.sh /export/servers/wangaimin/kafka_2.11-0.10.2.1/config/zookeeper.properties &

2. kafka启动

./kafka-server-start.sh /export/servers/wangaimin/kafka_2.11-0.10.2.1/config/server.properties &

--------------------

### 生产/消费 ###

1.创建Topic

./kafka-topics.sh --create --zookeeper 10.226.133.75:2181 --replication-factor 1 --partitions 1 --topic TestKafka

![20191219220313764.png][]

2. 展示已有Topic

./kafka-topics.sh --list --zookeeper localhost:2181

![20191219220428637.png][]

3. 生产消息

./kafka-console-producer.sh --broker-list 10.226.xx.xx:9092 --topic TestKafka
    
    为 topic test765 生产 500000 条消息：
    ./kafka-producer-perf-test.sh  --topic test765 --throughput  -1  --record-size 10 --num-records 500000 --producer-props bootstrap.servers=localhost:9092

![20191219220613207.png][]

4. 消费消息

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic TestKafka --from-beginning

![20191219220647723.png][]

5. topic消息数

\-time-1 表示要获取指定topic所有分区当前的最大位移，--time-2 表示获取当前最早位移。 两个命令的输出结果相减便可得到所有分区当前的消息总数。

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 10.xx.xx.75:9092 --topic test-producer --time -1

![2020010220132163.png][]

6. topic详情

./kafka-topics.sh --zookeeper 10.226.133.75:2181  --describe --topic test-producer

![20200102201127995.png][]

--------------------

### 关闭 ###

./kafka-server-stop.sh ../config/server.properties &
    ./zookeeper-server-stop.sh ../config/zookeeper.properties &

--------------------

### 删除 ###

前提：修改配置server.properties

*  delete.topic.enable=true
 *  auto.create.topics.enable = false

./kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

如果没有设置 delete.topic.enable=true，则调用kafka 的delete命令无法真正将topic删除，而是显示（marked for deletion）

--------------------

End

[http_kafka.apache.org]: http://kafka.apache.org/
[20191219202740141.png]: https://img-blog.csdnimg.cn/20191219202740141.png
[20191219220313764.png]: https://img-blog.csdnimg.cn/20191219220313764.png
[20191219220428637.png]: https://img-blog.csdnimg.cn/20191219220428637.png
[20191219220613207.png]: https://img-blog.csdnimg.cn/20191219220613207.png
[20191219220647723.png]: https://img-blog.csdnimg.cn/20191219220647723.png
[2020010220132163.png]: https://img-blog.csdnimg.cn/2020010220132163.png
[20200102201127995.png]: https://img-blog.csdnimg.cn/20200102201127995.png