Kafka的shell交互方式、创建topic、查看topic、新增topic、查看offset 05

﹏ヽ暗。殇╰゛Y 2022-02-21 13:53 461阅读 0赞

# 1. Kafka的shell交互方式 #

## 1.1 启动操作 ##

*  启动Kafka，后台方式启动

cd /export/servers/kafka/bin
    nohup ./kafka-server-start.sh ../config/server.properties &

*  停止Kafka

jps
    kill -9 xxx

## 1.2 topic操作 ##

*  **创建主题**

bin/kafka-topic.sh --create --zookeeper node01:2181,node02:2181,node03:2181 \
    --replication-factor 3 --paritions 3 \
    --topic order

*  **查看topic列表**

bin/kafka-topics.sh --zookeeper node01:2181 --list

*  **查看指定topic信息**

bin/kafka-topics.sh --zookeeper node01:2181 --describe --topic order

*  **生产消息**

bin/-console-producer.sh --broker-list node01:9092 --topic order

*  **消费消息**

bin/kafka-console-consumer.sh --zookeeper node01:2181 \
    --from-beginning \
    --topic order

*  **查看topic某分区偏移量最大（最小）值**

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic order \
    --time-1 \
    --borker-list node01：9092 \
    --partitions 0

注：time为-1时表示最大值，time为-2时表示最小值

*  **增加topic分区数**

为主题order增加10个分区

bin/kafka-topics.sh --zookeeper node01:2181 \
    --alter \
    --topic order \
    --partitons 10

*  **删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除**

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper node01:2181 \
    --topic order

*  **查看topic消费进度**

这个会显示出consumer group的offset情况，
    必须参数为--group， 不指定--topic，默认为所有topic
    Displays the: Consumer Group, Topic, Partitions, Offset, logSize, Lag, Owner for the specified set of Topics and Consumer Group

Example,
    
    bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv
    
    Group           Topic              Pid Offset   logSize    Lag    Owner 
    pv              page_visits        0   21       21         0      none 
    pv              page_visits        1   19       19         0      none 
    pv              page_visits        2   20       20         0      none