Kafka Shell基本命令（包括topic的增删改查）

女爷i 2022-04-18 02:52 139阅读 0赞

from：[https://www.cnblogs.com/xiaodf/p/6093261.html][https_www.cnblogs.com_xiaodf_p_6093261.html]

转载请注明出处：[http://www.cnblogs.com/xiaodf/][http_www.cnblogs.com_xiaodf]

*  [创建kafka topic][kafka topic]
 *  [查看所有topic列表][topic]
 *  [查看指定topic信息][topic 1]
 *  [控制台向topic生产数据][topic 2]
 *  [控制台消费topic的数据][topic 3]
 *  [查看topic某分区偏移量最大（小）值][topic 4]
 *  [增加topic分区数][topic 5]
 *  [删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除][topic_zookeeper]
 *  [查看topic消费进度][topic 6]

## 创建kafka topic ##

bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30  --replication-factor 2

**注：** partitions指定topic分区数，replication-factor指定topic每个分区的副本数

*  partitions分区数:
    
     *  partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
     *  虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
     *  分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
     *  分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。
 *  replication-factor副本
    
     *  replication factor 控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。
     *  如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量

## 查看所有topic列表 ##

bin/kafka-topics.sh --zookeeper node01:2181 --list

## 查看指定topic信息 ##

bin/kafka-topics.sh --zookeeper node01:2181 --describe --topic t_cdr

## 控制台向topic生产数据 ##

bin/kafka-console-producer.sh --broker-list node86:9092 --topic t_cdr

## 控制台消费topic的数据 ##

bin/kafka-console-consumer.sh  --zookeeper node01:2181  --topic t_cdr --from-beginning

## 查看topic某分区偏移量最大（小）值 ##

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic hive-mdatabase-hostsltable  --time -1 --broker-list node86:9092 --partitions 0

**注：** time为-1时表示最大值，time为-2时表示最小值

## 增加topic分区数 ##

为topic t\_cdr 增加10个分区

bin/kafka-topics.sh --zookeeper node01:2181  --alter --topic t_cdr --partitions 10

## 删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除 ##

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper node01:2181 --topic t_cdr

## 查看topic消费进度 ##

这个会显示出consumer group的offset情况， 必须参数为--group， 不指定--topic，默认为所有topic

Displays the: Consumer Group, Topic, Partitions, Offset, logSize, Lag, Owner for the specified set of Topics and Consumer Group

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
    
    required argument: [group] 
    Option Description 
    ------ ----------- 
    --broker-info Print broker info 
    --group Consumer group. 
    --help Print this message. 
    --topic Comma-separated list of consumer 
       topics (all topics if absent). 
    --zkconnect ZooKeeper connect string. (default: localhost:2181)
    
    Example,
    
    bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv
    
    Group           Topic              Pid Offset   logSize    Lag    Owner 
    pv              page_visits        0   21       21         0      none 
    pv              page_visits        1   19       19         0      none 
    pv              page_visits        2   20       20         0      none

分类: [Kafka系列][Kafka]

[https_www.cnblogs.com_xiaodf_p_6093261.html]: https://www.cnblogs.com/xiaodf/p/6093261.html
[http_www.cnblogs.com_xiaodf]: http://www.cnblogs.com/xiaodf/
[kafka topic]: https://www.cnblogs.com/xiaodf/p/6093261.html#1
[topic]: https://www.cnblogs.com/xiaodf/p/6093261.html#2
[topic 1]: https://www.cnblogs.com/xiaodf/p/6093261.html#3
[topic 2]: https://www.cnblogs.com/xiaodf/p/6093261.html#4
[topic 3]: https://www.cnblogs.com/xiaodf/p/6093261.html#5
[topic 4]: https://www.cnblogs.com/xiaodf/p/6093261.html#6
[topic 5]: https://www.cnblogs.com/xiaodf/p/6093261.html#7
[topic_zookeeper]: https://www.cnblogs.com/xiaodf/p/6093261.html#8
[topic 6]: https://www.cnblogs.com/xiaodf/p/6093261.html#9
[Kafka]: https://www.cnblogs.com/xiaodf/category/764562.html