Kafka的命令行操作

缺乏、安全感 2024-03-23 11:16 35阅读 0赞

### 一、topic命令 ###

下面`Windows`命令需要把`cmd`路径切换到`bin/windows`下。

而`Linux`命令只需要在控制台切换到`bin`目录下即可。

下面都以`Windows`下的操作为例，在`Linux`下也是一样的。  
![在这里插入图片描述][3294e90e61fc4c478d8563a193a797f4.png]

#### 1.1 查看主题命令的参数 ####

kafka-topics.bat		# Windows
    kafka-topics.sh			# Linux

![在这里插入图片描述][6914b1c118124a96ad3cc19c0b14e964.png]

输入以上命令就可以看到主题命令可以附加哪些参数来执行，参数有很多，这里归纳几个常用的：

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>–bootstrap-server</td> 
   <td>连接的 Kafka Broker 主机名称和端口号。</td> 
  </tr> 
  <tr> 
   <td>–topic</td> 
   <td>操作的 topic 名称。</td> 
  </tr> 
  <tr> 
   <td>–create</td> 
   <td>创建主题。</td> 
  </tr> 
  <tr> 
   <td>–delete</td> 
   <td>删除主题。</td> 
  </tr> 
  <tr> 
   <td>–alter</td> 
   <td>修改主题。</td> 
  </tr> 
  <tr> 
   <td>–list</td> 
   <td>查看所有主题。</td> 
  </tr> 
  <tr> 
   <td>–describe</td> 
   <td>查看主题详细描述。</td> 
  </tr> 
  <tr> 
   <td>–partitions &lt;Integer: # of partitions&gt;</td> 
   <td>设置分区数。</td> 
  </tr> 
  <tr> 
   <td>–replication-factor &lt;Integer: replication factor&gt;</td> 
   <td>设置分区副本。</td> 
  </tr> 
  <tr> 
   <td>–config &lt;String: name=value&gt;</td> 
   <td>更新系统默认的配置。</td> 
  </tr> 
 </tbody> 
</table>

#### 1.2 查看当前服务器中的所有 topic ####

kafka-topics.bat --bootstrap-server localhost:9092 --list

> Kafka默认在9092端口上运行

#### 1.3 创建名为test的topic ####

kafka-topics.bat --bootstrap-server localhost:9092 --create --partitions 1 --replication-factor 1 --topic test

*  `--partitions` ：指定分区数，参数要根据`broker`数和数据量决定，有几个`broker`则可以指定几个分区
 *  `--replication-factor`： 指定副本数，也有根据有几个`broker`来决定
 *  `--topic` ：指定`topic`名字

#### 1.4 查看 test主题的详情 ####

kafka-topics.bat --bootstrap-server localhost:9092 --describe --topic test

![在这里插入图片描述][505208ebe3fe45f1876b3ae35964007c.png]  
这里主要注意后面第二排参数的意义即可。

`Topic:test`：主体的名称是`test`。

`Partition`：分区编号是0，代表只有一个分区，编号从0开始

`Leader`：每个分区多个副本的主节点编号，这个在集群中才会是其它值，这里是单机模式，值等于唯一副本编号

`Replicas`：副本编号，也是从0开始。

#### 1.5 修改分区数 ####

kafka-topics.bat --bootstrap-server localhost:9092 --alter --topic test --partitions 2

> 注意：分区数只能增加，不能减少

#### 1.6 再次查看 test主题的详情 ####

kafka-topics.bat --bootstrap-server localhost:9092 --describe --topic test

#### 1.7 删除 topic ####

kafka-topics.bat --bootstrap-server localhost:9092 --delete --topic test

### 二、生产者命令 ###

下面`Windows`命令需要把`cmd`路径切换到`bin/windows`下。  
![在这里插入图片描述][b450d17c69b541aebde7cf322a700323.png]

#### 2.1 查看生产者命令的参数 ####

kafka-console-producer.bat

常用参数：

#### 2.2 发送消息 ####

主要就是要说明要连接哪个`Kafka`服务器或者集群。

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

![在这里插入图片描述][c7a54e096e3e40eea1cfd015884ed09d.png]

此时光标处就可以输入数据，输入的数据会放入本机`kafka` 服务器`test`这个主题当中。

### 三、消费者命令 ###

![在这里插入图片描述][1d88d637fa894d8fa531653c75d51c2e.png]

#### 3.1 查看消费者命令的参数 ####

kafka-console-consuer.bat

常用参数：

#### 3.2 消费消息 ####

##### 1）消费 first 主题中的数据。 #####

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

##### 2）把主题中所有的数据都读取出来（包括历史数据） #####

kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic test

### 四、使用示例 ###

这些示例都基于上面的主题`test`来进行操作。

#### 4.1 生产者生产一条数据 ####

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

![在这里插入图片描述][20e66dadbf564227a9100db2f97d4394.png]

此时输入一个`hello`数据然后回车，队列中就加入了一条数据。

#### 4.2 创建一个消费者 ####

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

![在这里插入图片描述][fefd179ffca943d9a58c4c174bddb97b.png]

发现此时并没有消费到刚才的数据。

#### 4.3 生产者再生产一个数据 ####

就是在刚才的光标下继续输入一个数据，再回车即可。  
![在这里插入图片描述][984c71867e314729b77653d7d9431d06.png]

此时再看消费者，发现消费者已经消费到了`Kafka`这条数据。

![在这里插入图片描述][b237a2100d27497db47e134092041e4b.png]

**这时候就发现了一个问题，消费者只能消费消费者出现之后的数据，之前的历史数据则不能直接被消费。**

#### 4.4 把主题中所有的数据都读取出来 ####

如果想要读取历史数据，可以选择把主题中的数据全部读取出来。

kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic test

![在这里插入图片描述][5bad5463107e48559168ceefc27b143f.png]  
执行此命令后，再来新的数据，也会被继续消费，就和普通的消费者一样。

[3294e90e61fc4c478d8563a193a797f4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/965ff007154e4fc299e6ebaa53a26c3e.png
[6914b1c118124a96ad3cc19c0b14e964.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/de85d96aefbb4484bb7c6a2e75228705.png
[505208ebe3fe45f1876b3ae35964007c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/dd4888d877ca4f5598cdb20b187a4f43.png
[b450d17c69b541aebde7cf322a700323.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/1b46fa50acd842cea66ceffc60764191.png
[c7a54e096e3e40eea1cfd015884ed09d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/9f5bf9fb0f484d0082190fd4ab176c24.png
[1d88d637fa894d8fa531653c75d51c2e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/588828fa76574c38a9647592737cdd92.png
[20e66dadbf564227a9100db2f97d4394.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/b4c63d508f9d49b69ca2ffd69b3d6cc4.png
[fefd179ffca943d9a58c4c174bddb97b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/4a468b1c15d44f3aabacd4802a88ea41.png
[984c71867e314729b77653d7d9431d06.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/39cd80407d7942668ef248e66ad270aa.png
[b237a2100d27497db47e134092041e4b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/a186e1aba4b44625a6b9ef8a119286b7.png
[5bad5463107e48559168ceefc27b143f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/67731f65c566422fb8f9a95ef4cb46a0.png