Kafke：调整副本存储位置

迈不过友情╰ 2024-03-25 21:45 52阅读 0赞

**如何确定broker的id所在的服务器ip**

查看broker节点信息可以进入zookeeper客户端中查看：

运行zkCli.sh进入客户端。

输入ls 可以看到相关的节点。 输入 ls /broker/ids 可以看到broker数据

在生产环境中，每台服务器的配置和性能不一致，但是Kafka只会根据自己的代码规则创建对应的分区副本，就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。

**需求：**

创建一个新的topic，4个分区，两个副本，名称为test。将 该topic的所有副本都存储到broker0和broker1两台服务器上。

![6af2502284dfb02adb27c80aa9ca1327.png][]

（1）创建一个新的 topic，名称为 test。

bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --create --partitions 4 --replication-factor 2 --topic test

（2）查看分区副本存储情况。

bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --describe --topic test

（3）创建副本存储计划（所有副本都指定存储在 broker0、broker1 中）。

vim increase-replication-factor.json

输入如下内容：

{
      "version":1,
      "partitions":[{"topic":"test","partition":0,"replicas":[0,1]},
                      {"topic":"test","partition":1,"replicas":[0,1]},
                      {"topic":"test","partition":2,"replicas":[1,0]},
                      {"topic":"test","partition":3,"replicas":[1,0]}]
    }

（4）执行副本存储计划。

bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.25.129:9092 --reassignment-json-file increase-replication-factor.json --execute

（5）验证副本存储计划。

bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.25.129:9092 --reassignment-json-file increase-replication-factor.json --verify

（6）查看分区副本存储情况。

bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --describe --topic test

[6af2502284dfb02adb27c80aa9ca1327.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/de2b70a718d4452db826485159b43ffc.png