Kafka之修改分区和副本数|第二章-yellowcong

﹏ヽ暗。殇╰゛Y 2022-03-07 07:08 553阅读 0赞

> 这个章节 主要讲解了broker 如何进行扩容的操作，以及查看topic的信息。

kafka的概念  
broker:每一个kafka节点，算是一个broker,kafka是一个去中心化的分布式的消息队列系统  
topic:Kafka处理资源的消息源(feeds of messages)的不同分类  
partitions:Topic物理上的分组，一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个 有序的Id(offset)，partitions和consumer的关系是多对一的关系，一个partitions 只能被一个consumer 消费，当consumer的数量大于partitions的数量的时候，就会有空闲的consumer  
replicas：partitions的副本数,最少副本数设置为2，如果消息比较重要，可以设置为3以上。

## broker 信息 ##

![在这里插入图片描述][20190316142322959.png]

## topic信息 ##

#查看topic
    kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
    
    # 查看分区信息
    kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic ba_spam_content
    
    
    #更新topic的分区数量
    kafka-topics.sh --zookeeper 127.0.0.1:2181 -alter --partitions 3 --topic ba_spam_content
    
    # 查看topic test_demo的信息 
    kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test_demo
    
    # 指定副本数 和分区的情况
    kafka-topics.sh --create --replication-factor 3 --partitions 3 --topic test_demo --zookeeper localhost:2181

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70]

当我们创建的3分区，3副本的topic ，看到topic 自己很均匀的分配到了三台机器上了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 1]

## 配置副本数 ##

创建配置文件 increase-replication-factor.json， 这个配置文件说明，

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>topic</td> 
   <td>哪一个topic</td> 
  </tr> 
  <tr> 
   <td>partition</td> 
   <td>指定哪个分区</td> 
  </tr> 
  <tr> 
   <td>replicas</td> 
   <td>指定broker-id ,这个是server.properties配置文件里面配置的broker.id 这个字段。</td> 
  </tr> 
 </tbody> 
</table>

{ 
    	"partitions": [{ 
    			"topic": "ba_spam_content",
    			"partition": 0,
    			"replicas": [1, 2]
    		},
    		{ 
    			"topic": "ba_spam_content",
    			"partition": 1,
    			"replicas": [0, 2]
    		},
    		{ 
    			"topic": "ba_spam_content",
    			"partition": 2,
    			"replicas": [1, 0]
    		}
    	],
    	"version": 1
    }

可以看到，单机的情况，replicas 只在0这个broke上。  
![在这里插入图片描述][20190316140556351.png]

开始设置副本数

./bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file  increase-replication-factor.json --execute  
    
    #查看副本情况
    ./bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file  increase-replication-factor.json --verify
    
    
    # 查看分区信息
    kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic ba_spam_content

验证设置的结果情况，可以看到，我们的结果非常好，都成功了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 2]  
后面可以看到配置很OK，看到有备份信息了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 3]

## 常见问题 ##

### 1. leader重启后，值为-1 ###

![在这里插入图片描述][20190722111814418.png]  
登陆zookkper 查看test这个节点得state信息

#查看state得信息
    get /brokers/topics/test/partitions/0/state 
    
    #修改状态信息
    set /brokers/topics/test/partitions/0/state  { "controller_epoch":17,"leader":0,"version":1,"leader_epoch":8,"isr":[0]}

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 4]

修改状态信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 5]  
再次查看topic得分区信息，可以看到恢复正常了。  
![在这里插入图片描述][20190722113027906.png]

### 2. \[test,0\] from OfflinePartition to OnlinePartition failed (state.change.logger) ###

重启kafka后，就报错，说存在离线得partition 信息。  
![在这里插入图片描述][20190722115509786.png]

kafka-preferred-replica-election.sh  --zookeeper 127.0.0.1:2181

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 6]

## 参考文章 ##

https://www.jianshu.com/p/64b32a2fd998  
https://blog.csdn.net/lzufeng/article/details/81743521  
https://blog.csdn.net/sduboma/article/details/83831539

[20190316142322959.png]: /images/20220307/e4ca0471b419483cac2cf0e655204728.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70]: /images/20220307/a24bc45baa284bb8b2e5c79e2cb6564a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 1]: /images/20220307/c25ce6834b294ea3929147b7424752ba.png
[20190316140556351.png]: /images/20220307/cdf45e8384084d79965e44df0ffaeff4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 2]: /images/20220307/ed873828cad4410182add5f5aa431449.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 3]: /images/20220307/e7cb36d1e3014b15a6d306bf5fcd1c19.png
[20190722111814418.png]: /images/20220307/77fda7fe5d3d48b88397b2dbced2b7e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 4]: /images/20220307/2ef7439ca6774b86adb2710a0d17156e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 5]: /images/20220307/ebe1801a5c9748c58d19dc7dd8fcf405.png
[20190722113027906.png]: /images/20220307/b92ba59e63804637abf9d4d193d760f4.png
[20190722115509786.png]: /images/20220307/06eca272eb0a4ba78f2b6f0d9b072933.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llbGxsb3djb25n_size_16_color_FFFFFF_t_70 6]: /images/20220307/6ae76774261841d8b07fcef15e026b87.png