图解RocketMQ HA同步原理

川长思鸟来 2022-12-24 05:52 130阅读 0赞

### 1. 图解同步流程 ###

当broker 启动的时候，会创建存储器，并初始化它存储器，在存储器中有个HA服务也会被创建并初始化  
在HA服务里有3个组件：

1.  AcceptSocketService组件，是个serverSocket，有个线程监听 broker 监听端口号+1 那个端口号，使用jdk nio 监听accept 事件发生，也就是接受slave broker 连接请求的，创建与slave broker连接的作用。
2.  GroupTransferService 组件，就是个看看消息同步到slave没有
3.  HAClient组件，这个就是slave连接master 的客户端。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center]  
这个时候我们分别启动master broker 与 slave broker ，同时，它们都向namesrv 进行注册，然后namesrv 会返回给它们，它们组的master ，slave地址  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 1]  
这个时候slave 就是知道master的地址了，然后HAClient这个组件就会连接 master，然后master 的AcceptSocketService组件收到连接请求之后，就会创建一个HAConnection，其实就是个连接。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 2]  
这里我们需要停下来解释一下这个HAConnection，这个其实就是slave与master连接（socketChannel， 使用了jdk selector），然后它里面有2个线程，分别是负责读事件线程与写事件线程，一个slave 连接到master 就会建立这么一个HAConnection 对象，然后在HA服务里面有一个集合维护着一堆HAConnection连接对象  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 3]  
建立好连接之后，其实slave 就要给master 发送消息了，告诉master 自己commitlog最大offset 是啥，告诉master 下次你要给我从这个offset 开始发。然后master的HAConnection里面的负责读事件的线程收到 slave给自己的offset 后，就告诉 这个写线程slave下次想要从这个offset 开始的数据，也就是你写线程下次给slave同步的时候从这个offset开始，写线程收到后，就会从这个offset 开始commitlog取数据，最多取32k数据，有个消息头，12字节，分别是这次从哪个offset 开始，带着多少数据，将消息头跟数据一块就写出去了，同时更新下本地维护的一个下次开始的offset的变量（其实就这次offset+消息长度）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 4]  
slave 收到后，开始处理了，把开始12个字节取出来，然后看看开始offset 能不能与我最大的那个对上，接着就是取出数据长度，看看剩下的数据还够不够取，不够取就再等等，下次再来走这个过程取，如果够的话，就取出来，追加到自己的commitlog中。追加完成后就发个消息告诉master我本地的offset 是多少了（其实就是个ack，告诉master你发我的消息收到了）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 5]  
到这，数据的同步流程差不多就这个样子了，其实就算是master与slave的数据一致了，没啥可同步的了，master也会每5s发一次那个消息头，带上从哪个offset 开始，然后size是0，slave 每次收到消息，都会更新一下本地维护的时间戳，不管这次有没有数据，只要头完整就行，slave 也会检查这个时间戳，超过20s更新就会任务master挂了，就会断开连接，重新与master 建立连接，其实就是心跳机制。  
好了，消息同步过程就结束了，接下来就看看消息生产者往broker 发一个消息，master与slave 是怎么同步的

### 2.图解怎样判断同步ok的 ###

当producer 发送一个消息给broker ，broker 收到消息会进行一堆校验，然后交给commitlog 进行处理，写入commitlog之后，就会进行刷盘的处理，接着就是ha同步， 如果你broker 是SYNC\_MASTER ，也就是同步，然后发送的消息也是同步消息，这个时候就要等着消息同步到slave，它就封装一个确认请求，里面带着要确认的offset（这个offset就是消息在commitlog中起始offset+消息大小），交给HA服务，然后HA服务交给这个GroupTransferService组件，接着GroupTransferService组件就不停的刷slave同步返回的那个ack，看看slave 确认的那个offset是不是大于等于你要确认的offset，刷5次，每次间隔1s，最后将结果返回给告诉提交任务的那个线程。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/21655dca0a294e4496462bcda19e29f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201127004328219.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201127005022477.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/2020112710053914.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20201127104648214.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201127105907907.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/2020112711353827.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center