图解RocketMQ HA同步原理 川长思鸟来 2022-12-24 05:52 84阅读 0赞 ### 1. 图解同步流程 ### 当broker 启动的时候,会创建存储器,并初始化它存储器,在存储器中有个HA服务也会被创建并初始化 在HA服务里有3个组件: 1. AcceptSocketService组件,是个serverSocket,有个线程监听 broker 监听端口号+1 那个端口号,使用jdk nio 监听accept 事件发生,也就是接受slave broker 连接请求的,创建与slave broker连接的作用。 2. GroupTransferService 组件,就是个看看消息同步到slave没有 3. HAClient组件,这个就是slave连接master 的客户端。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center] 这个时候我们分别启动master broker 与 slave broker ,同时,它们都向namesrv 进行注册,然后namesrv 会返回给它们,它们组的master ,slave地址 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 1] 这个时候slave 就是知道master的地址了,然后HAClient这个组件就会连接 master,然后master 的AcceptSocketService组件收到连接请求之后,就会创建一个HAConnection,其实就是个连接。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 2] 这里我们需要停下来解释一下这个HAConnection,这个其实就是slave与master连接(socketChannel, 使用了jdk selector),然后它里面有2个线程,分别是负责读事件线程与写事件线程,一个slave 连接到master 就会建立这么一个HAConnection 对象,然后在HA服务里面有一个集合维护着一堆HAConnection连接对象 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 3] 建立好连接之后,其实slave 就要给master 发送消息了,告诉master 自己commitlog最大offset 是啥,告诉master 下次你要给我从这个offset 开始发。然后master的HAConnection里面的负责读事件的线程收到 slave给自己的offset 后,就告诉 这个写线程slave下次想要从这个offset 开始的数据,也就是你写线程下次给slave同步的时候从这个offset开始,写线程收到后,就会从这个offset 开始commitlog取数据,最多取32k数据,有个消息头,12字节,分别是这次从哪个offset 开始,带着多少数据,将消息头跟数据一块就写出去了,同时更新下本地维护的一个下次开始的offset的变量(其实就这次offset+消息长度) ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 4] slave 收到后,开始处理了,把开始12个字节取出来,然后看看开始offset 能不能与我最大的那个对上,接着就是取出数据长度,看看剩下的数据还够不够取,不够取就再等等,下次再来走这个过程取,如果够的话,就取出来,追加到自己的commitlog中。追加完成后就发个消息告诉master我本地的offset 是多少了(其实就是个ack,告诉master你发我的消息收到了) ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 5] 到这,数据的同步流程差不多就这个样子了,其实就算是master与slave的数据一致了,没啥可同步的了,master也会每5s发一次那个消息头,带上从哪个offset 开始,然后size是0,slave 每次收到消息,都会更新一下本地维护的时间戳,不管这次有没有数据,只要头完整就行,slave 也会检查这个时间戳,超过20s更新就会任务master挂了,就会断开连接,重新与master 建立连接,其实就是心跳机制。 好了,消息同步过程就结束了,接下来就看看消息生产者往broker 发一个消息,master与slave 是怎么同步的 ### 2.图解怎样判断同步ok的 ### 当producer 发送一个消息给broker ,broker 收到消息会进行一堆校验,然后交给commitlog 进行处理,写入commitlog之后,就会进行刷盘的处理,接着就是ha同步, 如果你broker 是SYNC\_MASTER ,也就是同步,然后发送的消息也是同步消息,这个时候就要等着消息同步到slave,它就封装一个确认请求,里面带着要确认的offset(这个offset就是消息在commitlog中起始offset+消息大小),交给HA服务,然后HA服务交给这个GroupTransferService组件,接着GroupTransferService组件就不停的刷slave同步返回的那个ack,看看slave 确认的那个offset是不是大于等于你要确认的offset,刷5次,每次间隔1s,最后将结果返回给告诉提交任务的那个线程。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 6] [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/21655dca0a294e4496462bcda19e29f3.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201127004328219.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201127005022477.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/2020112710053914.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20201127104648214.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20201127105907907.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/2020112711353827.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW5zaGFuZ3NoZW5naHVv,size_16,color_FFFFFF,t_70#pic_center
还没有评论,来说两句吧...