RocketMQ 源码分析——分布式事务方案

爱被打了一巴掌 2023-10-16 10:37 25阅读 0赞

#### 文章目录 ####

*  消息队列解决事务存在的问题
 *  RocketMQ的分布式事务方案
 *  RocketMQ的分布式事务案例代码
 *  分布式事务源码分析
 *   *  消息发送源码分析
     *  确认/回滚源码分析
     *  回查源码分析
 *  总结

## 消息队列解决事务存在的问题 ##

如果使用消息队列解决事务在哪个阶段向MQ发送消息？

1.  先扣款后再向RocketMQ发消息  
    先扣款再发送消息，万一发送消息超时了(MQ中有可能成功，有可能失败)，那这个状态就很难判断了
2.  先向RocketMQ发消息后再扣款  
    扣款成功消息发送成功，但是如果本地扣款业务失败了，那消息已经发给MQ了，第二阶段的加钱就会执行成功。

所以无论是哪种方案，处理起来都会有问题。

其实仔细分析下，问题的关键点，就是RocketMQ改变不了消息发送者的事务状态。所以RocketMQ的分布式事务方案进行了优化。

## RocketMQ的分布式事务方案 ##

![image.png][]

RocketMQ在分布式事务中引入了半事务及事务回查机制。

**半事务：**  
发一个消息到rocketmq，但该消息只储存在commitlog中，但consumeQueue中不可见，也就是消费端（订阅端）无法看到此消息。

**事务回查：**

RocketMq会定时遍历commitlog中的半事务消息，这个事务回查机制就可以站在 RocketMQ的角度参与消息发送者的事务中。

## RocketMQ的分布式事务案例代码 ##

![image.png][image.png 1]

这个是分布式事务的生产者，完成了半事务的发送。

通过事务回查，如果在TransactionListenerImpl类executeLocalTransaction方法中，如果本地事务执行成功，则提交commit\_message，消费端即可消费消息

![image.png][image.png 2]

如果有一些比较耗时的操作导致，不能在这个步骤确认的话，可以提交UNKNOW，交给定时的任务回查来处理

![image.png][image.png 3]

![image.png][image.png 4]

## 分布式事务源码分析 ##

从分布式事务的流程上，可以从消息发送，确认/回滚 ，回查三个方面分析。

![image.png][image.png 5]

### 消息发送源码分析 ###

**Producer**

![image.png][image.png 6]

![image.png][image.png 7]

![image.png][image.png 8]

**Broker**

RocketMQ使用Netty处理网络，broker收到消息写入的请求就会进入SendMessageProcessor类中processRequest方法。

![db14144e413b57f56c9e2dfac7cb72a8.png][]

最终进入DefaultMessageStore类中asyncPutMessage方法进行消息的存储

![image.png][image.png 9]

![image.png][image.png 10]

![image.png][image.png 11]

结合图同时结合代码，我们可以看到，在事务消息发送时，消息实际存储的主题是一个系统主题：RMQ\_SYS\_TRANS\_HALF\_TOPIC

同时消息中保存着消息的原有主题相关的信息与队列

![image.png][image.png 12]

### 确认/回滚源码分析 ###

**Producer**

DefaultMQProducerImpl类sendMessageInTransaction方法

![image.png][image.png 13]

![image.png][image.png 14]

![image.png][image.png 15]

**Broker**

![image.png][image.png 16]

EndTransactionProcessor类

![image.png][image.png 17]

![image.png][image.png 18]

![image.png][image.png 19]

### 回查源码分析 ###

**Producer**

事务回查中，Producer是服务端，所以需要注册服务处理

![image.png][image.png 20]

![image.png][image.png 21]

DefaultMQProducerImpl类checkTransactionState方法

![image.png][image.png 22]

![image.png][image.png 23]

DefaultMQProducerImpl类processTransactionState方法

![image.png][image.png 24]

![image.png][image.png 25]

![image.png][image.png 26]

![image.png][image.png 27]

**Broker**

在Broker启动的时候，是要作为客户端，定期的访问客户端做事务回查。

![b2066cb384e5382d3096669f0bceaa87.png][]

![image.png][image.png 28]

![image.png][image.png 29]

![image.png][image.png 30]

![image.png][image.png 31]

![image.png][image.png 32]

![image.png][image.png 33]

![image.png][image.png 34]

![image.png][image.png 35]

![image.png][image.png 36]

事务回查是Broker发起的一次定时的网络调用（每隔60s），所以事务回查在客户端启动的时候第一次不一定是60s的间隔，一般会小于60s（因为事务回查是broker发起的，并不是client端定时发起）

## 总结 ##

RocketMQ支持分布式事务，主要是通过两阶段提交协议实现。在第一阶段，系统发送一个prepared消息到MQ，如果这个prepared消息发送失败那么就直接取消操作别执行了。如果这个消息发送成功了，就接着执行本地事务（executeLocalTransaction），如果成功就告诉MQ发送确认消息，如果失败，就告诉MQ发送回滚消息。在第二阶段，如果发送了确认消息，那么B系统会接收到确认消息，然后执行本地事务。如果在发送确认或回滚消息失败的情况下，broker有轮询机制，根据唯一id查询本地事务状态，MQ会自动定时轮询所有prepared消息回调你的接口（checkLocalTransaction），询问这个消息是不是本地事务处理失败了，所有没有发送确认的消息，是继续重试还是回滚。

[image.png]: https://img-blog.csdnimg.cn/img_convert/3970eae4fdb6a167dde9fbd6af208e9b.png
[image.png 1]: https://img-blog.csdnimg.cn/img_convert/33d66f4e77d2d120fcca047b3a8b7aa8.png
[image.png 2]: https://img-blog.csdnimg.cn/img_convert/a625073449668f49dce969d99e5bf1a2.png
[image.png 3]: https://img-blog.csdnimg.cn/img_convert/d10f4668ed5a8dcc4122f553e739834b.png
[image.png 4]: https://img-blog.csdnimg.cn/img_convert/ee25a083acdc5bca424ee83050f4280b.png
[image.png 5]: https://img-blog.csdnimg.cn/img_convert/f6b83c2ca123767fca89f03175f19359.png
[image.png 6]: https://img-blog.csdnimg.cn/img_convert/c6a05292eb40787263a47ed76927d4d2.png
[image.png 7]: https://img-blog.csdnimg.cn/img_convert/4d449912eacd570f4c3b6b63ce7bd4e2.png
[image.png 8]: https://img-blog.csdnimg.cn/img_convert/05657befa38e727ed0f84baf1e7ec895.png
[db14144e413b57f56c9e2dfac7cb72a8.png]: https://img-blog.csdnimg.cn/img_convert/db14144e413b57f56c9e2dfac7cb72a8.png
[image.png 9]: https://img-blog.csdnimg.cn/img_convert/d768621f97125b877bdd3502395ffe66.png
[image.png 10]: https://img-blog.csdnimg.cn/img_convert/3fbaf2a0af8e263e660511d4e4bcaacc.png
[image.png 11]: https://img-blog.csdnimg.cn/img_convert/8e3c78f2e29577b3a57df43d5e40d502.png
[image.png 12]: https://img-blog.csdnimg.cn/img_convert/da3f6aed0d6a0dc2cd7a619444f50893.png
[image.png 13]: https://img-blog.csdnimg.cn/img_convert/d8698bb746fe0d5f7492a4d0bddb887f.png
[image.png 14]: https://img-blog.csdnimg.cn/img_convert/a84572b2730a6f379978b27a889c7fd1.png
[image.png 15]: https://img-blog.csdnimg.cn/img_convert/f3eaaaf9f4b9e5d9571bf982933bfcfd.png
[image.png 16]: https://img-blog.csdnimg.cn/img_convert/16236c016c891a648429879682950f5f.png
[image.png 17]: https://img-blog.csdnimg.cn/img_convert/15e9bdbef7a6b07b7e34503fb91d952e.png
[image.png 18]: https://img-blog.csdnimg.cn/img_convert/b2a9ed55ec5c210e9c8837d0e756fd2e.png
[image.png 19]: https://img-blog.csdnimg.cn/img_convert/37c52639ecd25324479faff95402653d.png
[image.png 20]: https://img-blog.csdnimg.cn/img_convert/96244389b568e34192edcc29d5325af7.png
[image.png 21]: https://img-blog.csdnimg.cn/img_convert/743d3c2e8d7119225b4ea603548a8b17.png
[image.png 22]: https://img-blog.csdnimg.cn/img_convert/82e92bd1fd1c42ee7345fabad4bc5211.png
[image.png 23]: https://img-blog.csdnimg.cn/img_convert/cc4d743be867a166c9af0f6d3b87869a.png
[image.png 24]: https://img-blog.csdnimg.cn/img_convert/a92cae64dd8620681f39abfa5ee419ff.png
[image.png 25]: https://img-blog.csdnimg.cn/img_convert/a1fc6609595f0f6a43ef28f19c09d798.png
[image.png 26]: https://img-blog.csdnimg.cn/img_convert/764c17fe7afcdbf069cc46f9ca50a6f7.png
[image.png 27]: https://img-blog.csdnimg.cn/img_convert/d25a4ababe92f85d75baaaaa5f594283.png
[b2066cb384e5382d3096669f0bceaa87.png]: https://img-blog.csdnimg.cn/img_convert/b2066cb384e5382d3096669f0bceaa87.png
[image.png 28]: https://img-blog.csdnimg.cn/img_convert/855863d4609abbe98bff542b25c6bb99.png
[image.png 29]: https://img-blog.csdnimg.cn/img_convert/f67506466753a6fe001275cc168a6742.png
[image.png 30]: https://img-blog.csdnimg.cn/img_convert/8cc7f9fca2d142abe5b7863af71a8003.png
[image.png 31]: https://img-blog.csdnimg.cn/img_convert/7b37c38913d98c794a5c80101d27c13f.png
[image.png 32]: https://img-blog.csdnimg.cn/img_convert/63a70f2333824d11bbb3b30092c6655e.png
[image.png 33]: https://img-blog.csdnimg.cn/img_convert/ea6cee7d27225e6f37ece85322da0197.png
[image.png 34]: https://img-blog.csdnimg.cn/img_convert/042d7612647a02110e61e765ba238dbe.png
[image.png 35]: https://img-blog.csdnimg.cn/img_convert/2b3303059159665f479a8e4ad6f8dc54.png
[image.png 36]: https://img-blog.csdnimg.cn/img_convert/ede325bd00514917fbeb087a31a754b2.png