【MQ】Rocketmq如何保证消息不丢失

比眉伴天荒 2024-02-05 14:19 52阅读 0赞

#### 文章目录 ####

*  前言
 *  一、前言
 *  二、消息什么情况会丢失？
 *  三、如何保障消息不丢失？
 *   *  3.1、生产者端
     *  3.2、Broker端
     *  3.3、消费者端
 *  四、总结

## 前言 ##

## 一、前言 ##

RocketMQ可以理解成一个特殊的存储系统，这个存储系统特殊之处数据是一般只会被使用一次，这种情况下，如何保证这个被消费一次的消息不丢失是非常重要的。本文将分析RocketMQ从哪些方面来保证消息的不丢失。

## 二、消息什么情况会丢失？ ##

由于消息从生产者，到broker,最后被消费者消费，中间最少经历了3个应用，2次rpc调用，由于rpc调用会存在成功失败外的第三种情况，因此消息会存在不可靠性。  
![在这里插入图片描述][0cdf62420a564375b46f5f090c142a8e.png]

那么，我们有哪些手段来提升消息的可靠性呢？本文将分别从生产者端，消费者端，broker端来分析保证消息不丢失的手段。

## 三、如何保障消息不丢失？ ##

### 3.1、生产者端 ###

生产者发送消息，有同步发送和异步发送到Broker。  
![在这里插入图片描述][3c61742a7ca444539a13fc8f1cc043cc.png]

我们如果对消息可靠性要求比较高，我们可以选择同步发送。在RocketMQ的客户端，同步发送自带重试机制，如果同步模式发送失败，则轮转到下一个Broker。  
在这里插入图片描述

如果重试都发送失败了怎么办呢？  
这时候我们要考虑发送失败的兜底方案-业务系统自己实现，业务系统可以将消息存储起来，使用定时任务等机制来重发消息。

### 3.2、Broker端 ###

作为Broker，他的主要职责就是将消息持久化存储起来，同时最少把消息投递到消费者端一次。  
由于消息是存在磁盘上的，因此持久化机制就会涉及到刷盘机制。RocketMQ支持同步刷盘和异步刷盘机制。  
![在这里插入图片描述][01badf33d5574b0e81a1dac583da16b4.png]

RocketMQ处理发送消息请求时默认写入缓冲区，不会立即同步落盘，通过定时5s进行刷新落盘  
SYNC\_FLUSH，同步刷盘，刷盘完成再返回给客户端，超时5s  
ASYNC\_FLUSH，异步刷盘，200ms刷新一次，性能高

上面的机制可以保证存储可靠性，Broker除了保证存储消息可靠外，broker还需要保证消息能够投递给消费者消费一次。Broker如何保证消息一定会投递给消费者呢？  
Broker端设计了重试机制。如果消息消费失败了，会将消息写到重试topic下的队列，会最大重试16次发送到消费者端。  
如果16次之后，消息还是没有消费成功，Broker端会将消息写入死信队列。  
![在这里插入图片描述][7a4240c585804bca8d1a65f791f8a06e.png]

### 3.3、消费者端 ###

消息投递到了消费者端，消费者如果消费不成功，不能给broker端返回ack。一般需要设置为手动提交ack机制，消费者消费消息不成功，不返回CONSUME\_SUCCESS，返回RECONSUME\_LATER表示需要broker再次投递该消息。  
这里需要注意的是，由于broker保证消息不丢失有重试机制，可能导致消息重复投递，因此消费者端需要做幂等性处理，一般会根据业务规则处理。

## 四、总结 ##

消息系统将不同的系统进行解耦，在提高了系统的高吞吐量和异步性能的同时，也对系统稳定性带来了挑战，消息保证可靠性不丢失就是非常关键的一个稳定性挑战，本文分别从生产者，Broker，消费者端三端来考虑对应方案来处理消息不丢失的手段。

[0cdf62420a564375b46f5f090c142a8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/40c82c9942eb476da2d9c928873a3136.png
[3c61742a7ca444539a13fc8f1cc043cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/5c4a8245c356493395b60e75232c0537.png
[01badf33d5574b0e81a1dac583da16b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/eee5793a587c4eb387f10d967bd84e0f.png
[7a4240c585804bca8d1a65f791f8a06e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/6efb8df372b94ee6afba397043ee0071.png