43 RocketMQ对百万消息积压问题的处理方案

r囧r小猫 2022-09-01 09:23 561阅读 0赞

### 业务场景： ###

在一个系统中，由生产者系统和消费者系统两个环节组成，生产者系统不停的把消息写入RocketMQ里去，然后消费者系统就负责从RocketMQ里消费消息。

该系统在生产环境的高峰期内，大概有100多万条消息进入MQ。然后消费者系统从MQ里获取消息，并依赖Redis去进行一些业务逻辑的实现。

某天在高峰期突然间出了问题，消费者系统依赖的Redis挂掉了，导致消费者系统也阻塞无法继续执行下去了。

消费者系统的阻塞停止运行，意味着不会再从RocketMQ里去消费数据和处理了。而此时的生产者系统依旧不间断往MQ里写入100多万的消息，那么这些消息都会积压在MQ里，而无法被及时消费和处理掉。

### 解决方案 ###

此时有几种解决方案，如果这些消息是允许丢失的，那么就紧急修改消费者系统的代码，在代码中对所有的消息都获取到后**直接丢弃**，也就是不做任何的处理，这样可以快速的将积压的百多万消息处理掉。这是丢弃的方案。

而如果消息是不能丢弃掉的话，就必须在消费者系统底层依赖的Redis恢复之后，根据线上Topic的MessageQueue的数量来采取相应的处理方案。

**MessageQueue众多的情况下**

假如Topic有20个MessageQueue，而目前只有4个消费者系统在消费，那么每个消费者系统会从5个MessageQueue里获取消息，所以此时仅仅依靠4个消费者系统是不能满足快速处理MQ中积压的百多万消息的。

此时可以再申请16台机器去部署16台消费者系统实例，然后20个消费者系统同时消费，每个实例消费一个MessageQueue的消息，此时的消费速度就会提高了5倍，很快就能将积压的百多万消息处理掉。

**MessageQueue等于消费者实例数量的情况下**

假如Topic有4个MessageQueue，而集群中的消费者系统也是正好4个，那么就是每个消费者系统去消费一个MessageQueue里的消息，此时就无法使用上面增加消费者实例的方案来提高消费速度了。

此时应该修改4个消费者系统的代码，让他们取到消息后不写入Redis，而是直接把消息写入一个新的Topic，这样速度就会很快了，因为只是读写MQ而已。

然后新的Topic有20个MessageQueue，再部署20台消费者实例，去消费新的Topic的消息后写入到Redis中，这样就可以快速的增加消费者系统的并行处理能力，使用一个新的Topic来允许更多的消费者系统并行处理。

发表评论取消回复

表情：

评论列表（有 0 条评论，561人围观）

还没有评论，来说两句吧...

相关阅读

相关快速处理积压消息

快速处理积压消息 * * 如何解决队列的延时以及过期失效问题？消息队列满了以后怎么处理？有几百万消息持续积压个小时，怎么解决？ * * 这里先...

痛定思痛。/ 2024年04月19日 09:00/ 0 赞/ 60 阅读

相关消息积压如何处理

问题重述大量消息在消息队列里积压了几个小时了还没解决。上线后，代码故障，新消息队列进行发送，消费者不能正常消息，导致几百万跳数据在消息队列里进行积压了好几个小时。

深藏阁楼爱情的钟/ 2023年10月11日 22:16/ 0 赞/ 44 阅读

相关如何解决消息队列几百万消息持续积压几小时的问题？踩坑三连弹

针对这个场景，通常情况都是你的消费端出了问题，不消费了，或者消费的极其极其慢。这事儿，其实线上挺常见的，一般不出，一出就是大case。出现的原因也很多，比如：消费端每次消费

r囧r小猫/ 2023年07月14日 05:54/ 0 赞/ 2 阅读

相关消息积压---一般处理方法

如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？思考 1. 是什么导致了消息积压？是consumer程序bug？是consumer消费的速度落后于消

╰+攻爆jí腚メ/ 2022年12月22日 08:47/ 0 赞/ 141 阅读

相关 MQ消息积压的解决方案

1、大量积压：如果是kafka，那么就将topic的partition增加10倍，将原来的消费者程序修改一下，写回MQ中，这样就可以快速的消费掉积压的数据。但是如果消费过程中存

た入场券/ 2022年12月04日 07:46/ 0 赞/ 276 阅读

相关 04 MQ消息积压怎么处理

消息积压你是怎么处理的？设计系统时，要保证消费端的消费性能要高于生产者的发送性能，这样系统才能健康持续运行。消息积压产生的原因有2种：第一是消息生产速度过快，另一

墨蓝/ 2022年11月26日 01:57/ 0 赞/ 172 阅读

相关 RabbitMQ--消息堆积/消息积压--解决/处理/方案--消息异常

原文网址：[RabbitMQ--消息堆积/消息积压--解决/处理/方案--消息异常\_IT利刃出鞘的博客-CSDN博客][RabbitMQ--_--_--_IT_-CSDN]

灰太狼/ 2022年09月14日 00:23/ 0 赞/ 274 阅读

相关 43 RocketMQ对百万消息积压问题的处理方案

业务场景：在一个系统中，由生产者系统和消费者系统两个环节组成，生产者系统不停的把消息写入RocketMQ里去，然后消费者系统就负责从RocketMQ里消费消息。该系

r囧r小猫/ 2022年09月01日 09:23/ 0 赞/ 562 阅读

相关 ActiveMQ处理积压的消息

如果消费者变为慢速消费者，那么后面可能会导致消息积压，导致生产者速度也变慢，甚至停止。我们可以配置消息的过期时间，并设置消息过期丢弃策略，以及使用死信队列来处理消息的积压。

小咪咪/ 2022年02月02日 11:21/ 0 赞/ 393 阅读

相关 Java面试题：如何解决几百万消息持续积压几小时？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhp

亦凉/ 2022年01月28日 08:39/ 0 赞/ 177 阅读