完了！生产事故！几百万消息在消息队列里积压了几个小时！

心已赠人 2022-04-23 02:26 138阅读 0赞

![20190123105142148.png][]

> 作者：中华石杉  
> 来源：[https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/mq-time-delay-and-expired-failure.md][https_github.com_doocs_advanced-java_blob_master_docs_high-concurrency_mq-time-delay-and-expired-failure.md]

**一、面试题**

如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？

**二、面试官心里分析**

你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了，或者消费的极其极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是整个这就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比如rabbitmq设置了消息过期时间后就没了怎么办？

所以就这事儿，其实线上挺常见的，一般不出，一出就是大case，一般常见于，举个例子，消费端每次消费之后要写mysql，结果mysql挂了，消费端hang那儿了，不动了。或者是消费端出了个什么叉子，导致消费速度极其慢。

**三、面试题分析**

关于这个事儿，我们一个一个来梳理吧，先假设一个场景，我们现在消费端出故障了，然后大量消息在mq里积压，现在事故了，慌了

**1、大量消息在mq里积压了几个小时了还没解决**

几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。

这个是我们真实遇到过的一个场景，确实是线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不能在面试的时候说吧。

一个消费者一秒是1000条，一秒3个消费者是3000条，一分钟是18万条，1000多万条。

所以如果你积压了几百万到上千万的数据，即使消费者恢复了，也需要大概1小时的时间才能恢复过来。

一般这个时候，只能操作临时紧急扩容了，具体操作步骤和思路如下：

（1）先修复consumer的问题，确保其恢复消费速度，然后将现有cnosumer都停掉；

（2）新建一个topic，partition是原来的10倍，临时建立好原先10倍或者20倍的queue数量；

（3）然后写一个临时的分发数据的consumer程序，这个程序部署上去消费积压的数据，消费之后不做耗时的处理，直接均匀轮询写入临时建立好的10倍数量的queue；

（4）接着临时征用10倍的机器来部署consumer，每一批consumer消费一个临时queue的数据；

（5）这种做法相当于是临时将queue资源和consumer资源扩大10倍，以正常的10倍速度来消费数据；

（6）等快速消费完积压数据之后，得恢复原先部署架构，重新用原先的consumer机器来消费消息；

![在这里插入图片描述][20190123111428782.png]

**2、这里我们假设再来第二个坑**

假设你用的是rabbitmq，rabbitmq是可以设置过期时间的，就是TTL，如果消息在queue中积压超过一定的时间就会被rabbitmq给清理掉，这个数据就没了。那这就是第二个坑了。这就不是说数据会大量积压在mq里，而是大量的数据会直接搞丢。

这个情况下，就不是说要增加consumer消费积压的消息，因为实际上没啥积压，而是丢了大量的消息。我们可以采取一个方案，就是批量重导，这个我们之前线上也有类似的场景干过。就是大量积压的时候，我们当时就直接丢弃数据了，然后等过了高峰期以后，比如大家一起喝咖啡熬夜到晚上12点以后，用户都睡觉了。

这个时候我们就开始写程序，将丢失的那批数据，写个临时程序，一点一点的查出来，然后重新灌入mq里面去，把白天丢的数据给他补回来。也只能是这样了。

假设1万个订单积压在mq里面，没有处理，其中1000个订单都丢了，你只能手动写程序把那1000个订单给查出来，手动发到mq里去再补一次。

**3、然后我们再来假设第三个坑**

如果走的方式是消息积压在mq里，那么如果你很长时间都没处理掉，此时导致mq都快写满了，咋办？这个还有别的办法吗？没有，谁让你第一个方案执行的太慢了，你临时写程序，接入数据来消费，消费一个丢弃一个，都不要了，快速消费掉所有的消息。然后走第二个方案，到了晚上再补数据吧。

另外，大家有什么好的想法，欢迎留言补充哦！

**热门内容：**

1、[为什么阿里巴巴不建议在for循环中使用"+"进行字符串拼接?][for]

2、[IDEA已经18岁了！这个好用的插件应该告诉你了！][IDEA_18]

3、[GitHub竟然还可以这样玩？涨知识了！][GitHub]

4、[阿里分布式事务框架GTS开源啦！][GTS]

5、[程序员：平时的你 vs 面试的你！][vs]

6、[一场近乎完美基于Dubbo的微服务改造实践][Dubbo]

7、[你还在 SELECT \* 吗？][SELECT _]

8、[困扰多年的Java泛型解惑之 extends T>和 super T>][Java_ extends T_ super T]

![在这里插入图片描述][20190602133102112.png]

[【视频福利】2T免费学习视频，搜索或扫描上述二维码关注微信公众号：Java后端技术（ID: JavaITWork）回复：**1024**，即可免费获取！内含SSM、Spring全家桶、微服务、MySQL、MyCat、集群、分布式、中间件、Linux、网络、多线程，Jenkins、Nexus、Docker、ELK等等免费学习视频，持续更新！][2T_Java_ID_ JavaITWork_1024_SSM_Spring_MySQL_MyCat_Linux_Jenkins_Nexus_Docker_ELK]

[20190123105142148.png]: /images/20220323/f6f734e4292a42ffa4c3ba5cba073486.png
[https_github.com_doocs_advanced-java_blob_master_docs_high-concurrency_mq-time-delay-and-expired-failure.md]: https://github.com/doocs/advanced-java/blob/master/docs/high-concurrency/mq-time-delay-and-expired-failure.md
[20190123111428782.png]: /images/20220323/cbb4ad9c5586441fbefe60b7377462a8.png
[for]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247488211&idx=1&sn=d97394eb70cf123e6fa6deb694ea6524&chksm=e9c5eb62deb26274fbbc00793d8ddb4c3a2d2ddf327b4c325f0842ede9a66c3612d53c1d4a11&scene=21#wechat_redirect
[IDEA_18]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247488184&idx=1&sn=ff7c040e3759c7f3f3043fd41f2773d3&chksm=e9c5eb09deb2621fa592fc15603423c1ca93f07ddcc1dd8b1148768e8a20c27f744552c6f5c2&scene=21#wechat_redirect
[GitHub]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247488178&idx=1&sn=e3ce56a7c0088f36aa05a14f732a5822&chksm=e9c5eb03deb262157807b1d50f34353f87b49dc519351350da074dde2c84a17e955235e70489&scene=21#wechat_redirect
[GTS]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247488135&idx=1&sn=f8844d0073a9b9fbd962f9c63afc00d7&chksm=e9c5eb36deb262209fb1b93f8d4f4760189e3f6f840c8496780fb3c6ab549d1fb26e1cf13192&scene=21#wechat_redirect
[vs]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247488177&idx=1&sn=807ee6b009fd6a9d45d2eea237a97048&chksm=e9c5eb00deb262162278a5fc59c6f49048fcec5def4a07eeecd5ec454c84f34d3c6d0245d244&scene=21#wechat_redirect
[Dubbo]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=2247488159&idx=1&sn=1d5f9bc23d0468bcf6b01d6bc8dfb76c&chksm=e9c5eb2edeb262388bf200b9970883b79fa2384fdee753b1f1186d16c72e473c971d2d37f194&scene=21#wechat_redirect
[SELECT _]: http://mp.weixin.qq.com/s?__biz=MzUxOTAxODc2Mg==&mid=2247483903&idx=1&sn=5d0d59181f190cf446d80e703ed6895e&chksm=f981419acef6c88c643e359a9f084793feee1ab60855ffaf24952fcf7952516eb48641b72d5c&scene=21#wechat_redirect
[Java_ extends T_ super T]: http://mp.weixin.qq.com/s?__biz=MzUxOTAxODc2Mg==&mid=2247483896&idx=1&sn=5c35276cebad4de4889c8e7c17b85f57&chksm=f981419dcef6c88b464c5812bf782d154f02824f540a68932fdcf292b75aa5d450c5f65e6eab&scene=21#wechat_redirect
[20190602133102112.png]: /images/20220323/8301f904ba1d45f0a032dd6b95c4c694.png
[2T_Java_ID_ JavaITWork_1024_SSM_Spring_MySQL_MyCat_Linux_Jenkins_Nexus_Docker_ELK]: http://mp.weixin.qq.com/s?__biz=MzI1NDQ3MjQxNA==&mid=100005643&idx=1&sn=ed08bcf127fc549202ff273abeeb3d1a&chksm=69c5eeba5eb267ac550ed247d72d6c43e11551f25fe80f8ea6a3146682ce2266dad880ce48de#rd