1分钟实现“延迟消息”功能

素颜马尾好姑娘i 2023-03-13 05:13 13阅读 0赞

**一、缘起**

很多时候，业务有“在一段时间之后，完成一个工作任务”的需求。

例如：滴滴打车订单完成后，如果用户一直不评价，48小时后会将自动评价为5星。

一般来说怎么实现这类“48小时后自动评价为5星”需求呢？

**常见方案**：启动一个cron定时任务，每小时跑一次，将完成时间超过48小时的订单取出，置为5星，并把评价状态置为已评价。

假设订单表的结构为：t\_order(oid, finish\_time, stars, status, …)，更具体的，定时任务每隔一个小时会这么做一次：

select oid from t\_order where finish\_time > 48hours and status=0;

update t\_order set stars=5 and status=1 where oid in\[…\];

如果数据量很大，需要分页查询，分页update，这将会是一个for循环。

方案的不足：

（1）**轮询效率比较低**

（2）每次扫库，已经被执行过记录，仍然会被扫描（只是不会出现在结果集中），有**重复计算**的嫌疑

（3）**时效性不够好**，如果每小时轮询一次，最差的情况下，时间误差会达到1小时

（4）如果通过增加cron轮询频率来减少（3）中的时间误差，（1）中轮询低效和（2）中重复计算的问题会进一步凸显

如何利用“延时消息”，对于每个任务只触发一次，保证效率的同时保证实时性，是今天要讨论的问题。

**二、高效延时消息设计与实现**

高效延时消息，包含两个重要的数据结构：

（1）环形队列，例如可以创建一个包含3600个slot的**环形队列**（本质是个数组）

（2）任务集合，环上每一个slot是一个**Set<Task>**

同时，启动一个timer，这个timer每隔1s，在上述环形队列中移动一格，有一个Current Index指针来标识正在检测的slot。

Task结构中有两个很重要的属性：

（1）Cycle-Num：当Current Index第几圈扫描到这个Slot时，执行任务

（2）Task-Function：需要执行的任务指针

![format_png][]

假设当前Current Index指向第一格，当有延时消息到达之后，例如希望3610秒之后，触发一个延时消息任务，只需：

（1）**计算这个****Task****应该放在哪一个slot**，现在指向1，3610秒之后，应该是第11格，所以这个Task应该放在第11个slot的Set<Task>中

（2）**计算这个****Task****的Cycle-Num**，由于环形队列是3600格（每秒移动一格，正好1小时），这个任务是3610秒后执行，所以应该绕3610/3600=1圈之后再执行，于是Cycle-Num=1

Current Index不停的移动，每秒移动到一个新slot，这个slot中对应的Set<Task>，每个Task看Cycle-Num是不是0：

（1）如果不是0，说明还需要多移动几圈，将Cycle-Num减1

（2）如果是0，说明马上要执行这个Task了，取出Task-Funciton执行（可以用单独的线程来执行Task），并把这个Task从Set<Task>中删除

使用了“延时消息”方案之后，“订单48小时后关闭评价”的需求，只需将在订单关闭时，触发一个48小时之后的延时消息即可：

（1）无需再轮询全部订单，效率高

（2）一个订单，任务只执行一次

（3）时效性好，精确到秒（控制timer移动频率可以控制精度）

**三、总结**

环形队列是一个实现“延时消息”的好方法，开源的MQ好像都不支持延迟消息，不妨自己实现一个简易的“延时消息队列”，能解决很多业务问题，并减少很多低效扫库的cron任务。

[format_png]: /images/20230312/be96dd6f91cd41a3894def817e4ea026.png

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关 2019年10月1日实现延迟计算功能

class Lazyproperty: def __init__(self,func): print('>>>>>',func)

悠悠/ 2023年06月03日 13:00/ 0 赞/ 19 阅读

相关 1分钟实现“延迟消息”功能

一、缘起很多时候，业务有“在一段时间之后，完成一个工作任务”的需求。例如：滴滴打车订单完成后，如果用户一直不评价，48小时后会将自动评价为5星。一般来说怎么实现这类

素颜马尾好姑娘i/ 2023年03月13日 05:13/ 0 赞/ 14 阅读

相关发送延迟消息_延迟消息的五种实现方案

生产者把消息发送到消息队列中以后，并不期望被立即消费，而是等待指定时间后才可以被消费者消费，这类消息通常被称为延迟消息。延迟消息的应用场景其实是非常的广泛，比如以下的场景：

男娘i/ 2023年01月07日 02:29/ 0 赞/ 532 阅读

相关 rabbitmq实现延迟消息

pom <dependency> <groupId>org.springframework.boot</groupId>

小鱼儿/ 2022年12月23日 13:28/ 0 赞/ 167 阅读

相关消息队列RabbitMQ版原生延迟消息实现

RabbitMQ的延迟消息实现方案如下 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR

墨蓝/ 2022年11月12日 04:16/ 0 赞/ 223 阅读

相关回顾RabbitMQ实现消息延迟

一概述在RabbitMQ中，默认情况下，消息在没有设置消息过期的参数的时候是不会过期的，即使消息没有被消费掉，消息会一直存储在队列中。二队列消息存活时间TTL

我不是女神ヾ/ 2022年09月17日 03:08/ 0 赞/ 173 阅读

相关高效实现延迟消息功能

高效实现延迟消息功能高效延时消息，包含两个重要的数据结构：（1）环形队列，例如可以创建一个包含3600个slot的环形队列（本质是个数组）（2）

Myth丶恋晨/ 2022年06月13日 22:04/ 0 赞/ 236 阅读

相关 1分钟实现“延迟消息”功能

一、缘起很多时候，业务有"在一段时间之后，完成一个工作任务"的需求例如：滴滴打车订单完成之后，如果用户一直不评价，48小时会将自动评价为5星一般来说怎么实现这类

╰+哭是因爲堅強的太久メ/ 2022年01月27日 10:57/ 0 赞/ 227 阅读

相关 redis消息延迟

1、查询下redis 是否打开了键空间通知功能发现打开了，如果没有打开可以在执行下我们可以看到参数设置 2、订阅下键空间或者事件通知订阅键空间：subsc

爱被打了一巴掌/ 2022年01月19日 02:29/ 0 赞/ 261 阅读

相关 RabbitMQ实现消息队列延迟功能

要实现 RabbitMQ 的消息队列延迟功能，一般采用官方提供的插件 “rabbitmq\_delayed\_message\_exchange” 来实现。但 RabbitMQ

梦里梦外;/ 2021年07月24日 23:39/ 0 赞/ 659 阅读