RocketMQ 介绍 msgId生成算法

「爱情、让人受尽委屈。」 2022-09-11 04:26 232阅读 0赞

我们用RocketMQ发送信息的时候通常都会返回如下信息：

SendResult \[sendStatus=SEND\_OK, msgId=0A42333A0DC818B4AAC246C290FD0000, offsetMsgId=0A42333A00002A9F000000000134F1F5, messageQueue=MessageQueue \[topic=topicTest1, brokerName=mac.local, queueId=3\], queueOffset=4\]

对于客户端来说msgId是由客户端producer自己生成的，offsetMsgId是由服务端broker生成的,其中offsetMsgId就是我们在rocketMQ控制台直接输入查询的那个messageId。

下面就来介绍一下这两个ID的生成算法：

msgId:

以下是RocketMQ部分源码的节选

**初始化参数LEN,FIX\_STRING,COUNTER**

![img][]

**初始化buffer**

![img][img 1]

**设置开始时间**

![img][img 2]

**字节转string工具方法**

![img][img 3]

**最终生成msgId**

![img][img 4]

其中createUniqId就是最终生成msgId方法。除些之外的方法者是createUniqId调用或者被间接调用的方法，这些方法实现也比较简单。这里就不一一解释了~

StringBuilder sb = new StringBuilder(LEN \* 2);

由此可知msgId的长度是LEN \* 2 = 16 \* 2 = 32；

**设time = 当前时间 - 本月开始时间(ms);**

**从代码得到 FIX\_STRING = ip + 进程pid + MessageClientIDSetter.class.getClassLoader().hashCode()；**

**createUniqIDBuffer 加入time 和 counter 因子。**

**最终得到msgId的生成因子是: ip + 进程pid + MessageClientIDSetter.class.getClassLoader().hashCode() + time + counter(AtomicInteger自增变量）**

**最后调用bytes2string进行十六进制的移位和编码就产生了我们的msgId。**

那我们来分析一下这个算法：

对于每个producer实例来说ip都是唯一的，所以不同producer生成的msgId是不会重复的。对于producer单个实例来说的区分因子是：time + counter。首先应用不重启的情况下msgId是保证唯一性的，应用重启了只要系统的时钟不变msgId也是唯一的。所以只要系统的时钟不回拨我们就可以保证msgId的全局唯一。

有人也许会说应用运行了一个月再进行重启msgId就会重复了。从生成算法上来说是的！但是MQ的message是有时效性的，有效期是72小时也就是3天。每天的凌晨4点rocketMQ会把过期的message清除掉。所以msgId也是保证全局唯一的。

offsetMsgId:

**broker端生成的offsetMsgId就比较简单了，直接就是主机ip + 物理分区的offset，再调用UtilAll.bytes2string进行移位转码就完成了，是不是很简单粗爆？！**

![img][img 5]

**以上就是RocketMQ生成msgId和offsetMsgId的生成算法。**

[img]: /images/20220828/01bc62c535f947a8b73594349e8fc7eb.png
[img 1]: /images/20220828/5645475c2f034b458a462a06683c20a2.png
[img 2]: /images/20220828/0b0df20bd66a4bda9f01823b8db55ad9.png
[img 3]: /images/20220828/a907444af0954cc3be66a052a00b1789.png
[img 4]: /images/20220828/3f0263767f614bcdb9fa90f2cb1e187c.png
[img 5]: /images/20220828/6b22fff1830242d19b3cd30ec8b924f5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，232人围观）

还没有评论，来说两句吧...

相关阅读

相关 RocketMQ介绍

RocketMQ介绍 1.2.1 什么是RocketMQ RocketMQ作为一款纯java、分布式、队列模型的开源消息中间件，支持事务消息、顺序消息、批量消息、定

川长思鸟来/ 2024年04月01日 06:29/ 0 赞/ 55 阅读

相关 RocketMQ中Rebalance介绍

Rebalance介绍：首先介绍一下Rebalance用来解决的问题：当一个Topic下有多个Queue时，如何分配每个Consumer Group中各个Consumer要

「爱情、让人受尽委屈。」/ 2024年03月22日 10:51/ 0 赞/ 39 阅读

相关 RocketMQ各组件介绍

Rocket 架构主要分为4部分： Producer 消息发布者，支持分布式集群部署。Produer 通过 MQ 负载均衡模块选择相应 Broker 中的 queu

桃扇骨/ 2023年06月01日 05:49/ 0 赞/ 5 阅读

相关 RocketMQ 02 介绍

课程链接：https://ke.qq.com/course/398381?tuin=6e67ea5e\term\_id=101809137 RocketMQ 02 L

分手后的思念是犯贱/ 2022年12月16日 05:58/ 0 赞/ 154 阅读

相关 RocketMQ-基础介绍

为什么要用消息队列？ 1. 削峰填谷，像12306这样的网站，平时处于流量低谷，而在节假日的时候流量猛增，只有扩容服务器，来增加服务端的吞吐量，如果使用消息队列，系统就可以

红太狼/ 2022年12月06日 04:19/ 0 赞/ 177 阅读

相关 RocketMQ介绍

RocketMQ介绍 •官网： [http://rocketmq.apache.org/][http_rocketmq.apache.org] [https://

超、凢脫俗/ 2022年12月03日 11:29/ 0 赞/ 210 阅读

相关 RocketMQ介绍

技术活，该赏关注+一键三连（点赞，评论，收藏）再看，养成好习惯 [RocketMQ使用教程相关系列目录][RocketMQ_] ------------

男娘i/ 2022年11月18日 01:46/ 0 赞/ 162 阅读

相关 RocketMQ 介绍 msgId生成算法

我们用RocketMQ发送信息的时候通常都会返回如下信息： SendResult \[sendStatus=SEND\_OK, msgId=0A42333A0DC818B4A

「爱情、让人受尽委屈。」/ 2022年09月11日 04:26/ 0 赞/ 233 阅读

相关 RocketMQ 高级功能介绍

1. 高级功能 1.1 消息存储分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 ![de2460b1b8516ecba9b2f070bb6e1a93

以你之姓@/ 2022年09月11日 04:24/ 0 赞/ 197 阅读

相关 Rocketmq介绍和安装

2.安装 2.1.源码安装 2.1.1.安装maven 上传解压 Mkdir /home/maven Cd /home/maven Rz D:\\j

左手的ㄟ右手/ 2021年12月17日 04:05/ 0 赞/ 286 阅读