40 RocketMQ的生产实践总结

深碍√TFBOYSˉ_ 2022-09-01 07:46 116阅读 0赞

### 1.灵活的运用tags来过滤数据 ###

MQ中基于tags来过滤数据的功能，在真正的项目中，要合理的规划Topic和里面的tags，一个Topic代表了一类业务消息数据，然后对于这类业务消息数据，如果你希望能划分一些类别的话，可以在发送消息的时候设置 tags。

案例：如外卖平台有美团外卖、饿了么外卖等外卖，如果系统要发送外卖订单数据到MQ里去，就可以针对性的设置 tags ，比如不同的外卖数据都到一个 “WaimaiOrderTopic” 里去。

但是不同类型的外卖可以有不同的 tags : “meituan\_waimai” 、“eleme\_waimai”、"other\_waimai" 等等。然后在消费“WaimaiOrderTopic” 的系统，可以根据 tags 来筛选。

### 2.基于消息 key 来定位消息是否丢失 ###

前面讲过如何解决消息是否丢失的问题，如果消息真的丢失了，那么该怎么去排查该消息是否丢失？

MQ中可以基于消息key来实现查看消息是否丢失，比如通过设置一个消息的 key 为订单id: message.setKeys(orderId)，这样这个消息就具备一个key了。

接着这个消息放到 broker 上，会基于 key 构建 hash 索引，这个 hash 索引就存放在 IndexFile 索引文件里。

后面就可以通过MQ提供的命令去根据 key 查询这个消息，类似这样：

mqadmin queryMsgByKey -n 127.0.0.1:9876 -t SCANRECORD -k orderId。

### 3. 消息零丢失方案的补充 ###

在消息零丢失方案中，如果MQ集群整体故障了，那么该方案就不可用了。这时候，就需要有更高级别的高可用保障机制。

假设MQ集群彻底崩溃了，生产者应该把消息写入本地磁盘文件里去进行持久化，或者是写入数据库去暂存起来，等待MQ恢复后，再把持久化的消息继续投递到MQ里去。

### 4.提高消费者的吞吐量 ###

如果生产的消息太多，或者消费的时候消费比较慢，就应该提高消费者的并行度，常见的就是部署更多的consumer机器。

要注意的是，Topic的MessageQueue数量不能少于consumer 数量，否则会有 consumer获取不到消息。

然后就是增加consumer的线程数量，可以设置 consumer端的参数： consumeThreadMin、consumeThreadMax，这样一台consumer机器上的消费线程越多，消费的速度就越快。

还可以开启消费者的批量消费功能，就是设置 consumeMessageBatchMaxSize参数，默认值是1，可以设置的多一些，那么一次就会交给消费者的回调函数一批消息来进行处理了，此时可以通过SQL语句一次性批量处理一些数据，比如： update xxx set xxx where id in (xx,xx,xx)。

### 5.要不要消费历史消息 ###

consumer是支持设置从哪里开始消费消息的，常见的有两种：一个是从Topic的第一条数据开始消费，一个是从最后一次消费国的消息之后开始消费。对应的是：

> CONSUME\_FROM\_LAST\_OFFSET，
> 
> CONSUME\_FROM\_FIRST\_OFFSET

一般来说，会选择 CONSUME\_FROM\_FIRST\_OFFSET，这样刚开始就从Topic的第一条消息开始消费，但是以后每次重启，都是从上一次消费到的位置继续往后进行消费的。

发表评论取消回复

表情：

评论列表（有 0 条评论，116人围观）

还没有评论，来说两句吧...

相关阅读

相关 RocketMQ生产环境下的配置和使用

RocketMQ中有四个十分重要的角色 Producer Consumer NameServer Broker Topic Message

「爱情、让人受尽委屈。」/ 2023年06月11日 12:29/ 0 赞/ 3 阅读

相关 RocketMQ（六）最佳实践

最佳实践 -------------------- 1 生产者 1.1 发送消息注意事项 1 Tags的使用一个应用尽可能用一个Topic，而消息子

深碍√TFBOYSˉ_/ 2022年12月25日 15:56/ 0 赞/ 209 阅读

相关 RocketMQ最佳实践

技术活，该赏关注+一键三连（点赞，评论，收藏）再看，养成好习惯 [RocketMQ使用教程相关系列目录][RocketMQ_] ------------

蔚落/ 2022年11月18日 01:51/ 0 赞/ 292 阅读

相关 RocketMq 的最佳实践

-------------------- 1 生产者 1.1 发送消息注意事项 1 Tags的使用一个应用尽可能用一个Topic，而消息子类型则可以用ta

一时失言乱红尘/ 2022年10月18日 12:48/ 0 赞/ 218 阅读

相关 12 RocketMQ高可用的生产部署架构

1.NameServer采用集群化部署，保证高可用第一步，让NameServer集群化部署，初步可以部署在三台机器上，可以充分保证NameServer作为路由中心的可用

太过爱你忘了你带给我的痛/ 2022年10月08日 05:53/ 0 赞/ 299 阅读

相关 40 RocketMQ的生产实践总结

1.灵活的运用tags来过滤数据 MQ中基于tags来过滤数据的功能，在真正的项目中，要合理的规划Topic和里面的tags，一个Topic代表了一类业务消息数据，然后对

深碍√TFBOYSˉ_/ 2022年09月01日 07:46/ 0 赞/ 117 阅读

相关【RocketMQ工作原理】消息的生产过程

1 消息的生产过程 Producer可以将消息写入到某Broker中的某Queue中，其经历了如下过程： Producer发送消息之前，会先向NameServer

「爱情、让人受尽委屈。」/ 2022年08月28日 15:53/ 0 赞/ 168 阅读

相关 RocketMQ实践简述

RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件，下面就简要阐述一下其核心概念 ![watermark_type_ZmFuZ3poZW5naGVpdGk_sha

ゝ一世哀愁。/ 2022年04月10日 03:53/ 0 赞/ 210 阅读

相关 RocketMQ总结

一.RocketMQ的概念讲解: 1.Topic:消息主题,一级消息类型,生产者向其发送消息.(可以简单定义为开发,测试,生产,也可以区分完全不相关的公司业务方向) 2

骑猪看日落/ 2022年02月26日 02:12/ 0 赞/ 207 阅读

相关 RocketMQ最佳实践

一、Producer最佳实践 1、一个应用尽可能用一个Topic，消息子类型用Tags来标识，tags可以由应用自由设置。只有发送消息设置了tags，消费方在订阅消息时，才可

灰太狼/ 2021年12月17日 12:07/ 0 赞/ 305 阅读