RocketMQ 的核心机制

女爷i 2023-06-11 13:21 12阅读 0赞

RocketMQ基于“顺序写”“随机读”的原则来设计，利用“零拷贝”技术（nio）

### 高可用机制 ###

RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的，Master 角色的 Broker 支持读和写，Slave 角色的 Broker 仅支持读，也就是 Producer 只能和 Master 角色的 Broker 连接写人消息；Consumer 可以连接 Master 角色的 Broker，也可以连接 Slave 角色的 Broker 来读取消息。

###### 消费端的高可用性 ######

Master 不可用或者繁忙的时候，Consumer 会被自动切换到从 Slave 读。有了自动切换Consumer这种机制，当一个 Master 角色的机器出现故障后，Consumer 仍然可以从 Slave 读取消息，不影响Consumer 程序。这就达到了消费端的高可用性。

###### 发送端的高可用性 ######

在创建 Topic 的时候，把 Topic 的 MessageQueue 创建在多个 Broker 组上（相同Broker名称，不同brokerId的机器组成一个Broker组），这样当一个 Broker 组的 Master 不可用后，其他组的 Master 仍然可用，Producer 仍然可以发送消息。

### 同步刷盘和异步刷盘 ###

RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复，又可以让存储的消息量超出内存的限制。

###### 异步刷盘： ######

异步刷盘方式：在返回写成功状态时，消息可能只是被写人了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时，统一触发写磁盘动作，快速写人。

###### 同步刷盘： ######

同步刷盘方式：在返回写成功状态时，消息已经被写人磁盘。具体流程是，消息写入内存的PAGECACHE后，立刻通知刷盘线程刷盘，然后等待刷盘完成，刷盘线程执行完成后唤醒等待的线程，返回消息写成功的状态。

### 同步复制和异步复制 ###

###### 异步复制 ######

异步复制方式是只要Master写成功即可反馈给客户端写成功状态。

###### 优缺点 ######

在异步复制方式下，系统拥有较低的延迟和较高的吞吐量，但是如果Master出了故障，有些数据因为没有被写人Slave，有可能会丢失；

###### 同步复制 ######

同步复制方式是等Master和Slave均写成功后才反馈给客户端写成功状态

###### 优缺点 ######

在同步复制方式下，如果Master出故障，Slave上有全部的备份数据，容易恢复，但是同步复制会增大数据写人延迟，降低系统吞吐量。

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关【rocket-mq】RocketMQ集成和RocketMQ核心技术

> 提示：RocketMQ集成和RocketMQ核心技术文章目录前言一、RocketMQ环境准备 1.编译rocketmq源码并运行

浅浅的花香味﹌/ 2024年03月26日 07:14/ 0 赞/ 79 阅读

相关 RocketMQ 核心原理解析

前言相信无论是前端还是后端的同学，不管是在平常的自我充电、还是日常的工作中，对 RocketMQ、Kafka 等主流消息队列多多少少都有一定的了解。现在的服务端架构中，

我就是我/ 2023年09月23日 14:15/ 0 赞/ 79 阅读

相关 RocketMQ消费者核心配置和核心知识讲解

1. RocketMQ消费者核心配置讲解 consumeFromWhere配置 1. CONSUME\_FROM\_FIRST\_OFFSET：初次从消

雨点打透心脏的1/2处/ 2023年07月05日 11:40/ 0 赞/ 8 阅读

相关 RocketMQ生产者核心配置和核心知识讲解

1. 消息队列RocketMQ生产者核心配置生产者常见核心配置： 1. compressMsgBodyOverHowmuch：消息超过默认字节4096后进行压缩 2

约定不等于承诺〃/ 2023年07月04日 15:36/ 0 赞/ 10 阅读

相关 RocketMQ 的核心机制

RocketMQ基于“顺序写”“随机读”的原则来设计，利用“零拷贝”技术（nio）高可用机制 RocketMQ分布式集群是通过Master和Slave的配合达到高可用

女爷i/ 2023年06月11日 13:21/ 0 赞/ 13 阅读

相关 RocketMq核心概念

1 消息模型（Message Model） RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Co

迈不过友情╰/ 2023年03月02日 07:54/ 0 赞/ 35 阅读

相关 RocketMQ 核心原理总结

Topic 的路由机制 ![img][] 介绍路由注册机制之前，先简单看下 RocketMQ 的整体架构： Producer：消息生产者，用于向消息服务器发送消

￡神魔★判官ぃ/ 2022年11月18日 04:57/ 0 赞/ 185 阅读

相关 RocketMQ核心问题思考

客户端与broker建立的连接机制当长时间断连，当server恢复后，能否自动重连 RocketMQ broker 的消息存储机制 Rocket

缺乏、安全感/ 2022年10月28日 00:49/ 0 赞/ 159 阅读

相关 RocketMQ核心概念扫盲篇

做积极的人，越努力越幸运！在正式进入RocketMQ的学习之前，我觉得有必要梳理一下RocketMQ核心概念，为大家学习RocketMQ打下牢固的基础。 1、Ro

比眉伴天荒/ 2022年09月10日 07:23/ 0 赞/ 224 阅读

相关【RocketMq实战第八篇】-RocketMQ难点及核心

前言 Broker是 RocketMQ 的核心，大部分‘重量级”工作都是由 Broker完成的，包括接收 Producer 发过来的消息、处理 Consumer 的消费

浅浅的花香味﹌/ 2022年03月22日 13:17/ 0 赞/ 313 阅读