PhxQueue：高可用、高可靠、高性能的分布式队列

左手的ㄟ右手 2022-06-08 07:20 258阅读 0赞

**PhxQueue：高可用、高可靠、高性能的分布式队列**

**1.  整体架构**

![Center][]

**2.  详细说明**

PhxQueue 由下列5个模块组成。

### Store - 队列存储 ###

Store 作为队列存储，引入了 PhxPaxos 库，以 Paxos 协议作副本同步。只要多数派节点正常工作及互联，即可提供线性一致性读写服务。

为了提高数据可靠性，同步刷盘作为默认开启特性，且性能不亚于异步刷盘。

在可用性方面，Store 内有多个独立的 paxos group，每个 paxos group 仅 master 提供读写服务，平时 master 动态均匀分布在 Store 内各节点，均衡接入压力，节点出灾时自动切换 master 到其它可用节点。

### Producer - 生产者 ###

Producer 作为消息生产者，根据 key 决定消息存储路由。相同 key 的消息默认路由到同一个队列中，保证出队顺序与入队顺序一致。

### Consumer - 消费者 ###

Consumer 作为消费者，以批量拉取的方式从 Store 拉消息，支持多协程方式批量处理消息。

Consumer 以服务框架的形式提供服务，使用者以实现回调的方式，根据不同主题（Topic），不同处理类型（Handler）定义具体的消息处理逻辑。

### Scheduler - 消费者管理器（可选择部署） ###

Scheduler 的作用是，收集 Consumer 全局负载信息, 对 Consumer 做容灾和负载均衡。当使用者没有这方面的需求时，可以省略部署 Scheduler，此时各 Consumer 根据配置权重决定与队列的处理关系。

部署 Scheduler 后，Scheduler leader 与所有 Conusmer 维持心跳，在收集 Consumer 的负载信息的同时，反向调整 Consumer 与队列的处理关系。

当 Scheduler leader 宕机了后，Scheduler 依赖下述分布式锁服务选举出新 leader，不可用期间仅影响 Consumer 的容灾和负载均衡，不影响 Consumer 的正常消费。

### Lock - 分布式锁（可选择部署） ###

Lock 是一个分布式锁，其接口设计非常通用化，使用者可以选择将 Lock 独立部署，提供通用分布式锁服务。

Lock 在 PhxQueue 中的作用有如下两点：

1.  为 Scheduler 选举 leader；
2.  防止多个 Consumer 同时处理一条队列。

Lock 同样也是可选择部署的模块：

*  若部署了 Scheduler，就必须部署 Lock 为 Scheduler 选举出 leader；
 *  否则，若业务对重复消费不敏感，可选择不部署 Lock。

这里所指的重复消费场景是：若省略部署 Scheduler 的话，Consumer 需要通过读取配置得知可处理的队列集合；当队列有变更（如队列缩扩容）时，各 Consumer 机器上的配置改变有先有后，这时各 Consumer 在同一时间看到的配置状态可能不一样，导致一段时间内两个 Consumer 都认为自己该消费同一个队列，造成重复消费。Lock 的部署可以避免该场景下的重复消费。（注意，即使省略部署 Lock，该场景仅造成重复消费，而不会造成乱序消费）

[Center]: /images/20220608/0bdfbd93607949dcbe23bb5da70ec900.png

发表评论取消回复

表情：

评论列表（有 0 条评论，258人围观）

还没有评论，来说两句吧...

相关阅读

相关程序猿的三高：高并发、高可用、高性能

一、高并发指标高并发是现在互联网分布式框架设计必须要考虑的因素之一，它是可以保证系统能被同时并行处理很多请求，对于高并发来说，它的指标有：响应时间：系统对进来的请求

迈不过友情╰/ 2024年03月30日 13:10/ 0 赞/ 16 阅读

相关高可用

海恩法则：大事都是小事积累导致的墨菲定律：不好的事，该发的一定会发生早发现、响应快发现：概率、范围、处理难度术设计 AKF扩展术：x:服务无状态、水平

忘是亡心i/ 2022年12月21日 04:44/ 0 赞/ 201 阅读

相关 Redis 分布式高可用

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis

深碍√TFBOYSˉ_/ 2022年09月02日 04:20/ 0 赞/ 151 阅读

相关分布式高可用 id 服务器设计实现

服务端/后台开发中如何生成id是每个开发者都会遇到的问题，在电商、游戏领域尤其突出。如何保证生成id的唯一性、可靠性、高可用性，如何组织id的格式，在不同的应用场景和限制下实现

矫情吗；*/ 2022年08月21日 00:22/ 0 赞/ 146 阅读

相关 PhxQueue：高可用、高可靠、高性能的分布式队列

PhxQueue：高可用、高可靠、高性能的分布式队列 1. 整体架构 ![Center][] 2. 详细说明 PhxQueue 由下列5个

左手的ㄟ右手/ 2022年06月08日 07:20/ 0 赞/ 259 阅读

相关高可用、高性能？接口设计的 16 个原则

发起这个 Chat 只是一时兴起，想了一些点就写出来了，但自己一读，感觉一点干货都没有，真是汗颜。但还是也希望此拙文能带来一些你的思考，欢迎交流。接口设计需要考虑哪

港控/mmm°/ 2022年05月21日 00:22/ 0 赞/ 142 阅读

相关表格存储如何实现高可靠和高可用

系列文章 [表格存储如何实现高可靠和高可用][Link 1] [表格存储如何实现跨区域的容灾][Link 2] 前言本文会介绍一款分布式NoSQL如何实现数

阳光穿透心脏的1/2处/ 2022年04月06日 11:40/ 0 赞/ 200 阅读

相关 RabbitMQ学习（二）：高可靠之持久化与高可用之镜像队列

一、概述 1. 分布式系统的需要 RabbitMQ 是对内存队列，如 Java 的阻塞队列 BlockingQueue，的一种升级，即作为一个进程队列实现不同

傷城~/ 2022年01月22日 03:47/ 0 赞/ 152 阅读

相关 RabbitMQ 高可用之镜像队列

如果RabbitMQ集群只有一个broker节点，那么该节点的失效将导致整个服务临时性的不可用，并且可能会导致message的丢失（尤其是在非持久化message存储于非持久化

怼烎@/ 2021年12月21日 12:45/ 0 赞/ 174 阅读

相关高可用

一、什么是高可用高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能

本是古典何须时尚/ 2021年11月19日 15:24/ 0 赞/ 419 阅读