【消息队列开发】背景知识与需求分析

叁歲伎倆 2024-04-17 10:51 27阅读 0赞

#### 文章目录 ####

*  ?前言
 *  ?消息队列背景知识
 *  ?需求分析
 *   *  ?核心概念
     *  ?核心API
     *  ?交换机类型(Exchange Type)
     *  ?持久化
     *  ?网络通信
     *  ?消息应答
     *  ?模块划分
 *  ⭕总结

## ?前言 ##

博主将从零开始开发一个消息队列的项目，今天是项目的第一天。

今天我们的任务有以下两点：

1.  了解消息队列的背景知识
2.  对该项目进行需求分析，为后续开发项目有一个前进的方向

## ?消息队列背景知识 ##

在实际的后端开发中,尤其是分布式系统⾥,跨主机之间使⽤⽣产者消费者模型,也是⾮常普遍的需求.

因此,我们通常会把阻塞队列,封装成⼀个独⽴的服务器程序,并且赋予其更丰富的功能.

这样的程序我们就称为消息队列(Message Queue, MQ)

市面上成熟的消息队列⾮常多.

*  RabbitMQ
 *  Kafka
 *  RocketMQ
 *  ActiveMQ
 *  …

其中,RabbitMQ 是⼀个非常知名,功能强⼤,⼴泛使⽤的消息队列.

这里咱们就仿照RabbitMQ,模拟实现⼀个简单的消息队列.

## ?需求分析 ##

我们先来理解一下几个核心概念

### ?核心概念 ###

*  生产者(Producer)
 *  消费者(Consumer)
 *  中间⼈(Broker)
 *  发布(Publish)
 *  订阅(Subscribe)

几者关系如下图所示：

⼀个生产者,⼀个消费者  
![在这里插入图片描述][d33ac574b33d49b8b9dcff023b9cea63.png]

N个生产者，N个消费者

![在这里插入图片描述][f6eccf7333654c34ba61cf0917a53378.png]  
其中,Broker是最核心的部分.负责消息的存储和转发.

在Broker中,⼜存在以下概念.

*  虚拟机(VirtualHost):类似于MySQL的"database",是⼀个逻辑上的集合.⼀个BrokerServer上可以存在多个VirtualHost.
 *  交换机(Exchange):生产者把消息先发送到Broker的Exchange上.再根据不同的规则,把消息转发给不同的Queue.
 *  队列(Queue):真正⽤来存储消息的部分.每个消费者决定自己从哪个Queue上读取消息.
 *  绑定(Binding):Exchange和Queue之间的关联关系.Exchange和Queue可以理解成"多对多"关系.使用⼀个关联表就可以把这两个概念联系起来.
 *  消息(Message):传递的内容.

> 所谓的Exchange和Queue可以理解成"多对多"关系,和数据库中的"多对多"⼀样.  
> 意思是:⼀个Exchange可以绑定多个Queue(可以向多个Queue中转发消息).  
> ⼀个Queue也可以被多个Exchange绑定(⼀个Queue中的消息可以来⾃于多个Exchange).

上述几个核心概念关系如下图所示：  
![在这里插入图片描述][bae1819ce198471da2255db7accf8460.png]  
这些概念,既需要在内存中存储,也需要在硬盘上存储，原因如下：

*  内存存储:⽅便使⽤.
 *  硬盘存储:重启数据不丢失.

针对不同的要求不同，所以存储概念也不同

### ?核心API ###

对于Broker来说,要实现以下核心API.通过这些API来实现消息队列的基本功能.

1.  创建队列(queueDeclare)
2.  销毁队列(queueDelete)
3.  创建交换机(exchangeDeclare)
4.  销毁交换机(exchangeDelete)
5.  创建绑定(queueBind)
6.  解除绑定(queueUnbind)
7.  发布消息(basicPublish)
8.  订阅消息(basicConsume)
9.  确认消息(basicAck)

后面我们进行一一实现

### ?交换机类型(Exchange Type) ###

对于 RabbitMQ 来说,主要支持四种交换机类型.

*  Direct
 *  Fanout
 *  Topic
 *  Header

其中Header这种方式比较复杂,比较少见.常⽤的是前三种交换机类型.咱们此处也主要实现以下这三种.

*  Direct:生产者发送消息时,直接指定被该交换机绑定的队列名.
 *  Fanout:生产者发送的消息会被复制到该交换机的所有队列中.
 *  Topic:绑定队列到交换机上时,指定⼀个字符串为bindingKey.发送消息指定⼀个字符串为routingKey.当routingKey和bindingKey满⾜⼀定的匹配条件的时候,则把消息投递到指定队列

### ?持久化 ###

Exchange,Queue,Binding,Message都有持久化需求.

当程序重启/主机重启,保证上述内容不丢失.

### ?网络通信 ###

生产者和消费者都是客⼾端程序,broker则是作为服务器.通过网络进⾏通信.

在网络通信的过程中,客⼾端部分要提供对应的api,来实现对服务器的操作.

1.  创建 Connection
2.  关闭 Connection
3.  创建 Channel
4.  关闭 Channel
5.  创建队列(queueDeclare)
6.  销毁队列(queueDelete)
7.  创建交换机(exchangeDeclare)
8.  销毁交换机(exchangeDelete)
9.  创建绑定(queueBind)
10. 解除绑定(queueUnbind)
11. 发布消息(basicPublish)
12. 订阅消息(basicConsume)
13. 确认消息(basicAck)

可以看到,在broker的基础上,客户端还要增加Connection操作和Channel操作.

Connection对应⼀个TCP连接.

Channel则是Connection中的逻辑通道.

⼀个Connection中可以包含多个Channel.

Channel和Channel之间的数据是独立的.不会相互干扰.

这样的设定主要是为了能够更好的复用TCP连接,达到⻓连接的效果,避免频繁的创建关闭TCP连接.

> Connection可以理解成⼀根网线.Channel则是网线里具体的线缆.  
> ![在这里插入图片描述][dee42407caf84ec5890cdc71deb54586.png]

### ?消息应答 ###

被消费的消息,需要进行应答.

应答模式分成两种.

*  自动应答:消费者只要消费了消息,就算应答完毕了.Broker直接删除这个消息.
 *  手动应答:消费者手动调⽤应答接⼝,Broker收到应答请求之后,才真正删除这个消息.

手动应答的目的,是为了保证消息确实被消费者处理成功了.在⼀些对于数据可靠性要求⾼的场景,比较常见

### ?模块划分 ###

对上述所涉及到的知识点进行一个整体模块划分，如下图所示：  
![在这里插入图片描述][12b8b432868d4db9b6ffdbddca722ca5.png]

## ⭕总结 ##

关于《【消息队列开发】 背景知识与需求分析》就讲解到这儿，感谢大家的支持，欢迎各位留言交流以及批评指正，如果文章对您有帮助或者觉得作者写的还不错可以点一下关注，点赞，收藏支持一下

[d33ac574b33d49b8b9dcff023b9cea63.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/dd678cbc7a084015a3f3d82c6850422c.png
[f6eccf7333654c34ba61cf0917a53378.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/76f2ab685e5148ecac30c1ad45805e59.png
[bae1819ce198471da2255db7accf8460.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/c44e93e51574454ea592235077e9e321.png
[dee42407caf84ec5890cdc71deb54586.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/7167564c8a934c9b85e2b8c9bdfec1cf.png
[12b8b432868d4db9b6ffdbddca722ca5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/15/72ed5a9829a1470a8b57006e5d8d94f2.png