消息队列中间件-概述

Love The Way You Lie 2024-04-18 13:02 40阅读 0赞

## 1. 简介 ##

MQ（Message Queue）消息队列是一种应用程序对应用程序的通信方法，应用程序通过读（出队）写（入队）队列的消息（针对应用程序的数据）进行通信。

MQ是消费者-生产者模型的典型代表，生产者往消息队列中不断写入消息，而消费者则可以读取或者订阅队列中的消息，并进行消息处理。

消息队列中间件是分布式系统中非常重要的组件，可适用于异步处理、应用解耦、流量削锋、消息通讯、日志处理等场景，实现高性能、高可用、可伸缩和最终一致性架构，是大型分布式系统中不可缺少的中间件。

比较常用的消息队列中间件主要有ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ等，甚至可以用Redis来构造消息队列作为轻量级的消息队列服务使用。

## 2. 使用场景 ##

### 2.1 异步处理 ###

场景说明：用户注册后，需要发注册邮件和注册短信。

传统的做法有两种：串行方式和并行方式。

*  串行方式：将用户的注册信息写入数据库后，先发送注册邮件，再发送注册短信。三个任务全部完成后，返回给客户端。
 *  并行方式：将用户的注册信息写入数据库后，发送注册邮件的同时，发送注册短信。三个任务全部完成后，返回给客户端。Java支持多线程，可实现并行方式。

假设每个业务节点的开销是50毫秒，则串行方式的响应时间为150ms，并行方式的响应时间为100ms。串行方式下CPU单位时间内处理的请求数不到7个，并行方式下CPU单位时间内处理的请求数为10个。

传统的做法，系统的性能（响应时间、吞吐率）容易出现瓶颈，如何解决这个问题？

引入消息队列，将一些无需即时返回且耗时的业务逻辑提取出来进行异步处理。改善后的架构如下：

**异步处理：** 将用户的注册信息写入数据库后，写入消息队列，返回给客户端；发送邮件和发送短信的业务使用异步进行处理。

由于写入消息队列的速度非常快，基本可以忽略，这样，系统的响应时间基本是50ms，吞吐率为20reqs/s 。和传统的做法相比，系统的性能得到显著提升。

### 2.2 应用解耦 ###

场景说明：用户下单后，订单系统需要通知库存系统。

传统的做法是，订单系统调用库存系统的接口。

传统做法的缺点：

*  假如库存系统暂时无法访问，则订单减库存将失败，从而导致订单失败。
 *  订单系统与库存系统耦合

如何解决这个问题？引入消息队列后的方案：

*  订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。
 *  库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作。

假如，在下单时库存系统不能正常使用，也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦。

### 2.3 流量削锋 ###

流量削锋也是消息队列中的常用场景，一般在秒杀或团购活动中使用广泛。

场景说明：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。

为解决这个问题，一般需要在应用前端加入消息队列。

*  用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过限制，则直接抛弃用户请求或跳转到错误页面。
 *  秒杀业务根据消息队列中的请求信息，再做后续处理。

这样，就可以控制活动的人数，缓解短时间内高流量压垮应用。

### 2.4 消息通讯 ###

消息通讯是指，消息队列一般都内置了高效的通信机制，因此也可以用于纯粹的消息通讯。比如实现点对点消息队列，或者聊天室等。

点对点通讯：客户端A和客户端B使用同一消息队列，进行消息通讯。

聊天室通讯：客户端A、客户端B、客户端N订阅同一主题，进行消息发布和接收，实现类似聊天室效果。

这实际是消息队列的两种消息模式，点对点模式（Point to Point）或发布订阅模式（Publish/Subscribe）。

### 2.5 日志处理 ###

日志处理是指将消息队列用在日志处理中，比如Kafka的应用，解决大量日志传输的问题。架构简化如下：

*  日志采集客户端，负责日志数据采集，定时写入Kafka消息队列。
 *  Kafka消息队列，负责日志数据的接收，存储和转发。
 *  日志处理应用，负责订阅并消费kafka队列中的日志数据。

## 3. 消息中间件案例 ##

### 3.1 电商系统 ###

消息队列采用高可用、可持久化的消息中间件。比如Active MQ、Rabbit MQ、Rocket MQ。

（1）订单系统将主干逻辑处理完成后，写入消息队列。消息发布是否成功可以开启消息的确认模式。（消息队列返回消息接收成功状态后，应用再返回，从而保证消息的完整性）

（2）扩展流程（发短信，配送处理）订阅队列消息。采用推或拉的方式获取消息并处理。

（3）消息队列将应用解耦的同时，带来了数据一致性问题，可以采用最终一致性方式解决。比如主数据写入数据库，扩展应用根据消息队列，并结合数据库方式实现基于消息队列的后续处理。

### 3.2 日志收集系统 ###

日志收集系统分为Zookeeper注册中心、日志收集客户端、Kafka集群和Storm集群四部分组成。

（1）Zookeeper注册中心，提供负载均衡和地址查找服务。

（2）日志收集客户端，用于采集应用系统的日志，并将数据推送到kafka队列。

发表评论取消回复

表情：

评论列表（有 0 条评论，40人围观）

还没有评论，来说两句吧...

相关阅读

相关消息中间件概述

MQ(Message Queue),消息队列(MQ)是一种应用程序对应用程序的通信方法消息队列是一种先进先出的数据结构消息传递:指的是程序直接通过消息发送数据进行通信，而...

傷城~/ 2024年04月21日 08:06/ 0 赞/ 34 阅读

相关消息队列中间件-概述

1. 简介 MQ（Message Queue）消息队列是一种应用程序对应用程序的通信方法，应用程序通过读（出队）写（入队）队列的消息（针对应用程序的数据）进行通信。 ...

Love The Way You Lie/ 2024年04月18日 13:02/ 0 赞/ 41 阅读

相关中间件 (二) --------- 消息队列

目录前言一、消息队列应用场景 1. 异步处理 2. 应用解耦 3. 流量削锋 4. 日志处理

布满荆棘的人生/ 2024年04月01日 10:03/ 0 赞/ 55 阅读

相关消息中间件概述

目录 1.为什么学习消息队列 2.什么是消息中间件 3.消息队列应用场景 3.1 应用解耦 3.2 异步处理 3

桃扇骨/ 2024年03月27日 15:23/ 0 赞/ 50 阅读

相关消息队列及kafka消息中间件

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击[http://www.captainbed.net][http_www.cap

桃扇骨/ 2022年10月19日 00:47/ 0 赞/ 183 阅读

相关消息中间件 - 惰性队列

一、什么是惰性队列惰性队列会尽可能的将任何消息存入磁盘，这样可以减少了内存的消耗，当消费者消费到相应的消息时才会被加载到内存，会增加I/O的使用。下面看一组10

淩亂°似流年/ 2022年09月08日 10:30/ 0 赞/ 147 阅读

相关消息中间件 - 优先级队列

在优先级队列中，针对生产者给消息设置的优先级进行排序，优先级越大的越先被消费者消费。如果在消费者的消费速度大于生产者的速度，且Broker中没有消息堆积的情况下，对发送的消

深藏阁楼爱情的钟/ 2022年09月08日 10:29/ 0 赞/ 144 阅读

相关消息中间件 - 死信队列

一、死信的概念死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，con

待我称王封你为后i/ 2022年09月08日 00:20/ 0 赞/ 157 阅读

相关消息服务中间件之概述

1、应用场景大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力。异步处理： a、传统的流程如上，同步执行流程。 ![这里写图片描述][70]

客官°小女子只卖身不卖艺/ 2022年05月17日 07:50/ 0 赞/ 160 阅读

相关消息队列及消息中间件

消息队列已经逐渐成为企业应用系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能。当前使用较多的消息队列有 RabbitMQ

╰半橙微兮°/ 2022年05月16日 23:09/ 0 赞/ 223 阅读