消息队列中间件-概述

Love The Way You Lie 2024-04-18 13:02 71阅读 0赞

## 1. 简介 ##

MQ（Message Queue）消息队列是一种应用程序对应用程序的通信方法，应用程序通过读（出队）写（入队）队列的消息（针对应用程序的数据）进行通信。

MQ是消费者-生产者模型的典型代表，生产者往消息队列中不断写入消息，而消费者则可以读取或者订阅队列中的消息，并进行消息处理。

消息队列中间件是分布式系统中非常重要的组件，可适用于异步处理、应用解耦、流量削锋、消息通讯、日志处理等场景，实现高性能、高可用、可伸缩和最终一致性架构，是大型分布式系统中不可缺少的中间件。

比较常用的消息队列中间件主要有ActiveMQ、RabbitMQ、Kafka、RocketMQ、ZeroMQ等，甚至可以用Redis来构造消息队列作为轻量级的消息队列服务使用。

## 2. 使用场景 ##

### 2.1 异步处理 ###

场景说明：用户注册后，需要发注册邮件和注册短信。

传统的做法有两种：串行方式和并行方式。

*  串行方式：将用户的注册信息写入数据库后，先发送注册邮件，再发送注册短信。三个任务全部完成后，返回给客户端。
 *  并行方式：将用户的注册信息写入数据库后，发送注册邮件的同时，发送注册短信。三个任务全部完成后，返回给客户端。Java支持多线程，可实现并行方式。

假设每个业务节点的开销是50毫秒，则串行方式的响应时间为150ms，并行方式的响应时间为100ms。串行方式下CPU单位时间内处理的请求数不到7个，并行方式下CPU单位时间内处理的请求数为10个。

传统的做法，系统的性能（响应时间、吞吐率）容易出现瓶颈，如何解决这个问题？

引入消息队列，将一些无需即时返回且耗时的业务逻辑提取出来进行异步处理。改善后的架构如下：

**异步处理：** 将用户的注册信息写入数据库后，写入消息队列，返回给客户端；发送邮件和发送短信的业务使用异步进行处理。

由于写入消息队列的速度非常快，基本可以忽略，这样，系统的响应时间基本是50ms，吞吐率为20reqs/s 。和传统的做法相比，系统的性能得到显著提升。

### 2.2 应用解耦 ###

场景说明：用户下单后，订单系统需要通知库存系统。

传统的做法是，订单系统调用库存系统的接口。

传统做法的缺点：

*  假如库存系统暂时无法访问，则订单减库存将失败，从而导致订单失败。
 *  订单系统与库存系统耦合

如何解决这个问题？引入消息队列后的方案：

*  订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。
 *  库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存系统根据下单信息，进行库存操作。

假如，在下单时库存系统不能正常使用，也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦。

### 2.3 流量削锋 ###

流量削锋也是消息队列中的常用场景，一般在秒杀或团购活动中使用广泛。

场景说明：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。

为解决这个问题，一般需要在应用前端加入消息队列。

*  用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过限制，则直接抛弃用户请求或跳转到错误页面。
 *  秒杀业务根据消息队列中的请求信息，再做后续处理。

这样，就可以控制活动的人数，缓解短时间内高流量压垮应用。

### 2.4 消息通讯 ###

消息通讯是指，消息队列一般都内置了高效的通信机制，因此也可以用于纯粹的消息通讯。比如实现点对点消息队列，或者聊天室等。

点对点通讯：客户端A和客户端B使用同一消息队列，进行消息通讯。

聊天室通讯：客户端A、客户端B、客户端N订阅同一主题，进行消息发布和接收，实现类似聊天室效果。

这实际是消息队列的两种消息模式，点对点模式（Point to Point）或发布订阅模式（Publish/Subscribe）。

### 2.5 日志处理 ###

日志处理是指将消息队列用在日志处理中，比如Kafka的应用，解决大量日志传输的问题。架构简化如下：

*  日志采集客户端，负责日志数据采集，定时写入Kafka消息队列。
 *  Kafka消息队列，负责日志数据的接收，存储和转发。
 *  日志处理应用，负责订阅并消费kafka队列中的日志数据。

## 3. 消息中间件案例 ##

### 3.1 电商系统 ###

消息队列采用高可用、可持久化的消息中间件。比如Active MQ、Rabbit MQ、Rocket MQ。

（1）订单系统将主干逻辑处理完成后，写入消息队列。消息发布是否成功可以开启消息的确认模式。（消息队列返回消息接收成功状态后，应用再返回，从而保证消息的完整性）

（2）扩展流程（发短信，配送处理）订阅队列消息。采用推或拉的方式获取消息并处理。

（3）消息队列将应用解耦的同时，带来了数据一致性问题，可以采用最终一致性方式解决。比如主数据写入数据库，扩展应用根据消息队列，并结合数据库方式实现基于消息队列的后续处理。

### 3.2 日志收集系统 ###

日志收集系统分为Zookeeper注册中心、日志收集客户端、Kafka集群和Storm集群四部分组成。

（1）Zookeeper注册中心，提供负载均衡和地址查找服务。

（2）日志收集客户端，用于采集应用系统的日志，并将数据推送到kafka队列。

发表评论取消回复

表情：

评论列表（有 0 条评论，71人围观）

还没有评论，来说两句吧...

相关阅读

相关消息队列中间件-概述

1. 简介 MQ（Message Queue）消息队列是一种应用程序对应用程序的通信方法，应用程序通过读（出队）写（入队）队列的消息（针对应用程序的数据）进行通信。 ...

Love The Way You Lie/ 2024年04月18日 13:02/ 0 赞/ 72 阅读

相关中间件 (二) --------- 消息队列

目录前言一、消息队列应用场景 1. 异步处理 2. 应用解耦 3. 流量削锋 4. 日志处理

布满荆棘的人生/ 2024年04月01日 10:03/ 0 赞/ 86 阅读

相关消息中间件ActiveMQ入门概述

目录举一反三思考背景消息中间件的作用 MQ的定义 MQ的特点 MQ的缺点 -------------------- 消息中间件已经成为互联网企业应用系

古城微笑少年丶/ 2023年10月11日 20:05/ 0 赞/ 49 阅读

相关 1_rabbitmq消息中间件概述

一、RabbitMQ 概述 MQ 为Message Queue，消息队列是应用程序和应用程序之间的通信方法。 RabbitMQ是一个开源的，在AMQP基础上完整的，可复用

蔚落/ 2023年08月17日 17:12/ 0 赞/ 139 阅读

相关消息队列及kafka消息中间件

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击[http://www.captainbed.net][http_www.cap

桃扇骨/ 2022年10月19日 00:47/ 0 赞/ 235 阅读

相关消息中间件 - 惰性队列

一、什么是惰性队列惰性队列会尽可能的将任何消息存入磁盘，这样可以减少了内存的消耗，当消费者消费到相应的消息时才会被加载到内存，会增加I/O的使用。下面看一组10

淩亂°似流年/ 2022年09月08日 10:30/ 0 赞/ 177 阅读

相关消息中间件 - 优先级队列

在优先级队列中，针对生产者给消息设置的优先级进行排序，优先级越大的越先被消费者消费。如果在消费者的消费速度大于生产者的速度，且Broker中没有消息堆积的情况下，对发送的消

深藏阁楼爱情的钟/ 2022年09月08日 10:29/ 0 赞/ 177 阅读

相关消息中间件 - 死信队列

一、死信的概念死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，con

待我称王封你为后i/ 2022年09月08日 00:20/ 0 赞/ 189 阅读

相关消息服务中间件之概述

1、应用场景大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力。异步处理： a、传统的流程如上，同步执行流程。 ![这里写图片描述][70]

客官°小女子只卖身不卖艺/ 2022年05月17日 07:50/ 0 赞/ 198 阅读

相关消息队列及消息中间件

消息队列已经逐渐成为企业应用系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能。当前使用较多的消息队列有 RabbitMQ

╰半橙微兮°/ 2022年05月16日 23:09/ 0 赞/ 272 阅读