RPC常用消息中间件

绝地灬酷狼 2024-04-17 21:58 70阅读 0赞

**一、消息中间件**

消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行–它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。

总体来说，消息中间件有以下作用:降低耦合、流量消峰、异步通信、可靠性传输

1.降低耦合:通过发布订阅的方式松耦合

我们以注册业务为例，注册成功会发送短信、邮件给用户来确认，传统架构模型是这样：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70]  
邮件业务和短信业务的代码是写在用户注册的流程里，无论是通过接口的方式来实现，还是远程调用的方式来实现，耦合度都很高，现在，新增一个需求，用户注册完成以后不发送邮件了，而是给用户“增加积分”，我们来分析这几种情况：

第一、都在一个业务系统内通过代码堆积、接口调用的方式来实现注册成功后的业务处理，我们需要改动注册代码，上线时需要启停应用，这种方式耦合度最高。

第二、通过远程调用的方式，当我们要新增业务处理时，还是要改动主流程代码，避免不了启停应用。

如果我们引入消息中间件，如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70 1]  
通过发布订阅的方式，用户注册成功后，给消息中间件发送一个消息，各个业务端订阅同一个频道的消息，接收到注册成功的消息后就执行相应业务。新增“增加积分”，就让积分系统相关处理订阅这个消息就够了，不用改动用户业务代码，不用启停应用，就可以实现业务的平滑扩展。

2.异步通信

还拿上面举例，传统架构中当用户注册完成，并发送完短信邮件后才返回客户端通知用户注册成功。而使用消息中间件后用户提交完注册信息处理完成后即可提示用户注册成功，后续短信服务、邮件服务得到订阅的频道中的用户注册成功消息后再去发送短信和邮件，业务之间不再相互制约。

3.流量消峰、防浪涌

消息中间件可以在峰值时堆积消息，而在峰值过去后下游系统慢慢消费消息解决流量洪峰的问题。  
并发量达到高峰时，后端系统压力通常会很大，无论是应用服务器还是数据库服务器，这个时候可以将类似请求放到消息中间件的消息队列中堆积起来慢慢处理，也可以设置消息队列的大小达到控制并发量的目的，商品秒杀的业务场景比较典型。

4.可靠性传输

基于消息的通信是可靠的，消息不会丢失。大多数消息中间件都提供将消息持久化到磁盘的功能。开篇的第一个场景中，消息中间件可以将生产者生产的消息持久化到磁盘，后端应用宕机，但消息不会丢失，应用重启继续处理。

你可能会有这样的疑问，那消息中间件宕机了，接收不到消息怎么持久化？没关系，消息中间件提供了多种消息复制策略、持久化策略，集群部署策略等都可以保证消息的可靠性传输。  
**二、消息中间件模式**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70 3]  
**三、常用消息中间件**  
**RabbitMQ**  
  1.RabbitMQ特点：  
   RabbitMQ是一个由Erlang语言开发的基于AMQP标准的开源实现。RabbitMQ最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。其具体特点包括：

*  可靠性
 *  灵活的路由
 *  支持消息集群
 *  高可用性
 *  支持多种协议  (除支持AMQP协议之外，还通过插件的方式支持其他消息队列协议，如STOMP、MQTT)
 *  支持多语言客户端
 *  提供管理界面
 *  提供跟踪机制
 *  提供插件机制 （RabbitMQ提供了许多插件，也可以编写自己的插件）

1.  总结：  
       RabbitMQ最大的优势在于提供了比较灵活的消息路由策略、高可用性、可靠性以及丰富的插件、多种平台支持和完善的文档。不过，由于AMQP协议本身导致它的实现比较重量，从而使得与其他MQ (比如Kafka) 对比其吞吐量处于下风。

**ActiveMQ**  
  1.ActiveMQ 特点：  
   ActiveMQ是由Apache出品的一款开源消息中间件，旨在为应用程序提供高效、可扩展、稳定、安全的企业级消息通信。ActiveMQ实现了JMS 1.1 并提供了很多附加的特性，比如JMX管理、主从管理、消息组通信、消息优先级、延迟接收消息、虚拟接收者、消息持久化、消息队列监控等。主要特性如下：

*  支持Java、C、C++、C\#、Ruby、Perl、Python、PHP等多种语言的客户端和协议，如OpenWire、STOMP、AMQP、MQTT协议。
 *  提供了像消息组通信、消息优先级、延迟接收消息、虚拟接收者、消息持久化之类的高级特性。
 *  完全支持JMS 1.1 和 J2EE 1.4 规范 (包括持久化、分布式事务消息、事务)
 *  支持Spring框架，ActiveMQ 可以通过Spring 的配置文件方式很容易嵌入Spring应用中。
 *  通过了常见的J2EE服务器测试，比如TomEE、Geronimo、JBoss、GlassFish、WebLogic。
 *  连接方式多样化，ActiveMQ 提供了多种连接方式，例如 in-VM、TCP、SSL、NIO、UDP、多播、JGroups、JXTA。
 *  支持通过使用JDBC 和 Journal 实现消息的快速持久化。
 *  为高性能集群、客户端-服务器、点对点通信等场景而设计。
 *  提供了技术和语言中立的REST API 接口。
 *  支持以AJAX 方式调用 ActiveMQ。
 *  ActiveMQ 可以轻松地与CXF、Axis 等 WebService 技术整合，以提供可靠的消息传递。
 *  可以作为内存中的JMS 提供者，非常适合 JMS 单元测试。  
    **Kafka**  
    1.Kafka 特点：  
       Kafka 最早是由LinkedIn 公司开发的一种分布式的基于 发布/订阅 的消息系统，后来成为 Apache 的顶级项目。其主要特点如下：
 *  同时为发布和订阅提供高吞吐量。(Kafka 的设计目标是以时间复杂度为 O(1) 的方式提供消息持久化能力的，即使对TB级别以上数据也能保证常数时间的访问性能，即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条消息的传输)
 *  消息持久化。 (将消息持久化到磁盘，因此可用于批量消费，例如 ETL 以及实时应用程序。通过将数据持久化到硬盘以及复制可以防止数据丢失。)
 *  分布式。 (支持服务器间的消息分区及分布式消费，同时保证每个Partition 内的消息顺序传输。其内部的Producer、Broker 和 Consumer 都是分布式架构，这更易于向外扩展。)
 *  消费消息采用 Pull 模式。(消息被处理的状态是在 Consumer 端维护的，而不是由服务器端维护，Broker 无状态，Consumer 自己保存offet。)
 *  支持Online 和 Offline 场景，同时支持离线数据处理和实时数据处理。  
    五、RocketMQ  
      1.RocketMQ 特点：  
       RocketMQ是阿里巴巴于2012年开源的分布式消息中间件，后来捐赠给 Apache软件基金会，并于2017年9月25日成为Apache的顶级项目。作为经历过多次阿里巴巴“双11” 这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延迟和高可靠等特性近年来被越来越多的国内企业所使用。其主要特点如下：
 *  具有灵活的可扩展性。 (RocketMQ 天然支持集群，其核心四大组件(NameServer、Broker、Producer、Consumer)的每一个都可以在没有单点故障的情况下进行水平扩展。)
 *  具有海量消息堆积能力。 (RocketMQ 采用零拷贝原理实现了超大量消息的堆积能力，据说单机已经可以支持亿级消息堆积，而且在堆积了这么多消息后依然保持写入低延迟)
 *  支持顺序消息。 (RocketMQ 可以保证消息消费者按照消息发送的顺序对消息进行消费。顺序消息分为全局有序消息和局部有序消息，一般推荐使用局部有序消息，即生产者通过将某一类消息按顺序发送至同一个队列中来实现。)
 *  支持多种消息过滤方式。 (消息过滤分为在服务器端过滤和在消费端过滤。在服务器端过滤时可以按照消息消费者的要求进行过滤，优点是减少了不必要的消息传输，缺点是增加了消息服务器的负担，实现相对复杂。消费端过滤则完全由具体应用自定义实现，这种方式更加灵活，缺点是很多无用的消息会被传输给消息消费者。)
 *  支持事务消息。 (RocketMQ 除支持普通消息、顺序消息之外，还支持事务消息，这个特性对于分布式事务来说提供了另一种解决思路。）
 *  支持回溯消费。 (回溯消费是指对于消费者已经消费成功的消息，由于业务需求需要重新消费。RocketMQ 支持按照时间回溯消费，时间维度精确到毫秒，可以向前回溯，也可以向后回溯。)

下一篇我们介绍一下ngnix反向代理服务器及netty框架。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/7be2bbd7bf454e86b9c7ce9f6319cc43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/a5952b1e98c94deeb87227b0e3ca218c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/fa165698fb9b4e53a5c852fccbee398f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTcwMjMx_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/4e3ff259978b49bb8259d00996313550.png