RabbitMQ消息队列服务

忘是亡心i 2021-12-24 16:53 373阅读 0赞

## MQ 全称为 Message Queue, 消息队列（ MQ ） ##

是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。

一个软件它一般都会有一些小的程序来相互之间调用，才能进行正常的工作，那么每个程序相互之间调用，发送信息有两种发送的方法，一种是直接发送给另一个小程序，另一种是我把我发送的信息呢临时放到了一个中间转换的软件里，这种中间转换的软件就是MQ。

这种介于两者之间的软件叫中间件：工作在两个或者多个软件之间的软件，就像是中介一样，承上启下，常见的中间件，rabbitmq（负责两个组件之间通信用的），tomcat（解释java程序），memcache（做网站缓存），redis（做网站缓存）。

OSI第4层传输层的传输方式：tcp（可靠度高）/udp（不可信），那么在这层，它标识的是端口，我能识别发射过来的一个数据包，这个数据包的端口是在四层解析到的。

MQ就像是共工作在udp里面，只不过呢，这是一个发送端。他发送的消息呢，要放到一个中间件里，客户端从中间件里去拿这个消息，这样呢，就解耦了发送端和客户端的一个耦合的关系。有了这个中间件之后，我发送端把消息放到中间件之后，就可以去做其他事情了，这叫解耦合（叫松耦合也可以）。

消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

## AMQP 即 Advanced Message Queuing Protocol ##

高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。

AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。

## Rabbitmq概念 ##

属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个实现。是应用层协议的一个开放标准，为面向消息的中间件设计。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

### RabbitMQ特点： ###

使用Erlang编写

支持持久化：我们在学redis的时候，它存储消息的方法有两种，第一内存（临时），第二磁盘（持久）。它也可以通过这两种方式来工作，一种把发送端的消息临时存在内存，一种持久化存入磁盘。

支持HA：他这高可用不是让我们拿keepalived，lvs那么搭，它自己有自己的高可用集群。就像galera一样，他是mariadb集群的一个方案。

提供C\# ，erlang，java，perl，python，ruby等的client开发端

### 什么是耦合、解耦合 ###

一、耦合

1、耦合是指两个或两个以上的体系或两种运动形式间通过相互作用而彼此影响以至联合起来的现象。

2、在软件工程中，对象之间的耦合度就是对象之间的依赖性。对象之间的耦合越高，维护成本越高，因此对象的设计应使类和构件之间的耦合最小。

3、分类：有软硬件之间的耦合，还有软件各模块之间的耦合。耦合性是程序结构中各个模块之间相互关联的度量。它取决于各个模块之间的接口的复杂程度、调用模块的方式以及哪些信息通过接口。

二、解耦

1、解耦，字面意思就是解除耦合关系。

2、在软件工程中，降低耦合度即可以理解为解耦，模块间有依赖关系必然存在耦合，理论上的绝对零耦合是做不到的，但可以通过一些现有的方法将耦合度降至最低。

3、设计的核心思想：尽可能减少代码耦合，如果发现代码耦合，就要采取解耦技术。让数据模型，业务逻辑和视图显示三层之间彼此降低耦合，把关联依赖降到最低，而不至于牵一发而动全身。原则就是A功能的代码不要写在B的功能代码中，如果两者之间需要交互，可以通过接口，通过消息，甚至可以引入框架，但总之就是不要直接交叉写。

## RabbitMQ中的概念名词 ##

Broker：简单来说就是消息队列服务器实体。

我部署了一个rabbitmq服务，这个服务器就叫Broker。

Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。

不是网络当中的交换机。决定我消息怎么放到我消息队列上去。

Queue：消息队列载体，每个消息都会被投入到一个或多个队列。

Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。

Routing Key：路由关键字， exchange根据这个关键字进行消息投递。

就像你去火车站你去办理买票或退票改签的业务，你去了以后售票大厅每个窗口贴有不同的标识，有售票窗口，有改签窗口，有退票窗口，有军人窗口，那么窗口的标识就类似于Routing Key，你就像是消息一样，你看到关键字以后，你要排到对应的队列后面。  
 vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。

我的一个消息队列服务器里，他不单只可以给一个服务提供消息队列，可以给很多个服务提供，那么提供多个就容易混乱，那么我才用一个划分资源的逻辑上概念，把这些服务都分开，放到不同的虚拟主机里，这样的话，这些消息就不会串起来。

producer：消息生产者，就是投递消息的程序。

谁发的消息

consumer：消息消费者，就是接受消息的程序。

谁来读消息

channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

## RabbitMQ工作原理 ##

MQ 是消费 - 生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。

![1647888-20190531165515269-148651382.png][]

（ 1）客户端连接到消息队列服务器，打开一个channel。

（ 2）客户端声明一个exchange，并设置相关属性，声明我这个交换机承载什么样的队列。

（ 3）客户端声明一个queue，并设置相关属性。

（ 4）客户端使用routing key，在exchange和queue之间建立好绑定关系。  
 （ 5）客户端投递消息到exchange。

（ 6） exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里。

## Rabbitmq 的 metadata ##

元数据可以持久化在 RAM 或 Disc. 从这个角度可以把 RabbitMQ 集群中的节点分成两种 :RAM Node和 Disk Node.

什么是元数据？

一个文件，他要存到我们磁盘当中，有两种方法，他会把这个文件分为两种类型，第一种是关于这个文件的信息，第二种是文件的真实数据，那么关于文件的信息就是元数据。元数据包含这个文件的名字，属主，大小，修改创建时间，格式。通常元数据保存在inode里面。真是这个文件的具体数据保存在block里面。

RAM Node 只会将元数据存放在RAM

Disk node 会将元数据持久化到磁盘。

单节点系统就没有什么选择了 , 只允许 disk node, 否则由于没有数据冗余一旦重启就会丢掉所有的配置信息 . 但在集群环境中可以选择哪些节点是 RAM node.在集群中声明(declare) 创建 exchange queue binding, 这类操作要等到所有的节点都完成创建才会返回 :

如果是内存节点就要修改内存数据 ,

如果是 disk node 就要等待写磁盘 , 节点过多这里的速度就会被大大的拖慢 .

有些场景 exchang queue 相当固定 , 变动很少 ,那即使全都是 disc node, 也没有什么影响 . 如果使用 Rabbitmq 做 RPC（ RPC :Remote Procedure Call—远程过程调用）, RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。

只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就可以 , 其它的都可以是 RAM node. 节点加入或退出集群一定至少要通知集群中的一个 disk node 。

如果集群中 disk node 都宕掉 , 就不要变动集群的元数据 . 声明 exchange queue 修改用户权限 , 添加用户等等这些变动在节点重启之后无法恢复 。

有一种情况要求所有的 disk node 都要在线情况在才能操作 , 那就是增加或者移除节点 .RAM node 启动的时候会连接到预设的 disk node 下载最新的集群元数据 . 如果你有两个 disk node(d1 d2), 一个 RAM node 加入的时候你只告诉 d1, 而恰好这个 RAM node 重启的时候 d1 并没有启动 , 重启就会失败 . 所以加入 RAM 节点的时候 , 把所有的disk node 信息都告诉它 ,RAM node 会把 disk node 的信息持久化到磁盘以便后续启动可以按图索骥 .

## Rabbitmq 集群部署 ##

#### 一、前期准备 ####

（1）条件:准备3台linux系统，确保配置好源，及epel源

（2）三台机器能够静态解析彼此

（3）设置可以无密钥登陆

#### 二、安装过程： ####

（1）所有node执行：

下载安装rabbitmq和erlang软件包：

yum install -y erlang rabbitmq-server.noarch

启动rabbitmq：

systemctl start rabbitmq-server.service

设为开机自启rabbitmq：

systemctl enable rabbitmq-server.service

查看rabbitmq启动状态：

systemctl status rabbitmq-server.service

查看监听端口：

netstat -lantp | grep 5672

rabbitmq配置文件：

/etc/rabbitmq/rabbitmq.config

（2）node1：修改guest密码为admin（默认用户为：guest 密码为：guest)

rabbitmqctl change_password guest admin

（3）node1：添加一个openstack的用户，并设密码为admin。并设置权限和成为管理员，如果不设置成管理员，此用户会登陆不上图形界面。

node1：

rabbitmqctl add_user openstack admin
    
    rabbitmqctl set_permissions openstack ".*" ".*" ".*"
    
    rabbitmqctl set_user_tags openstack administrator

（4）每台node：编辑rabbittmq变量文件

vim /etc/rabbitmq/rabbitmq-env.conf
    
    RABBITMQ_NODE_PORT=5672
    
    ulimit -S -n 4096
    
    RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"
    
    RABBITMQ_NODE_IP_ADDRESS=当前主机IP

查看rabbitmq插件

/usr/lib/rabbitmq/bin/rabbitmq-plugins list

（5）所有node 开启rabbitmq的web管理页面

rabbitmq-plugins enable rabbitmq_management

重启：

systemctl restart rabbitmq-server.service

查看状态：

systemctl status rabbitmq-server.service

（6）使用浏览器登陆

web页面登陆：ip：15672

服务的端口号：5672

### rabbitmq配置集群 ###

（1）node1发送erlang.cookie到其他节点配置集群

rabbitmqctl status
    
    scp /var/lib/rabbitmq/.erlang.cookie  node2主机名:/var/lib/rabbitmq/.erlang.cookie
    
    scp /var/lib/rabbitmq/.erlang.cookie  node3主机名:/var/lib/rabbitmq/.erlang.cookie

（2）node2和node3停止应用，并以ram的方式加入node1节点，之后重启应用

node2和node3分别重启rabbitmq：

systemctl restart rabbitmq-server.service

node2和node3分别停止app：

rabbitmqctl stop_app

node2和node3分别加入node1：

rabbitmqctl join_cluster --ram rabbit@node1主机名

node2和node3分别重启app：

rabbitmqctl start_app

（3）node1检查集群状态

rabbitmqctl cluster_status

（4）登陆验证：http://node1IP:15672/\#/ guest/admin