「RabbitMQ」高级使用：集群及haproxy+keepalived高可用负载均衡

àì夳堔傛蜴生んèń 2023-09-28 10:54 116阅读 0赞

> 为什么要做集群？集群主要用于实现高可用与负载均衡。
> 
> 高可用：如果集群中的某些MQ服务器不可用，客户端还可以连接到其他MQ服务器。负载均衡：在高并发的场景下，单台MQ服务器能处理的消息有限，可以分发给多台MQ服务器。

RabbitMQ有两种集群模式：普通集群模式和镜像队列模式。

## 1.RabbitMQ 如何支持集群 ##

应用做集群，需要面对数据同步和通信的问题。因为Erlang天生具备分布式的特性，所以RabbitMQ天然支持集群，不需要通过引入ZK或者数据库来实现数据同步

RabbitMQ通过  
/var/lib/rabbitmq/.erlang.cookie来验证身份，需要在所有节点上保持一致。

集群通过25672端口两两通信，需要开放防火墙的端口。需要注意的是，RabbitMQ 集群无法搭建在广域网上，除非使用 federation 或者shovel等插件（没这个必要，在同一个机房做集群）。

集群的配置步骤：

1.  配置hosts
2.  同步erlang.cookie
3.  加入集群（join cluster）

## 2.RabbitMQ 集群节点类型 ##

集群有两种节点类型，一种是磁盘节点（Disc Node），一种是内存节点（RAMNode）

## 2.1 磁盘节点 ##

磁盘节点：将元数据（包括队列名字属性、交换机的类型名字属性、绑定、vhost）放在磁盘中

## 2.2 内存节点 ##

内存节点：将元数据放在内存中。

> PS：内存节点会将磁盘节点的地址存放在磁盘（不然重启后就没有办法同步数据了）。如果是持久化的消息，会同时存放在内存和磁盘。集群中至少需要一个磁盘节点用来持久化元数据，否则全部内存节点崩溃时，就无从同步元数据。未指定类型的情况下，默认为磁盘节点。我们一般把应用连接到内存节点（读写快），磁盘节点用来备份。

## 3.RabbitMQ 集群模式 ##

## 3.1 普通集群 ##

普通集群模式下，不同的节点之间只会相互同步元数据，不同步具体的消息，若需要具体消息时需要转发到源节点(1)

![5f42060d342c65c5bf47ecbf91c7998b.png][]

为什么不直接把队列的内容（消息）在所有节点上复制一份？  
主要是出于存储和同步数据的网络开销的考虑，如果所有节点都存储相同的数据，就无法达到线性地增加性能和存储容量的目的（堆机器）。

*  假如生产者连接的是节点3，要将消息通过交换机A路由到队列1，最终消息还是会转发到节点1上存储，因为队列1的内容只在节点1上。
 *  同理，如果消费者连接是节点 2，要从队列 1上拉取消息，消息会从节点1 转发到节点2。其它节点起到一个路由的作用，类似于指针。

普通集群模式不能保证队列的高可用性，因为队列内容不会复制。如果节点失效将导致相关队列不可用，因此我们需要第二种集群模式。

## 3.2 镜像集群 ##

第二种集群模式叫做镜像队列。

镜像队列模式下，消息内容会在镜像节点间同步，可用性更高。不过也有一定的副作用，系统性能会降低，节点过多的情况下同步的代价比较大。

<table> 
 <tbody> 
 <tr> 
 <td> 操作方式 </td> 
 <td> 命令或步骤 </td> 
 </tr> 
 <tr> 
 <td> rabbitmqctl (Windows) </td> 
 <td> rabbitmqctl set_policy ha-all “^ha.” “{”“ha-mode”":"“all”"}" </td> 
 </tr> 
 <tr> 
 <td> HTTP API </td> 
 <td> PUT /api/policies/%2f/ha-all {“pattern”:"^ha.", “definition”:{“ha-mode”:“all”}} </td> 
 </tr> 
 <tr> 
 <td> WebUI </td> 
 <td> 1、 avigate to Admin &gt; Policies &gt; Add / update a policy 2、 Name 输入：mirror_image 3、 Pattern输入：^ (代表匹配所有） 4、 Definition 点击 HA mode，右边输入：all 5、 Add policy </td> 
 </tr> 
 </tbody> 
</table>

## 4.负载均衡 + 高可用 ##

## 4.1 基于负载均衡组件 ##

集群搭建成功后，如果有多个内存节点，那么生产者和消费者应该连接到哪个内存节点？如果在我们的代码中根据一定的策略来选择要使用的服务器，那每个地方都要修改，客户端的代码就会出现很多的重复，修改起来也比较麻烦。

![a73d6669780d885600d6f8bd4618c473.png][]

所以需要一个负载均衡的组件（例如HAProxy，LVS，Nignx），由负载的组件来做路由。这个时候，只需要连接到负载组件的IP地址就可以了。负载分为四层负载和七层负载。

> 四层负载：工作在OSI模型的第四层，即传输层（TCP位于第四层），它是根据IP端口进行转发（LVS支持四层负载）。RabbitMQ是TCP的5672端口。七层负载：工作在第七层，应用层（HTTP位于第七层）。可以根据请求资源类型分配到后端服务器（Nginx支持七层负载；HAProxy支持四层和七层负载）。

![6b5782237f2aaf7539644a69d6bd74e7.png][]

但是，如果这个负载的组件也挂了呢？客户端就无法连接到任意一台MQ的服务器了。所以负载软件本身也需要做一个集群。新的问题又来了，如果有两台负载的软件，客户端应该连哪个？

![8d5c5cc516c5d31e0faa96b60517f3c4.png][]

负载之上再负载？陷入死循环了。这个时候我们就要换个思路了。我们应该需要这样一个组件：

1.  它本身有路由（负载）功能，可以监控集群中节点的状态（比如监控HAProxy），如果某个节点出现异常或者发生故障，就把它剔除掉。
2.  为了提高可用性，它也可以部署多个服务，但是只有一个自动选举出来的MASTER服务器（叫做主路由器），通过广播心跳消息实现。
3.  MASTER 服务器对外提供一个虚拟 IP，提供各种网络功能。也就是谁抢占到VIP，就由谁对外提供网络服务。应用端只需要连接到这一个IP就行了。

这个协议叫做 VRRP 协议（虚拟路由冗余协议 Virtual Router RedundancyProtocol），这个组件就是Keepalived，它具有负载均衡（LoadBalance）和高可用（HighAvailability）的功能。

## 4.2 HAproxy 负载+Keepalived 高可用 ##

基于 Docker 安装 HAproxy 负载+Keepalived 高可用

![7e4b275af26833020fa575643da5cb0b.png][]

IP规划：

*  内存节点1：192.168.8.40
 *  内存节点2：192.168.8.45
 *  磁盘节点：192.168.8.150
 *  VIP：192.168.8.220

具体搭建步骤：

1.  我们规划了两个内存节点，一个磁盘节点。所有的节点之间通过镜像队列的方式同步数据。内存节点用来给应用访问，磁盘节点用来持久化数据。
2.  为了实现对两个内存节点的负载， 我们安装了两个HAProxy，监听两个5672和15672的端口。
3.  安装两个Keepalived，一主一备。两个Keepalived抢占一个VIP192.168.8.220。谁抢占到这个VIP，应用就连接到谁，来执行对MQ的负载。

这种情况下，我们的Keepalived挂了一个节点，没有影响，因为BACKUP会变成 MASTER，抢占 VIP。HAProxy挂了一个节点，没有影响，我们的 VIP 会自动路由的可用的HAProxy服务。RabbitMQ挂了一个节点，没有影响， 因为 HAProxy 会自动负载到可用的节点。

![4404210e27d846cfb137495411318ea8.jpeg][]

[5f42060d342c65c5bf47ecbf91c7998b.png]: https://img-blog.csdnimg.cn/img_convert/5f42060d342c65c5bf47ecbf91c7998b.png
[a73d6669780d885600d6f8bd4618c473.png]: https://img-blog.csdnimg.cn/img_convert/a73d6669780d885600d6f8bd4618c473.png
[6b5782237f2aaf7539644a69d6bd74e7.png]: https://img-blog.csdnimg.cn/img_convert/6b5782237f2aaf7539644a69d6bd74e7.png
[8d5c5cc516c5d31e0faa96b60517f3c4.png]: https://img-blog.csdnimg.cn/img_convert/8d5c5cc516c5d31e0faa96b60517f3c4.png
[7e4b275af26833020fa575643da5cb0b.png]: https://img-blog.csdnimg.cn/img_convert/7e4b275af26833020fa575643da5cb0b.png
[4404210e27d846cfb137495411318ea8.jpeg]: https://img-blog.csdnimg.cn/4404210e27d846cfb137495411318ea8.jpeg