RabbitMQ镜像队列与负载均衡

Myth丶恋晨 2022-08-30 04:10 158阅读 0赞

# 镜像队列 #

RabbitMQ集群是由多个broker节点构成的，那么从服务的整体可用性上来讲，该集群对于单点失效是有弹性的，但是同时也需要注意：尽管exchange和binding能够在单点失效问题上幸免于难，但是queue和其上持有的message却不行，这是因为queue及其内容仅仅存储于单个节点之上，所以一个节点的失效表现为其对应的queue不可用。

引入RabbitMQ的镜像队列机制，将queue镜像到cluster中其他的节点之上。在该实现下，如果集群中的一个节点失效了，queue能自动地切换到镜像中的另一个节点以保证服务的可用性。在通常的用法中，针对每一个镜像队列都包含一个master和多个slave，分别对应于不同的节点。slave会准确地按照master执行命令的顺序进行命令执行，故slave与master上维护的状态应该是相同的。除了publish外所有动作都只会向master发送，然后由master将命令执行的结果广播给slave们，故看似从镜像队列中的消费操作实际上是在master上执行的。

RabbitMQ的镜像队列同时支持publisher confirm和事务两种机制。在事务机制中，只有当前事务在全部镜像queue中执行之后，客户端才会收到Tx.CommitOk的消息。同样的，在publisher confirm机制中，向publisher进行当前message确认的前提是该message被全部镜像所接受了。

## 镜像队列的配置 ##

rabbitmqctl set_policy [-p Vhost] Name Pattern Definition [Priority]

参数说明：

*  \-p Vhost： 可选参数，针对指定vhost下的queue进行设置
 *  Name: policy的名称
 *  Pattern: queue的匹配模式(正则表达式)
 *  Definition：镜像定义，包括三个部分ha-mode、ha-params、ha-sync-mode
    
     *  ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes
        
         *  all：表示在集群中所有的节点上进行镜像
         *  exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
         *  nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定
     *  ha-params：ha-mode模式需要用到的参数
     *  ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
 *  priority：可选参数，policy的优先级

例如，对队列名称以“queue\_”开头的所有队列进行镜像，并在集群的两个节点上完成进行，policy的设置命令为：

rabbitmqctl set_policy ha-queue-two '^queue_' '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'

## x-ha-policy的失效 ##

在Java代码中设置了x-ha-policy不再生效。

Map<String, Object> arguments = new HashMap<String, Object>();
    arguments.put("x-ha-policy","all");
    channel.queueDeclare(QUEUE_NAME, false, false, false, arguments);

参考：[**https://blog.rabbitmq.com/posts/2012/11/breaking-things-with-rabbitmq-3-0**][https_blog.rabbitmq.com_posts_2012_11_breaking-things-with-rabbitmq-3-0]

# 负载均衡 #

连接RabbitMQ时无法使用类似`192.168.80.205:5672,192.168.80.206:5672`这种语法实现负载均衡，只能写一个ip:port，这样所有的数据都会存储在这个节点上面，无法实现负载均衡。

要想实现RabbitMQ的负载均衡，需要借助第三方的haproxy。

## haproxy的安装 ##

下载haproxy并解压：

# cd /usr/local
    # wget http://pkgs.fedoraproject.org/repo/pkgs/haproxy/haproxy-1.7.9.tar.gz/sha512/d1ed791bc9607dbeabcfc6a1853cf258e28b3a079923b63d3bf97504dd59e64a5f5f44f9da968c23c12b4279e8d45ff3bd39418942ca6f00d9d548c9a0ccfd73/haproxy-1.7.9.tar.gz
    # tar zxvf haproxy-1.7.9.tar.gz

安装haproxy：

# cd haproxy-1.7.9
    # uname -r
    3.10.0-1160.25.1.el7.x86_64
    # make TARGET=linux310 ARCH=x86_64 PREFIX=/usr/local/haproxy
    # make install PREFIX=/usr/local/haproxy

参数说明：

*  TARGET=linux310：内核版本，使用uname -r查看内核，如：3.10.0-514.el7，此时该参数就为linux310；
 *  ARCH=x86\_64：系统位数；
 *  PREFIX=/usr/local/haprpxy ：为haprpxy安装路径。

添加配置文件/usr/local/haproxy  
/conf/haproxy.cfg  
：

global
     
           log 127.0.0.1   local0
            maxconn 1000
            daemon
     
    defaults
            log     global
            mode    http
            option  httplog
            option  dontlognull
            retries 3
            timeout connect 5000
            timeout client  50000
            timeout server 50000
     
    listen admin_stats
            bind 0.0.0.0:1080
            mode http
            option httplog
            maxconn 10
            stats refresh 30s
            stats uri /stats
            stats realm XingCloud\ Haproxy
            stats auth admin:admin
            stats auth  Frank:Frank
            stats hide-version
            stats  admin if TRUE
    		
    listen rabbitmq_cluster
            bind 0.0.0.0:5670
            mode tcp
            balance roundrobin
    		server rabbit05 127.0.0.1:5672 check inter 5000 rise 2 fall 3
    		server rabbit06 node06:5672 check inter 5000 rise 2 fall 3
    		server rabbit07 node07:5672 check inter 5000 rise 2 fall 3

添加环境变量：

export PATH=$PATH:/usr/local/haproxy/sbin

启动haproxy：

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg

访问统计页面：

[**http://192.168.80.205:1080/stats**][http_192.168.80.205_1080_stats]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMjI4MTI4NDk_size_16_color_FFFFFF_t_70]

[https_blog.rabbitmq.com_posts_2012_11_breaking-things-with-rabbitmq-3-0]: https://blog.rabbitmq.com/posts/2012/11/breaking-things-with-rabbitmq-3-0
[http_192.168.80.205_1080_stats]: http://192.168.80.205:1080/stats
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMjI4MTI4NDk_size_16_color_FFFFFF_t_70]: /images/20220829/f2c0f47701264b78b079ebb402144bd9.png