HAProxy实现负载均衡（日志、监控、acl访问控制的配置）动静分离、读写分离

心已赠人 2021-11-16 08:08 276阅读 0赞

### 一、haproxy是什么？ ###

HAProxy是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。

HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。

haproxy实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。

事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space)实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作。

### 二、HAProxy的原理 ###

所谓的四层就是ISO参考模型中的第四层。四层负载均衡也称为四层交换机，它主要是通过分析IP层及TCP/UDP层的流量实现的基于IP加端口的负载均衡。  
以常见的TCP应用为例，负载均衡器在接收到第一个来自客户端的请求时，会通过设定的负载均衡算法选择一个最佳的后端服务器，同时将报文中目标IP地址修改为后端服务器IP，然后直接转发给该后端服务器，这样一个负载均衡请求就完成了。从这个过程来看，一个TCP连接是客户端和服务器直接建立的，而负载均衡器只不过完成了一个类似路由器的转发动作。在某些负载均衡策略中，为保证后端服务器返回的报文可以正确传递给负载均衡器，在转发报文的同时可能还会对报文原来的源地址进行修改。

七层负载均衡器也称为七层交换机，位于OSI的最高层，即应用层，此时负载均衡器支持多种应用协议，常见的有HTTP、FTP、SMTP等。七层负载均衡器可以根据报文内容，再配合负载均衡算法来选择后端服务器，因此也称为“内容交换器”。比如，对于Web服务器的负载均衡，七层负载均衡器不但可以根据“IP+端口”的方式进行负载分流，还可以根据网站的URL、访问域名、浏览器类别、语言等决定负载均衡的策略。例如，有两台Web服务器分别对应中英文两个网站，两个域名分别是A、B，要实现访问A域名时进入中文网站，访问B域名时进入英文网站，这在四层负载均衡器中几乎是无法实现的，而七层负载均衡可以根据客户端访问域名的不同选择对应的网页进行负载均衡处理。常见的七层负载均衡器有HAproxy、Nginx等。

这里仍以常见的TCP应用为例，由于负载均衡器要获取到报文的内容，因此只能先代替后端服务器和客户端建立连接，接着，才能收到客户端发送过来的报文内容，然后再根据该报文中特定字段加上负载均衡器中设置的负载均衡算法来决定最终选择的内部服务器。纵观整个过程，七层负载均衡器在这种情况下类似于一个代理服务器。

对比四层负载均衡和七层负载均衡运行的整个过程，可以看出，在七层负载均衡模式下，负载均衡器与客户端及后端的服务器会分别建立一次TCP连接，而在四层负载均衡模式下，仅建立一次TCP连接。由此可知，七层负载均衡对负载均衡设备的要求更高，而七层负载均衡的处理能力也必然低于四层模式的负载均衡。

### 三、HAProxy的优点 ###

（1）免费开源，稳定性也是非常好。单haproxy也跑得不错，稳定性可以与硬件级的F5相媲美。

（2）根据官方文档，haproxy可以跑满10Gbps，这个数值作为软件级负载均衡器是相当惊人的。

（3）haproxy支持连接拒绝:因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救了很多站点，这个优点也是其它负载均衡器没有的。

（4）haproxy支持全透明代理（已具备硬件防火墙的典型特点）:可以用客户端IP地址或者任何其他地址来连接后端服务器。这个特性仅在Linux 2.4/2.6内核打了tcp proxy补丁后才可以使用。这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。

（5）haproxy现多于线上的Mysql集群环境，我们常用于它作为MySQL（读）负载均衡。

（6）自带强大的监控服务器状态的页面，实际环境中我们结合Nagios进行邮件或短信报警。

（7）HAProxy支持虚拟主机，许多朋友说它不支持虚拟主机是错误的，通过测试我们知道，HAProxy是支持虚拟主机的。

### 四、搭建环境 ###

实验环境: rhel7.3 selinux and iptables disabled  
实验主机：  
172.25.60.1 (server1) haproxy

172.25.60.2 (server2) web1

172.25.60.3(server3) web2

### 五、配置负载均衡 ###

**5.1server1安装haproxy**

yum install -y haproxy.x86\_64

![2019072922114855.png][]

**5.2 server2/3 安装httpd 并修改发布页面**

yum install -y httpd

vim /var/www/html/index.html

systemctl start httpd

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70][]**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 1][]**

**5.3 修改配置文件，实现负载均衡**

vim /etc/haproxy/haproxy.cfg

63 frontend  main  
 64         bind                    \*:80  
 65         default\_backend         webserver

77 backend webserver  
 78     balance     roundrobin  
 79     server      web1 172.25.60.2:80 check  
 80     server      web1 172.25.60.3:80 check

systemctl start haproxy.service

![20190729221653507.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 2][]

**5.4 测试，实现负载均衡**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 3][]

### 六、配置日志 ###

在haproxy中，我们可以看到日志保存在本地，local需要自定义

**6.1编辑日志服务rsyslog的配置文件**

vim /etc/rsyslog.conf
    
    ## 15 16 行去掉注释
     15 $ModLoad imudp
     16 $UDPServerRun 514
    
    75 local2.*                       /var/log/haproxy.log

![20190729223740358.png][]

![20190729223801370.png][]

**6.2重启日志服务**

systemctl restart rsyslog.service

systemctl restart haproxy.service

**6.3测试**

在真机上访问server1

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 4][]

在server1查看haproxy服务的日志文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 5][]

### 七、监控服务 ###

**7.1**

vim /etc/haproxy/haproxy.cfg  
61     stats uri           /admin/stats  
 62     monitor-uri         /monitoruri  
systemctl restart haproxy.service  
真机访问172.25.60.1/admin/stats  显示监控页面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 6][]

真机访问172.25.60.1/monitoruri  显示200 OK

![20190729234354415.png][]

**6.2用户 密码登录**

63      stats auth          admin:westos  
64    stats refresh       5s  
systemctl restart haproxy.service  
真机访问172.25.35.1/admin/stats    
登陆时 需要用户验证 admin： 密码 westos  5s更新一次监控页面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 7][]

### 八、acl访问控制 ###

**8.1、编辑server1（haproxy服务器）的haproxy的配置文件**

vim /etc/haproxy/haproxy.cfg

71     acl blacklist src 172.25.60.250  
72     http-request deny if blacklist

**8.2 server1下载httpd，并编辑发布页面 修改http端口**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 8][]**

vim /etc/httpd/conf/httpd.conf

![20190730000224648.png][]

172.25.60.250 访问 172.25.60.1 页面显示 403 Forbidden

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 9][]

**8.3**/etc/haproxy/haproxy.cfg**加入此信息**

73 errorloc 403 http://172.25.35.1:8080/index.html

![20190730000519305.png][]

**8.4 重启服务**

systemctl restart httpd

systemctl restart haproxy.service

**8.5 测试**

当172.25.60.250 访问172.25.60.1 时 自动跳转到httpd（修改8080端口）的index.html

![20190730000729410.png][]

九 动静分离

**9.1**将限制ip改为除 250 的其他 acl blacklist src 172.25.60.100

**9.2**server2/3 下载php 并写入php发布目录

yum install -y php

vim /var/www/html/index.php

server2:  
<?php  
phpinfo()  
?>

![20190730001830343.png][]

server3:  
server3

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 10][]

**9.3**server1 修改配置文件

vim /etc/haproxy/haproxy.cfg

use\_backend dynamic if \{ path\_end .php \}  
default\_backend            static

backend dynamic  
    balance     roundrobin  
    server      web1 172.25.60.2:80 check

backend static  
    balance     roundrobin  
    server      web1 172.25.60.3:80 check

systemctl restart haproxy.service

**9.4测试：**

真机上访问172.25.60.1/index.php  
真机访问到server2 的 php 页面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 11][]

真机上访问172.25.60.1  
真机访问到server3 的server3 页面

![20190730002252196.png][]

十 读写分离

acl  write method POST  
        acl  write method PUT  
        acl  read method HEAD  
        acl  read method GET  
        use\_backend dynamic if write  
        use\_backend static if read

default\_backend            static

[2019072922114855.png]: /images/20211116/963eaabf18304726afd9a2ff4619ae43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70]: /images/20211116/dae1a9b2877b47fe81f915bfd4fbd31a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 1]: /images/20211116/0ee5572e28e54f319d5c251d938ee5d8.png
[20190729221653507.png]: /images/20211116/f37f2fcb878542fdad4016167f137edc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 2]: /images/20211116/d76a7dd8254b4be8951d77e04d786e6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 3]: /images/20211116/a726ada8235047ffb7198d87f50dec74.png
[20190729223740358.png]: /images/20211116/bc8bd5920f674d6a885798f64f762f83.png
[20190729223801370.png]: /images/20211116/ea5f9383481344ec9266e0e05dddc34f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 4]: /images/20211116/2cc0c61f8d5648a3b8c4addf2b4d8d9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 5]: /images/20211116/1b4e8d3e3fbb4f4aae93626b8c6048f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 6]: /images/20211116/b9c4ce0ea0bc441fa0d275f5ed61a1da.png
[20190729234354415.png]: /images/20211116/ef395d488c5448bcb41cbd1354e06792.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 7]: /images/20211116/6ed590d6165f40a48cdace9f106f2d3c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 8]: /images/20211116/15c44cc537e84f2d8e1b483649b22e71.png
[20190730000224648.png]: /images/20211116/620ac4ea03b44d68948fdc810097850a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 9]: /images/20211116/9704691549d44ae6a867f6a1973cfd99.png
[20190730000519305.png]: /images/20211116/57ff190edd0e47ecb0398da187202ef9.png
[20190730000729410.png]: /images/20211116/79832e6c1296479493e2f4555fc9140e.png
[20190730001830343.png]: /images/20211116/dc248881ae2a4e4e94ba1a52d8c861b2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 10]: /images/20211116/b23849e7168a4b19adaa56153decada0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 11]: /images/20211116/e451c19dfce54d798b0b4a58e700fa72.png
[20190730002252196.png]: /images/20211116/81a6622f6aed41e78c1bb83b14dc527b.png