LVS Linux虚拟服务

朱雀 2022-11-10 01:15 177阅读 0赞

## 1、LVS集群的三种工作模式 ##

### 1、NAT模式-网络地址转换 ###

Virtualserver via Network address translation(VS/NAT)

这个是通过网络地址转换的方法来实现调度的。首先调度器(LB)接收到客户的请求数据包时（请求的目的IP为VIP），根据调度算法决定将请求发送给哪个后端的真实服务器（RS）。然后调度就把客户端发送的请求数据包的目标IP地址及端口改成后端真实服务器的IP地址（RIP）,这样真实服务器（RS）就能够接收到客户的请求数据包了。真实服务器响应完请求后，查看默认路由（NAT模式下我们需要把RS的默认路由设置为LB服务器。）把响应后的数据包发送给LB,LB再接收到响应包后，把包的源地址改成虚拟地址（VIP）然后发送回给客户端。

原理简述：

1)客户端请求数据，目标IP为VIP  
2)请求数据到达LB服务器，LB根据调度算法将目的地址修改为RIP地址及对应端口（此RIP地址是根据调度算法得出的。）并在连接HASH表中记录下这个连接。  
3)数据包从LB服务器到达RS服务器webserver，然后webserver进行响应。Webserver的网关必须是LB，然后将数据返回给LB服务器。  
4)收到RS的返回后的数据，根据连接HASH表修改源地址VIP&目标地址CIP，及对应端口80.然后数据就从LB出发到达客户端。  
5)客户端收到的就只能看到VIP\\DIP信息。

NAT模式优缺点：

1、NAT技术将请求的报文和响应的报文都需要通过LB进行地址改写，因此网站访问量比较大的时候LB负载均衡调度器有比较大的瓶颈，一般要求最多之能10-20台节点  
2、只需要在LB上配置一个公网IP地址就可以了。  
3、每台内部的节点服务器的网关地址必须是调度器LB的内网地址。  
4、NAT模式支持对IP地址和端口进行转换。即用户请求的端口和真实服务器的端口可以不一致。

总结：  
1.负载调度器工作在真实服务器与客户端之间  
2.负载调度器必须是Linux操作系统，真实服务器可以是任意操作系统。  
3.出入站均由负载调度器转发  
4.支持端口映射：可以在编写调度规则时指定端口

### 2、TUN模式 ###

virtual server via ip tunneling

采用NAT模式时，由于请求和响应的报文必须通过调度器地址重写，当客户请求越来越多时，调度器处理能力将成为瓶颈。为了解决这个问题，调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回给客户端。这样调度器就只处理请求入站报文，由于一般网络服务应答数据比请求报文大很多，采用VS/TUN模式后，集群系统的最大吞吐量可以提高10倍。

VS/TUN，它和NAT模式不同的是，它在LB和RS之间的传输不用改写IP地址。而是把客户请求包封装在一个IP tunnel里面，然后发送给RS节点服务器，节点服务器接收到之后解开IP tunnel后，进行响应处理。并且直接把包通过自己的外网地址发送给客户不用经过LB服务器。

原理过程简述：

1）客户请求数据包，目标地址VIP发送到LB上。  
2）LB接收到客户请求包，进行IP Tunnel封装。即在原有的包头加上IP Tunnel的包头。然后发送出去。  
3）RS节点服务器根据IP Tunnel包头信息（此时就又一种逻辑上的隐形隧道，只有LB和RS之间懂）收到请求包，然后解开IP Tunnel包头信息，得到客户的请求包并进行响应处理。  
4）响应处理完毕之后，RS服务器使用自己的出公网的线路，将这个响应数据包发送给客户端。源IP地址还是VIP地址。（RS节点服务器需要在本地回环接口配置VIP，后续会讲）

总结：  
1.负载调度器与真实服务器都必须拥有公网地址，或者通过公网地址能够路由。  
2.真实服务器与调度器必须是Linux系统  
3.入站由调度器完成，出站由RS完成  
4.无法进行地址映射

### 3、DR模式（直接路由模式） ###

Virtual server via direct routing (vs/dr)

DR模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一样，DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销，对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调度器LB与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。

DR模式是[互联网][Link 1]使用比较多的一种模式。

结构：以下主机处于同一广播域  
客户端  
负载调度器  
真实服务器

DR模式原理图：

![wKioL1LI1dqyFjlyAAC0xTSJtmo980.jpg][]

DR模式原理过程简述：

VS/DR模式的工作流程图如上图所示，它的连接调度和管理与NAT和TUN中的一样，它的报文转发方法和前两种不同。DR模式将报文直接路由给目标真实服务器。在DR模式中，调度器根据各个真实服务器的负载情况，连接数多少等，动态地选择一台服务器，不修改目标IP地址和目标端口，也不封装IP报文，而是将请求报文的数据帧的目标MAC地址改为真实服务器的MAC地址。然后再将修改的数据帧在服务器组的局域网上发送。因为数据帧的MAC地址是真实服务器的MAC地址，并且又在同一个局域网。那么根据局域网的通讯原理，真实复位是一定能够收到由LB发出的数据包。真实服务器接收到请求数据包的时候，解开IP包头查看到的目标IP是VIP。（此时只有自己的IP符合目标IP才会接收进来，所以我们需要在本地的回环借口上面配置VIP。另：由于网络接口都会进行ARP广播响应，但集群的其他机器都有这个VIP的lo接口，都响应就会冲突。所以我们需要把真实服务器的lo接口的ARP响应关闭掉。）然后真实服务器做成请求响应，之后根据自己的路由信息将这个响应数据包发送回给客户，并且源IP地址还是VIP。

DR模式小结：

1、通过在调度器LB上修改数据包的目的MAC地址实现转发。注意源地址仍然是CIP，目的地址仍然是VIP地址。  
2、请求的报文经过调度器，而RS响应处理后的报文无需经过调度器LB，因此并发访问量大时使用效率很高（和NAT模式比）  
3、因为DR模式是通过MAC地址改写机制实现转发，因此所有RS节点和调度器LB只能在一个局域网里面  
4、RS主机需要绑定VIP地址在LO接口上，并且需要配置ARP抑制。  
5、RS节点的默认网关不需要配置成LB，而是直接配置为上级路由的网关，能让RS直接出网就可以。  
6、由于DR模式的调度器仅做MAC地址的改写，所以调度器LB就不能改写目标端口，那么RS服务器就得使用和VIP相同的端口提供服务。

总结：  
1.负载调度器与真实服务器处于同一广播域  
2.负载调度器必须是Linux系统，真实服务器必须是类Linux系统  
3.入站由调度器负责完成，出站由真实服务器调度完成  
4.不支持端口映射

总结  
并发能力：DR>TUN>NAT  
使用面积：NAT（更灵活）/DR（并发高）>TUN

官方三种负载均衡技术比较总结表：

<table> 
 <thead> 
  <tr> 
   <th>工作模式</th> 
   <th>VS/NAT</th> 
   <th>VS/TUN</th> 
   <th>VS/DR</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Real server（节点服务器）</td> 
   <td>Config dr gw</td> 
   <td>Tunneling</td> 
   <td>Non-arp device/tie vip</td> 
  </tr> 
  <tr> 
   <td>Server Network</td> 
   <td>Private</td> 
   <td>LAN/WAN</td> 
   <td>LAN</td> 
  </tr> 
  <tr> 
   <td>Server number（节点数量）</td> 
   <td>Low 10-20</td> 
   <td>High 100</td> 
   <td>High 100</td> 
  </tr> 
  <tr> 
   <td>Real server gateway</td> 
   <td>Load balance</td> 
   <td>Own router</td> 
   <td>Own router</td> 
  </tr> 
  <tr> 
   <td>优点</td> 
   <td>地址和端口转换</td> 
   <td>Wan环境加密数据</td> 
   <td>性能最高</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>效率低</td> 
   <td>需要隧道支持</td> 
   <td>不能跨域LAN</td> 
  </tr> 
 </tbody> 
</table>

### 4、LVS调度算法 ###

最好参考此文章：http://www.linuxvirtualserver.org/zh/lvs4.html

Lvs的调度算法决定了如何在集群节点之间分布工作负荷。当director调度器收到来自客户端访问VIP的上的集群服务的入站请求时，director调度器必须决定哪个集群节点应该处理请求。Director调度器用的调度方法基本分为两类：

固定调度算法：rr，wrr，dh，sh  
动态调度算法：wlc，lc，lblc，lblcr  
动态算法中把连接分为两类：  
活动连接：已经握手并且在传输数据  
非活动连接：已经握手但是没有传输数据  
活动连接的压力是非活动连接的256倍

<table> 
 <thead> 
  <tr> 
   <th>算法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>rr</td> 
   <td>轮询算法，它将请求依次分配给不同的rs节点，也就是RS节点中均摊分配。这种算法简单，但只适合于RS节点处理性能差不多的情况</td> 
  </tr> 
  <tr> 
   <td>wrr</td> 
   <td>加权轮训调度，它将依据不同RS的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值低的RS更多。相同权值的RS得到相同数目的连接数。</td> 
  </tr> 
  <tr> 
   <td>Wlc</td> 
   <td>加权最小连接数调度，假设各台RS的全职依次为Wi，当前tcp连接数依次为Ti，依次去Ti/Wi为最小的RS作为下一个分配的RS<br>计算方法：（活动连接＊256＋非活动连接）／权重=压力值</td> 
  </tr> 
  <tr> 
   <td>Dh</td> 
   <td>目的地址哈希调度（destination hashing）以目的地址为关键字查找一个静态hash表来获得需要的RS</td> 
  </tr> 
  <tr> 
   <td>SH</td> 
   <td>源地址哈希调度（source hashing）以源地址为关键字查找一个静态hash表来获得需要的RS</td> 
  </tr> 
  <tr> 
   <td>Lc</td> 
   <td>最小连接数调度（least-connection）,IPVS表存储了所有活动的连接。LB会比较将连接请求发送到当前连接最少的RS.<br>计算方法：活动连接＊256＋非活动连接=压力值</td> 
  </tr> 
  <tr> 
   <td>Lblc</td> 
   <td>基于地址的最小连接数调度（locality-based least-connection）：将来自同一个目的地址的请求分配给同一台RS，此时这台服务器是尚未满负荷的。否则就将这个请求分配给连接数最小的RS，并以它作为下一次分配的首先考虑。</td> 
  </tr> 
  <tr> 
   <td>SED</td> 
   <td>最短期望延迟：特殊的WLC算法<br>计算方法：（活动连接＋1）＊256／权重=压力值</td> 
  </tr> 
  <tr> 
   <td>NQ</td> 
   <td>特殊SED算法。无需等待，若有真实服务器连接数为0，无需运算，直接分配给它。</td> 
  </tr> 
  <tr> 
   <td>LBLCR</td> 
   <td>LBLC+缓存：尽可能提高负载均衡和缓存命中率的折中方案，缓存服务器的数据可以从另一台缓存服务器获取而不是真实服务器</td> 
  </tr> 
 </tbody> 
</table>

LVS调度算法的生产环境选型：  
1、一般的网络服务，如http，mail，mysql等常用的LVS调度算法为：  
a.基本轮询调度rr  
b.加权最小连接调度wlc  
c.加权轮询调度wrc  
2、基于局部性的最小连接lblc和带复制的给予局部性最小连接lblcr主要适用于web cache和DB cache  
3、源地址散列调度SH和目标地址散列调度DH可以结合使用在防火墙集群中，可以保证整个系统的出入口唯一。

总结：生产环境最常用的是RR算法

### 5、持久化连接 ###

1.算法类似于SH，但是有时间限制  
2.持久化连接不属于调度算法，但是会应用于算法，并且比算法优先级更高  
持久化连接可运用于HTTPS连接。在HTTPS中，客户端与服务器要经过大量的连接，才能进行数据发送。为了防止调度器将客户端的访问每次分发给不同的服务器，这会造成多次HTTPS连接，占用大量资源，所以要使用持久化连接。

PCC（持久客户端连接）：  
将来自于同一个客户端的所有请求都定向至此前选定的RS，也就是说只要IP相同，分配的服务器始终相同。  
相同地址，不同端口也算1不同集群，即10.10.10.100:80可以定向到不同RS的80端口，10.10.10.100:443可以定向到不同RS的443端口，但使用PCC的话，只要客户端访问的IP地址相同，就会调度至同一台RS，而不会去看端口的差别。

$ ipvsadm -A -t 192.168.221.11:0 -s wlc -p 120

PPC（持久端口连接）：  
将来自同一客户端对同一服务（即端口）的请求，始终定向至此前选定的RS。  
比如一开始访问的是192.168.221.11:80端口，请求被定向到了RS1，当访问192.168.221.11:443端口，此时的定向不一定与访问80端口时相同，应重新计算，PPC不按IP区分，而是按照端口区分。

$ ipvsadm -A -t 192.168.221.11:80 -s rr -p 120

PFMC（持久防火墙标记连接）：  
将来自同一客户端对指定服务（端口）的请求，始终定向至选定的RS；不过它可以将两个毫不相关的端口定义为一个集群服务。

## 2、实验 ##

### 1、LVS - NAT 模式集群 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MDQyNjc5Mg_size_16_color_FFFFFF_t_70]

**真实服务器**

1.修改IP与掩码，添加网关，网关为内网网关
     $ vim /etc/sysconfig/network-scripts/ifcfg-eth0
    	ONBOOT=yes
    	BOOTPROTO=none
    	IPADDR=192.168.1.30
    	NETMASK=255.255.255.0
    	GATEWAY=192.168.1.20
    $ service network restart
    $ route -n
    
    2.安装httpd
    $ yum -y install httpd
    $ echo "111111111" >> ./index.html		#此处为了试验区别而写
    $ service httpd start
    $ chkconfig httpd on

**网关服务器（负载调度器）**

1.配置网卡，需要俩块网卡，一个为外网，一个为内网，两网卡不在同一网段
    内网：
    $ vim /etc/sysconfig/network-scripts/ifcfg-eth0
    	ONBOOT=yes
    	BOOTPROTO=static
    	IPADDR=192.168.1.20
    	NETMASK=255.255.255.0
    公网：
    $ vim /etc/sysconfig/network-scripts/ifcfg-eth1
    	ONBOOT=yes
    	BOOTPROTO=static
    	IPADDR=192.168.2.10
    	NETMASK=255.255.255.0
    $ service network restart
    	
    2.开启路由转发
    $ vim /etc/sysctl.conf
    	net.ipv4.ip_forward=1
    $ sysctl -p		
    #刷新syscon.conf文件
    
    3.安装管理工具
    $ yum -y install ipvsadm
    $ ipvsadm -A -t 192.168.2.10:80(公网地址) -s rr(轮询算法)		
    # -t	指定tcp集群
    # -p 秒数		这里可以加-p指定秒数，开启持久化连接
    $ ipvsadm -a -t 192.168.2.10:80(公网地址) -r 192.168.1.30:80(服务器地址) -m(LVS-NAT模式)
    $ ipvsadm -a -t 192.168.2.10:80(公网地址) -r 192.168.1.40:80(服务器地址) -m(LVS-NAT模式)	
    $ ipvsadm -Ln		#查看
    $ service ipvsadm save
    $ chkconfig ipvsadm on
    
    4.开启防火墙，此步骤可省略
    $ service iptables start
    $ chkconfig iptables on
    $ iptables -L		#如果有对应规则，执行 iptables -F 清空规则
    $ iptables -t nat -A POSTROUTING -s 192.168.1.0/24（指定自己的内网网段） -o eth1（自定自己公网网卡名称） -j SNAT --to-source 192.168.2.10（指定调度器公网地址）
    $ iptables -t nat -L	# 查看防火墙 NAT 规则
    $ service  iptables save	# 保存防火墙规则至持久化文件
    
    其他相关命令
    $ ipvsadm -Ln --stats		#查看出入站信息
    $ ipvsadm -D -t 192.168.2.10:80		#删除集群
    $ ipvsadm -d -t 192.168.2.10:80 -r 192.168.1.30		#删除集群内的某一规则

**公网客户端访问验证**

$ vim /etc/sysconfig/network-scripts/ifcfg-eth
    	ONBOOT=yes
    	BOOTPROTO=static
    	IPADDR=192.168.2.100
    	NETMASK=255.255.255.0
     $ service network restart
     $ while 2>1; do curl 192.168.2.10; sleep 1s; done

### 2、LVS - DR 模式集群 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MDQyNjc5Mg_size_16_color_FFFFFF_t_70 1]

**真实服务器 两台**

第一台：
    $ service NetworkManager stop
    $ cd /etc/sysconfig/network-scripts/
    $ cp ifcfg-lo ifcfg-lo:0
    $ vim ifcfg-lo:0
        DEVICE=lo:0
        IPADDR=虚拟IP
        NETMASK=255.255.255.255
    $ vim /etc/sysctl.conf		# 在文件尾部添加下面内容
    #lvs arp
    net.ipv4.conf.all.arp_ignore = 1
    net.ipv4.conf.all.arp_announce = 2
    net.ipv4.conf.default.arp_ignore = 1
    net.ipv4.conf.default.arp_announce = 2
    net.ipv4.conf.lo.arp_ignore = 1
    net.ipv4.conf.lo.arp_announce = 2
    $ sysctl -p
    $ ifup lo:0
    $ route add -host 192.168.1.100 dev lo:0
    # route add -host 虚拟IP dev lo:0
    $ route -n
    $ yum -y install httpd
    $ echo "1111111111111" >> /var/www/html/index.html
    $ service httpd start
    
    第二台：同上，只是网页内容不同
    $ service NetworkManager stop
    $ cd /etc/sysconfig/network-scripts/
    $ cp ifcfg-lo ifcfg-lo:0
    $ vim ifcfg-lo:0
        DEVICE=lo:0
        IPADDR=虚拟IP
        NETMASK=255.255.255.255
    $ vim /etc/sysctl.conf		# 在文件尾部添加下面内容
    #lvs arp
    net.ipv4.conf.all.arp_ignore = 1
    net.ipv4.conf.all.arp_announce = 2
    net.ipv4.conf.default.arp_ignore = 1
    net.ipv4.conf.default.arp_announce = 2
    net.ipv4.conf.lo.arp_ignore = 1
    net.ipv4.conf.lo.arp_announce = 2
    $ sysctl -p
    $ ifup lo:0
    $ route add -host 192.168.1.100 dev lo:0
    # route add -host 虚拟IP dev lo:0
    $ route -n
    $ yum -y install httpd
    $ echo "aaaaaaaaaaaaa" >> /var/www/html/index.html
    $ service httpd start

**负载调度器 一台**

$ service NetworkManager stop
    $ cd /etc/sysconfig/network-scripts/
    $ cp ifcfg-eth0 ifcfg-eth0:0
    $ vim ifcfg-eth0:0
    	DEVICE=eth0:0
    	IPADDR=虚拟IP
    	NETMASK=255.255.255.0
    $ ifup eth0:0
    $ vim /etc/sysctl.conf
    	# lvs send_redirects
    	net.ipv4.conf.eth0.send_redirects = 0
    	net.ipv4.conf.all.send_redirects = 0
    	net.ipv4.conf.default.send_redirects = 0
    $ sysctl -p
    $ yum -y install ipvsadm
    $ ipvsadm -A -t 192.168.1.100:80 -s rr
    	# ipvsadm -A -t 虚拟IP:80 -s rr
    $ ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -g
    	# ipvsadm -a -t 虚拟IP:80 -r 网站1:80 -g(LVS-DR模式)
    $ ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.40:80 -g
    	# ipvsadm -a -t 虚拟IP:80 -r 网站2:80 -g(LVS-DR模式)
    $ ipvsadm -Ln
    $ service ipvsadm save
    $ chkconfig ipvsadm on
    
    $ ipvsadm -Ln --stats		#查看出入站信息

**客户端测试机 一台**

$ while 2>1; do curl 192.168.1.100; sleep 1s; done

LVS-DR 健康监测脚本

#!/bin/bash
            VIP=192.168.10.3	#集群虚拟IP
            CPORT=80	#定义集群端口
            FAIL_BACK=127.0.0.1	#本机回环地址
            RS=("192.168.10.7" "192.168.10.8")	#编写集群地址
            declare -a RSSTATUS  #变量RSSTATUS定义为数组态
            RW=("2" "1")
            RPORT=80	#定义集群端口
            TYPE=g	#制定LVS工作模式：g=DR m=NAT
            CHKLOOP=3
            LOG=/var/log/ipvsmonitor.log
            addrs() {
        
              ipvsadm -a -t $VIP:$CPORT -r $1:$RPORT -$TYPE -w $2
              [ $? -eq 0 ] && return 0 || return 1
            }
            delrs() {
        
              ipvsadm -d -t $VIP:$CPORT -r $1:$RPORT
              [ $? -eq 0 ] && return 0 || return 1
            }
            checkrs() {
        
              local I=1
              while [ $I -le $CHKLOOP ]; do
                if curl --connect-timeout 1 http://$1 &> /dev/null; then
                  return 0
                fi
                let I++
              done
              return 1
            }
            initstatus() {
        
              local I
              local COUNT=0;
              for I in ${RS[*]}; do
                if ipvsadm -L -n | grep "$I:$RPORT" && > /dev/null ; then
                  RSSTATUS[$COUNT]=1
                else
                  RSSTATUS[$COUNT]=0
                fi
              let COUNT++
              done
            }
            initstatus
            while :; do
              let COUNT=0
              for I in ${RS[*]}; do
                if checkrs $I; then
                  if [ ${RSSTATUS[$COUNT]} -eq 0 ]; then
                     addrs $I ${RW[$COUNT]}
                     [ $? -eq 0 ] && RSSTATUS[$COUNT]=1 && echo "`date +'%F %H:%M:%S'`, $I is back." >> $LOG
                  fi
                else
                  if [ ${RSSTATUS[$COUNT]} -eq 1 ]; then
                     delrs $I
                     [ $? -eq 0 ] && RSSTATUS[$COUNT]=0 && echo "`date +'%F %H:%M:%S'`, $I is gone." >> $LOG
                  fi
                fi
                let COUNT++
              done
              sleep 5
            done

### 3、四-七层负载 ###

四层：并发高  
七层：安全、识别主机名和域名

实验步骤：

六台主机：  
1.LVS  
2.nginx  
3.nginx  
4.www.hongfu.com1  
5.www.hongfu.com2  
6.mail.hongfu.com

#第6台主机
    $ yum -y install httpd
    $ service httpd start
    $ echo "mail.hongfu.com" >> /var/www/html/index.html
    
    #第5台主机
    $ yum -y install httpd
    $ service httpd start
    $ echo "www.hongfu.com-2" >> /var/www/html/index.html
    
    #第4台主机
    $ yum -y install httpd
    $ service httpd start
    $ echo "www.hongfu.com-1" >> /var/www/html/index.html
    
    #第3台主机
    #源码包安装nginx，解压，进入目录
    $ useradd -s /sbin/login -M nginx
    $ yum -y install pcre pcre-devel zlib zlib-devel gcc
    $ ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx
    $ make && make install
    $ vim /usr/local/nginx/conf/nginx.conf
    #详细编辑见下图
    $ /usr/local/nginx/sbin/nginx -t
    $ /usr/local/nginx/sbin/nginx
    
    #编辑Windows的host文件，将www/mail.hongfu.com都指向这台机器，然后浏览器测试
    192.168.221.182 www.hongfu.com
    192.168.221.182 mail.hongfu.com
    #再创建一个回环地址子接口
    $ cd /etc/sysconfig/network-scripts
    $ cp -a ifcfg-lo ifcfg-lo:0
    $ vim ifcfg-lo:0
    DEVICE=lo:0
    IPADDR=VIP
    NETMASK=255.255.255.255
    $ ifup lo:0
    $ vim /etc/sysctl.conf
    net.ipv4.conf.all.arp_ignore = 1
    net.ipv4.conf.all.arp_announce = 2
    net.ipv4.conf.default.arp_ignore = 1
    net.ipv4.conf.default.arp_announce = 2
    net.ipv4.conf.lo.arp_ignore = 1
    net.ipv4.conf.lo.arp_announce = 2
    $ sysctl -p
    $ /sbin/route add -host VIP dev lo:0
    $ echo "/sbin/route add -host VIP dev lo:0" >> /etc/rc.local
    
    #第2台主机
    $ yum -y install pcre pcre-devel zlib zlib-devel
    #直接用第三台主机，发送整个nginx文件夹至第二台
    $ scp -r /usr/local/nginx root@192.168.221.181:/usr/local/
    #第二台主机：
    $ useradd -s /sbin/nologin -M nginx
    $ /usr/local/nginx/sbin/nginx
    #编辑Windows的host文件，将www/mail.hongfu.com都指向这台机器，然后浏览器测试
    192.168.221.181 www.hongfu.com
    192.168.221.181 mail.hongfu.com
    #再创建一个回环地址子接口
    $ cd /etc/sysconfig/network-scripts
    $ cp -a ifcfg-lo ifcfg-lo:0
    $ vim ifcfg-lo:0
    DEVICE=lo:0
    IPADDR=VIP
    NETMASK=255.255.255.255
    $ ifup lo:0
    $ vim /etc/sysctl.conf
    net.ipv4.conf.all.arp_ignore = 1
    net.ipv4.conf.all.arp_announce = 2
    net.ipv4.conf.default.arp_ignore = 1
    net.ipv4.conf.default.arp_announce = 2
    net.ipv4.conf.lo.arp_ignore = 1
    net.ipv4.conf.lo.arp_announce = 2
    $ sysctl -p
    $ /sbin/route add -host VIP dev lo:0
    $ echo "/sbin/route add -host VIP dev lo:0" >> /etc/rc.local
    
    #第1台主机
    $ cd /etc/sysconfig/network-scripts
    $ cp -a ifcfg-eth0 ifcfg-eth0:0
    $ vim ifcfg-eth0:0
    DEVICE=eth0:0
    IPADDR=VIP
    $ vim /etc/sysctl.conf
    net.ipv4.conf.eth0.send_redirects = 0
    net.ipv4.conf.all.send_redirects = 0
    net.ipv4.conf.default.send_redirects = 0
    $ sysctl -p
    $ yum -y install ipvsadm
    $ ipvsadm -A -t 192.168.221.100:80 -s rr
    $ ipvsadm -a -t 192.168.221.100:80 -r 192.168.221.181:80 -g
    $ ipvsadm -a -t 192.168.221.100:80 -r 192.168.221.182:80 -g
    $ service ipvsadm save
    #编辑Windows的host文件，将www/mail.hongfu.com都指向这台机器，然后浏览器测试
    192.168.221.100 www.hongfu.com
    192.168.221.100 mail.hongfu.com

nginx配置文件编辑：（代码在下方）

#gzip on;
       upstream www.hongfu.com{
        
         server 192.168.221.181:80;
         server 192.168.221.182:80;
       }
       upstream mail.hongfu.com{
        
         server 192.168.221.180:80;
       }
       server {
        
         listen    80;
         server_name www.hongfu.com;
    
         location / {
        
           proxy_pass http://www.hongfu.com;
         }
    
         error_page  500 502 503 504 /50x.html;
         location = /50x.html {
        
           root  html;
         }
       }
       server {
        
         listen    80;
         server_name mail.hongfu.com;
    
         location / {
        
           proxy_pass http://mail.hongfu.com;
         }
    
         error_page  500 502 503 504 /50x.html;
         location = /50x.html {
        
           root  html;
         }
       }

[Link 1]: http://www.it165.net/news/nhlw/
[wKioL1LI1dqyFjlyAAC0xTSJtmo980.jpg]: /images/20221023/dc3e94f77ded4d7e97c23a9b56214fc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MDQyNjc5Mg_size_16_color_FFFFFF_t_70]: /images/20221023/17ad2178aa394c4ea880d5c0fa37d307.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl81MDQyNjc5Mg_size_16_color_FFFFFF_t_70 1]: /images/20221023/8b3d70aa659e474aa5c1b824540b211f.png