负载均衡之四层负载均衡lvs

深藏阁楼爱情的钟 2022-05-22 06:44 272阅读 0赞

# 一，概念 #

lvs四层负载均衡  
nat模式  
后端服务器支持数量10-20台  
使用最少两个网段  
可以说是3层负载均衡  
**dr模式**  
后端服务器支持数量100+台  
使用一个网段  
可以说是2层负载均衡  
隧道模式  
后端服务器支持数量100左右  
异地负载均衡 realserver必须使用公网Ip，还得需要服务器支持ip隧道协议  
  
full-nat  
  
↓↑↵→←↔  
  
nat:数据流向从client-->dr--->rs   rs-->dr--->client  
                  client cip  
                  ↑↓  
                  ↑↓------->vip  
                   dr  
                   ↑↓------->dip  
            ----------------  
           ↑↓                ↓  
            rs1              rs2----->rip  
  
dr模式：流量从client-->dr-->rs   rs-->client  
→→→→→→ **client** cip  
↑                          ↓  
↑                          ↓------->vip  
↑                         **dr**  
↑                           ↓------->dip  
↑                           +-------------+  
←←←←←←← ↓                 ↓  
                            **rs1             rs2**\----->rip

# 二，dr模型实验 #

dr模式  
3台机器  
192.168.78.134 dr 做负载均衡 叫分发器  
192.168.78.142 web1 rs1  
192.168.78.145 web2 rs2  
  
一般是在dr添加网卡后上面通过\#route -n 看到最下面的网卡就是作为虚拟IP的网卡  
首先给dr这台机器添加一个网卡dr这台机器关机后添加网卡，使dr有两个网卡,新添加的网卡一般是ifcfg-ens37，在 /etc/sysconfig/network-scripts/里面把ifcfg-ens33复制一份  
\#scp ifcfg-ens33 ifcfg-ens37  
\#vim ifcfg-ens37 把里面的网卡名字改成ens37  
就是添加网卡配置 \#systemctl restart network  
如果新加的动态IP不行，就把它改为静态的

## 1.两个rs上部署web服务 ##

\#yum -y install nginx  
修改主机内容  
启动服务：  
\#systemctl start nginx

## 2.给两个web服务器的lo网卡设置子网掩码为32位的vip(虚拟IP) ##

rs1:  
\#ifconfig lo:0 192.168.78.147/32  
rs2:  
\#ifconfig lo:0 192.168.78.147/32

## 3.给两个web服务器设置内核参数 ##

为了让vip发包出去  
\#echo 2 > /proc/sys/net/ipv4/conf/all/arp\_announce  
忽略arp响应  
\#echo 1 > /proc/sys/net/ipv4/conf/all/arp\_ignore

## 4.保证dr这台机器 数据包是从dip发送出去的 ##

谁的路由条目在上面，谁就是dip，另一个就是vip

## 5.在dr上面设置lvs路由条目 ##

\#yum install ipvsadm -y  
\#ipvsadm -A -t 192.168.78.147:80 -s rr  
\#ipvsadm -a -t 192.168.78.147:80 -r 192.168.78.142:80 -g  
\#ipvsadm -a -t 192.168.78.147:80 -r 192.168.78.145:80 -g  
\-A 添加virtual server  
\-t 指定使用tcp协议  
\-s 指定调度策略为rr  
\-a 添加realserver  
\-r 指定realserver的IP  
\-g 直接路由模式 （dr模式）  
  
设置开机生效  
\# ipvsadm-save > /etc/sysconfig/ipvsadm  
\# systemctl enable ipvsadm  
  
\[root@nginx network-scripts\]\# ipvsadm -Ln  
IP Virtual Server version 1.2.1 (size=4096)  
Prot LocalAddress:Port Scheduler Flags  
\-> RemoteAddress:Port Forward Weight ActiveConn InActConn  
TCP 192.168.78.147:80 rr  
\-> 192.168.78.142:80 Route 1 0 0  
\-> 192.168.78.145:80 Route 1 0 0  
  
另外找一台机器测试：  
elinks需要安装  
\#elinks --dump [http://192.168.78.147][http_192.168.78.147]（也可以用浏览器访问）  
结果是轮流的访问rs1和rs2，实现负载均衡  
  
抓包  
tcpdump -i ens33 tcp port 80 -v -nn  
\-i 指定网卡  
tcp 抓tcp协议的数据包  
port指定要抓哪个端口的包  
\-v 显示详细信息  
\-nn 以数字的形式显示ip和端口  
  
ipvsadm的参数：  
  
\-A –add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也  
就是增加一台新的虚拟服务器。  
\-E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。  
\-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。  
\-C –clear 清除内核虚拟服务器表中的所有记录。  
\-R –restore 恢复虚拟服务器规则  
\-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式  
\-a –add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器  
记录。也就是在一个虚拟服务器中增加一台新的真实服务器  
\-e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录  
\-d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录  
\-L|-l –list 显示内核虚拟服务器表  
\-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）  
–set tcp tcpfin udp 设置连接超时值  
–start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说  
明LVS Router 是master 或是backup。在这个功能上也可以采用[keepalived][] 的  
VRRP 功能。  
–stop-daemon 停止同步守护进程  
\-h –help 显示帮助信息  
其他的选项:  
\-t –tcp-service service-address 说明虚拟服务器提供的是tcp 的服务  
\[vip:port\] or \[real-server-ip:port\]  
\-u –udp-service service-address 说明虚拟服务器提供的是udp 的服务  
\[vip:port\] or \[real-server-ip:port\]  
\-f –fwmark-service fwmark 说明是经过[iptables][] 标记过的服务类型。  
\-s –scheduler scheduler 使用的调度算法，有这样几个选项  
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,  
默认的调度算法是： wlc.  
\-p –persistent \[timeout\] 持久稳固的服务。这个选项的意思是来自同一个客  
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。  
\-M –netmask netmask persistent granularity mask  
\-r –real-server server-address 真实的服务器\[Real-Server:port\]  
\-g –gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）  
\-i –ipip 指定LVS 的工作模式为隧道模式  
\-m –masquerading 指定LVS 的工作模式为NAT 模式  
\-w –weight weight 真实服务器的权值  
–mcast-interface interface 指定组播的同步接口  
\-c –connection 显示LVS 目前的连接 如：ipvsadm -L -c  
–timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L –timeout  
–daemon 显示同步守护进程状态  
–stats 显示统计信息  
–rate 显示速率信息  
–sort 对虚拟服务器和真实服务器排序输出  
–numeric -n 输出IP 地址和端口的数字形式

## 补充： ##

### shell脚本：LVS启动简易脚本 ###

LVS成功安装之后，可以命令行模式命令实现，也可以自定义脚本执行，方便快捷，可扩展性较好；DR主机也可以使用脚本执行vip的绑定和arp的抑制；  
DR自动启动ipvs的脚本：  
VIP如有多个的话可以定义数组，RIP定义为数组，如有多个添加即可；  
\[root@localhost ~\]\# cat ipvs.sh  
\#!/bin/bash  
\#written by linuxidc@2015-11-17  
\#simple ipvs start/stop scripts  
  
. /etc/init.d/functions  
  
VIP=192.168.20.100  
RIP=(  
192.168.20.10  
192.168.20.11  
)  
  
PORT=80  
IPVSADM=/sbin/ipvsadm  
IFCONFIG=/sbin/ifconfig  
  
function ipvs\_start()\{  
$IFCONFIG eth0:0 $VIP/24 up  
$IPVSADM -C  
$IPVSADM --set 30 5 60  
$IPVSADM -A -t $VIP:$PORT -s rr -p 20  
  
for((i=0;i<$\{\#RIP\[\*\]\};i++))  
do  
$IPVSADM -a -t $VIP:$PORT -r $\{RIP\[$i\]\} -g -w 1  
done  
\}  
  
function ipvs\_stop()\{  
$IFCONFIG eth0:0 down  
$IPVSADM -C  
\}  
  
case "$1" in  
start)  
ipvs\_start  
action "ipvs is started" /bin/true  
;;  
stop)  
ipvs\_stop  
action "ipvs is stopped" /bin/true  
;;  
\*)  
printf "USAGE:$0 \{start|stop\} \\n"  
esac  
RS启动ipvs脚本：  
\[root@localhost ~\]\# cat lvs\_rs.sh  
\#!/bin/bash  
\#written by linuxidc@2015-11-17  
VIP=192.168.20.100  
IFCONFIG=/sbin/ifconfig  
$IFCONFIG lo:0 $VIP/32 up  
echo "1" >/proc/sys/net/ipv4/conf/lo/arp\_ignore  
echo "2" >/proc/sys/net/ipv4/conf/lo/arp\_announce  
echo "1" >/proc/sys/net/ipv4/conf/all/arp\_ignore  
echo "2" >/proc/sys/net/ipv4/conf/all/arp\_announce  
  
LVS+Keepalived实现四层负载及高可用 [http://www.linuxidc.com/Linux/2015-02/112695.htm][http_www.linuxidc.com_Linux_2015-02_112695.htm]  
LVS+Keepalived高可用负载均衡集群架构实验 [http://www.linuxidc.com/Linux/2015-01/112560.htm][http_www.linuxidc.com_Linux_2015-01_112560.htm]  
Heartbeat+LVS构建高可用负载均衡集群 [http://www.linuxidc.com/Linux/2014-09/106964.htm][http_www.linuxidc.com_Linux_2014-09_106964.htm]  
搭建LVS负载均衡测试环境 [http://www.linuxidc.com/Linux/2014-09/106636.htm][http_www.linuxidc.com_Linux_2014-09_106636.htm]  
一个针对LVS的压力测试报告 [http://www.linuxidc.com/Linux/2015-03/114422.htm][http_www.linuxidc.com_Linux_2015-03_114422.htm]  
[CentOS][] 7.0下安装部署LVS [http://www.linuxidc.com/Linux/2015-05/117475.htm][http_www.linuxidc.com_Linux_2015-05_117475.htm]  
本文永久更新链接地址： [http://www.linuxidc.com/Linux/2015-11/125319.htm][http_www.linuxidc.com_Linux_2015-11_125319.htm]

[http_192.168.78.147]: http://192.168.78.147
[keepalived]: http://www.ha97.com/tag/keepalived
[iptables]: http://www.ha97.com/tag/iptables
[http_www.linuxidc.com_Linux_2015-02_112695.htm]: https://www.linuxidc.com/Linux/2015-02/112695.htm
[http_www.linuxidc.com_Linux_2015-01_112560.htm]: https://www.linuxidc.com/Linux/2015-01/112560.htm
[http_www.linuxidc.com_Linux_2014-09_106964.htm]: https://www.linuxidc.com/Linux/2014-09/106964.htm
[http_www.linuxidc.com_Linux_2014-09_106636.htm]: https://www.linuxidc.com/Linux/2014-09/106636.htm
[http_www.linuxidc.com_Linux_2015-03_114422.htm]: https://www.linuxidc.com/Linux/2015-03/114422.htm
[CentOS]: http://www.linuxidc.com/topicnews.aspx?tid=14
[http_www.linuxidc.com_Linux_2015-05_117475.htm]: https://www.linuxidc.com/Linux/2015-05/117475.htm
[http_www.linuxidc.com_Linux_2015-11_125319.htm]: https://www.linuxidc.com/Linux/2015-11/125319.htm