LVS均衡负载（一） LVS详解

电玩女神 2022-09-25 12:23 319阅读 0赞

# LVS负载均衡（一） LVS详解                       #

## 1、LVS是什么 ##

> **       LVS（Linux Virtual Server，Linux****虚拟服务器）**是一个虚拟的服务器集群，与Nginx工作在网络体系第七层不同，LVS工作在网络体系第四层，采用IP负载均衡技术和基于内容请求分发技术。

## 2、LVS 集群分为三层结构 ##

### 2-1、负载调度器(load balancer) ###

>   它是整个LVS  集群对外的前端机器，负责将client请求发送到一组服务器\[多台LB IP\]上执行，而client端认为是返回来一个同一个IP（通常把这个IP称为虚拟IP/VIP）。

### 2-2、服务器池(server pool) ###

> 一组真正执行client请求的服务器，一般是我们的web服务器；除了web，还有FTP，MAIL，DNS。

### 2-3、共享存储(shared stored) ###

> 为所有Real Server提供共享存储空间和一致的数据内容。

**下面我们简化结构，忽略共享存储，用Director表示负载调度器，Real Server表示实际后台服务器。**

## 3、LVS的三种工作方式 ##

### 3-1、NAT：地址转换 ###

![20160909172944885][]

>    客户通过VIP（Virtual IP Address，虚拟服务的IP地址）访问网络服务时，请求报文到达调度器，调度器根据连接调度算法从一组真实服务器中选出一台服务器，将报文的目标地址VIP改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将修改后的报文发送给选出的服务器。

>    当来自真实服务器的响应报文经过调度器时，调度器将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户。

### 3-2、DR: 直接路由 ###

![20160909172945405][]

>    在VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。

>    当服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户。

### 3-3、TUN：隧道 ###

![20160909172946260][]

>       IP隧道（IP tunneling）是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。

>   利用IP隧道技术将请求报文封装转发给后端服务器，响应报文能从后端服务器直接返回给客户

### 3-4、三种方式对比 ###

![20160909172947061][]

> #### 3-4-1、NAT ####
> 
> > 集群节点跟director必须在同一个IP网络中；
> 
> > RIP通常是私有地址，仅用于各集群节点间的通信；
> 
> > director位于client和real server之间，并负责处理进出的所有通信；
> 
> > realserver必须将网关指向DIP；
> 
> > 支持端口映射；
> > 
> > realserver可以使用任意OS；
> > 
> > 较大规模应该场景中，director易成为系统瓶颈；
> 
> #### 3-4-2、DR ####
> 
> > 集群节点跟director必须在同一个物理网络中；
> > 
> > RIP可以使用公网地址，实现便捷的远程管理和监控；
> > 
> > director仅负责处理入站请求，响应报文则由realserver直接发往客户端；
> > 
> > realserver不能将网关指向DIP；
> > 
> > 不支持端口映射；
> 
> #### 3-4-3、TUN ####
> 
> > 集群节点可以跨越Internet；
> > 
> > RIP必须是公网地址；
> > 
> > director仅负责处理入站请求，响应报文则由realserver直接发往客户端；
> > 
> > realserver网关不能指向director；
> > 
> > 只有支持隧道功能的OS才能用于realserver；
> > 
> > 不支持端口映射；
> > 
> >   
> >

## 4、LVS调度策略 ##

### 4-1、四种静态调度 ###

> 无状态调度，不管realserver上实际的连接数和系统负载。
> 
> ### 4-1-1、RR（Round-Robin Scheduling,轮询调度） ###
> 
> > 最简轮询，调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器。
> 
> ### 4-1-2、WRR（Weighted Round-Robin Scheduling, 加权轮询调度） ###
> 
> > 加权轮调，它将依据不同RS的权值分配任务。权值较高的RS将优先获得任务，并且分配到的连接数将比权值较低的RS更多。    
> 
> ### 4-1-3、DH（Destination Hashing Scheduling，目标地址散列调度） ###
> 
> > 调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器。
> 
> ### 4-1-1、SH（Source Hashing Scheduling，源地址散列调度） ###
> 
> > 根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器。

### 4-2、动态调度方法 ###

> 考虑各realserver上实际的连接数和系统负载。
> 
> ### 4-2-1、LC（Least-Connection Scheduling，最小连接调度） ###
> 
> > 计算：active\*256+inactive；
> 
> > 请求会被分配到这台目前连接数最少的Real Server上面。
> 
> ### 4-2-2、WLC（Weighted Least-Connection Scheduling，加权最小连接调度） ###
> 
> > 计算：(active\*256+inactive)/weight；
> > 
> > 具有较高权值的服务器将承受较大比例的活动连接负载。
> 
> ### 4-2-3、SED（Shortest Expected Delay Scheduling，最短预期延时调度） ###
> 
> > 计算：（active+1)\*256/weight；
> 
> ### 4-2-4、NQ（Never Queue Scheduling，不排队调度） ###
> 
> ### 4-2-5、LBLC（Locality-Based Least Connections Scheduling，基于局部性的最少链接） ###
> 
> >    先根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于其一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。

> ### 4-2-6、LBLCR（Locality-Based Least Connections with Replication Scheduling，带复制的基于局部性最少链接） ###
> 
> >    先根据请求的目标IP地址找出该目标IP地址对应的服务器组；按"最小连接"原则从该服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载；则按"最小连接"原则从整个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

**默认方法：WLC；持久连接可以用SH来实现，不过ipvs实现不基于调度算法的持久连接方法，后面将会较为详细的了解；**

## 5、其他关注点 ##

## 5-1、ipvs与ipvsadm ##

> ### 5-1-1、ipvs（IP Virtual Server） ###
> 
>       ipvs是运行在linux内核空间的提供负载平衡功能的一种技术，2.4.2.3及其后版本内核内置ipvs，代码直接就可以在内核代码中找到；

> ### 5-1-2、ipvsadm ###
> 
>       ipvsadm是ipvs的用户层命令行管理工具，安装后才能使用其配置ipvs规则，命令如下：
> 
> > **管理集群服务**
> > 
> > 添加：\-A -t|u|f service-address \[-s scheduler\]
> > 
> >          -t: TCP协议的集群
> > 
> >         -u: UDP协议的集群
> > 
> >             Service-address: IP:PORT
> > 
> >         -f: FWM:  防火墙标记
> > 
> >             service-address: Mark Number
> > 
> > 修改：\-E
> > 
> > 删除：\-D -t|u|f service-address
> > 
> > **管理集群服务中的RS**
> > 
> > 添加：\-a -t|u|f service-address -r server-address \[-g|i|m\] \[-w weight\]
> > 
> >         -t|u|f service-address：事先定义好的某集群服务
> > 
> >     -r server-address:某RS的地址，在NAT模型中，可使用IP：PORT实现端口映射；
> > 
> >         \[-g|i|m\]: LVS类型    
> > 
> >             -g: DR
> > 
> >             -i: TUN
> > 
> >             -m: NAT
> > 
> >         \[-w weight\]:  定义服务器权重
> > 
> > 修改：\-e
> > 
> > 删除：\-d -t|u|f service-address -r server-address
> > 
> > 查看：
> > 
> >     -L|l
> > 
> >     -n: 数字格式显示主机地址和端口
> > 
> >     --stats：统计数据
> > 
> >     --rate: 速率
> > 
> >     --timeout:  显示tcp、tcpfin和udp的会话超时时长
> > 
> >     -c: 显示当前的ipvs连接状况
> > 
> > **删除所有集群服务**
> > 
> > \-C：清空ipvs规则
> > 
> > 保存规则
> > 
> > \-S 
> > 
> > \# ipvsadm -S > /path/to/somefile
> > 
> > 载入此前的规则：
> > 
> > \-R
> > 
> > ipvsadm -R < /path/form/somefile
> 
> ### 5-1-3、两者关系 ###
> 
>    两者关系相当于iptables和netfilter的关系，工作在LVS的Director，以实现负载平衡功能。

## 5-2、ipvs与netfilter ##

> ### 5-2-1、netfilter ###

![20160909172947385][]

>        netfilter的架构就是在整个网络流程的若干位置放置了一些检测点（HOOK），而在每个检测点上登记了一些处理函数进行处理（如包过滤、NAT等，甚至可以是用户自定义的功能）。

> ### 5-2-2、ipvs ###
> 
>        ipvs的代码就挂载在/net/netfilter/ipvs中， Ipvs是基于Netfilter框架实现的内核模块。
> 
> ### 5-2-3、两者关系 ###
> 
> ![SouthEast][]  
> 
> 
>        如上图ipvs源码中，ipvs通过注册netfilter钩子和我们用ipvsadm工具创建的Ipvs规则表使得Director可以改变数据包命运的能力，这个能力使得Director可以分发集群服务请求给多个真实服务器（集群节点）。
> 
>   当数据包命中LOCAL\_IN钩子后，运行在内核内的ipvs根据我们用ipvsadm配置的规则，可以判断出数据包是一个请求集群服务的数据包；如果是VIP地址的数据包，ipvs通知内核不应该将该数据包到传递给本地的守护进程，而应该传递给集群节点来实现，这样数据包就会发送到POST\_ROUTING钩子，数据包从连接DIP网络的网卡发送出去。

下一篇将会分别配置NAT和DR方式的集群……

【参考资料】

1.  官方参考资料: [ http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/][http_www.austintek.com_LVS_LVS-HOWTO_HOWTO]
2.  官方中文参考资料: [ http://www.linuxvirtualserver.org/zh/index.html][http_www.austintek.com_LVS_LVS-HOWTO_HOWTO]
3.  三种工作方式：《LVS 参考手册 可伸缩网络服务的设计与实现1.0版》
4.  调度策略：[http://www.linuxvirtualserver.org/docs/scheduling.html][http_www.linuxvirtualserver.org_docs_scheduling.html]
5.  Netfilter: [ http://baike.baidu.com/link?url=3gAwQegkjTiH\_EfSgCYBgSrFiAbpdokbpdrVm0jHANt05LLizLwJy1BhR3U0kafjz01R7QPp6VeLutMdNUbpsa][http_baike.baidu.com_link_url_3gAwQegkjTiH_EfSgCYBgSrFiAbpdokbpdrVm0jHANt05LLizLwJy1BhR3U0kafjz01R7QPp6VeLutMdNUbpsa]

[20160909172944885]: /images/20220717/e351a8affdb84f38b37a13dfadeeedb1.png
[20160909172945405]: /images/20220717/d9a0d56b4a9b4a3881d238bc645c8c11.png
[20160909172946260]: /images/20220717/851e24cd92dc43e7a08b984f21497693.png
[20160909172947061]: /images/20220717/50c73d887abb43c3aeefb62ab2f80809.png
[20160909172947385]: /images/20220717/3a402e95a0e24c2898a4e8e114fe58f3.png
[SouthEast]: /images/20220717/f69cbab603c3446e9d14c5c3bace165e.png
[http_www.austintek.com_LVS_LVS-HOWTO_HOWTO]: http://www.linuxvirtualserver.org/zh/index.html
[http_www.linuxvirtualserver.org_docs_scheduling.html]: http://www.linuxvirtualserver.org/docs/scheduling.html
[http_baike.baidu.com_link_url_3gAwQegkjTiH_EfSgCYBgSrFiAbpdokbpdrVm0jHANt05LLizLwJy1BhR3U0kafjz01R7QPp6VeLutMdNUbpsa]: http://baike.baidu.com/link?url=3gAwQegkjTiH_EfSgCYBgSrFiAbpdokbpdrVm0jHANt05LLizLwJy1BhR3U0kafjz01R7QPp6VeLutMdNUbpsa