LVS负载均衡（LVS简介、三种工作模式、十种调度算法）

清疚 2022-02-27 01:49 326阅读 0赞

负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。

# 一、LVS简介 #

LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器。

比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。

LVS (Linux Virtual Server)其实是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。  
  为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。一般来说，LVS集群采用三层结构。

LVS主要组成部分  
  负载调度器(load balancer/ Director)，它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。  
  服务器池(server pool/ Realserver)，是一组真正执行客户请求的服务器，执行的服务一般有WEB、MAIL、FTP和DNS等。  
  共享存储(shared storage)，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。

其体系结构如图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70][]

最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 1][]

# 二、三种工作模式的解析。 #

## 1、基于NAT的LVS模式负载均衡 ##

**NAT（Network Address Translation）即网络地址转换，其作用是通过数据报头的修改，使得位于企业内部的私有IP地址可以访问外网，以及外部用用户可以访问位于公司内部的私有IP主机**。

VS/NAT工作模式拓扑结构如图2所示，**LVS负载调度器可以使用两块网卡配置不同的IP地址，eth0设置为私钥IP与内部网络通过交换设备相互连接，eth1设备为外网IP与外部网络联通**。

第一步，用户通过互联网DNS服务器解析到公司负载均衡设备上面的外网地址，相对于真实服务器而言，LVS外网IP又称VIP（Virtual IP Address），用户通过访问VIP，即可连接后端的真实服务器（Real Server），而这一切对用户而言都是透明的，用户以为自己访问的就是真实服务器，但他并不知道自己访问的VIP仅仅是一个调度器，也不清楚后端的真实服务器到底在哪里、有多少真实服务器。

第二步，用户将请求发送至124.126.147.168，此时LVS将根据预设的算法选择后端的一台真实服务器（192.168.0.1~192.168.0.3），将数据请求包转发给真实服务器，并且在转发之前LVS会修改数据包中的目标地址以及目标端口，目标地址与目标端口将被修改为选出的真实服务器IP地址以及相应的端口。

第三步，**真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户**，另外，由于**LVS调度器有一个连接Hash表**，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 2][]

VS/NAT是一种最简单的方式，所有的RealServer只需要将自己的网关指向Director即可。客户端可以是任意操作系统，但此方式下，一个Director能够带动的RealServer比较有限。在VS/NAT的方式下，Director也可以兼为一台RealServer。VS/NAT的体系结构如图所示。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 3][]

## 2、基于TUN的LVS负载均衡 ##

在LVS（NAT）模式的集群环境中，由于所有的数据请求及响应的数据包都需要经过LVS调度器转发，如果后端服务器的数量大于10台，则调度器就会成为整个集群环境的瓶颈。

我们知道，**数据请求包往往远小于响应数据包的大小。因为响应数据包中包含有客户需要的具体数据，所以LVS（TUN）的思路就是将请求与响应数据分离，让调度器仅处理数据请求，而让真实服务器响应数据包直接返回给客户端**。

VS/TUN工作模式拓扑结构如图3所示。其中，**IP隧道（IP tunning）是一种数据包封装技术，它可以将原始数据包封装并添加新的包头（内容包括新的源地址及端口、目标地址及端口），从而实现将一个目标为调度器的VIP地址的数据包封装**，通过隧道转发给后端的真实服务器（Real Server），通过将客户端发往调度器的原始数据包封装，并在其基础上添加新的数据包头（修改目标地址为调度器选择出来的真实服务器的IP地址及对应端口），**LVS（TUN）模式要求真实服务器可以直接与外部网络连接，真实服务器在收到请求数据包后直接给客户端主机响应数据**。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 4][]

** IP隧道(IP tunneling)是将一个IP报文封装在另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术(IP encapsulation)**。IP隧道主要用于移动主机和虚拟私有网络(Virtual Private Network)，在其中隧道都是静态建立的，隧道一端有一个IP地址，另一端也有唯一的IP地址。

它的连接调度和管理与VS/NAT中的一样，只是它的报文转发方法不同。调度器根据各个服务器的负载情况，动态地选择一台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器;服务器收到报文后，先将报文解封获得原来目标地址为 VIP 的报文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 5][]

## 3、基于DR的LVS负载均衡 ##

在LVS（TUN）模式下，由于需要在LVS调度器与真实服务器之间创建隧道连接，这同样会增加服务器的负担。与LVS（TUN）类似，DR模式也叫直接路由模式，其体系结构如图4所示，该模式中LVS依然仅承担数据的入站请求以及根据算法选出合理的真实服务器，最终由后端真实服务器负责将响应数据包发送返回给客户端。

**与隧道模式不同的是，直接路由模式（DR模式）要求调度器与后端服务器必须在同一个局域网内，VIP地址需要在调度器与后端所有的服务器间共享，因为最终的真实服务器给客户端回应数据包时需要设置源IP为VIP地址，目标IP为客户端IP，这样客户端访问的是调度器的VIP地址，回应的源地址也依然是该VIP地址（真实服务器上的VIP），客户端是感觉不到后端服务器存在的。**

由于多台计算机都设置了同样一个VIP地址，所以在直接路由模式中要求调度器的VIP地址是对外可见的，客户端需要将请求数据包发送到调度器主机，而所有的真实服务器的VIP地址必须配置在Non-ARP的网络设备上，也就是该网络设备并不会向外广播自己的MAC及对应的IP地址，真实服务器的VIP对外界是不可见的，但真实服务器却可以接受目标地址VIP的网络请求，并在回应数据包时将源地址设置为该VIP地址。调度器根据算法在选出真实服务器后，在不修改数据报文的情况下，将数据帧的MAC地址修改为选出的真实服务器的MAC地址，通过交换机将该数据帧发给真实服务器。整个过程中，真实服务器的VIP不需要对外界可见。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 6][]

VS/DR方式是通过改写请求报文中的MAC地址部分来实现的。**Director和RealServer必需在物理上有一个网卡通过不间断的局域网相连**。 RealServer上绑定的VIP配置在各自Non-ARP的网络设备上(如lo或tunl),Director的VIP地址对外可见，而RealServer的VIP对外是不可见的。RealServer的地址即可以是内部地址，也可以是真实地址。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 7][]

VS/DR的工作流程如图所示：它的连接调度和管理与VS/NAT和VS/TUN中的一样，它的报文转发方法又有不同，将报文直接路由给目标服务器。

在VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。当服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户。  
  **VS/DR的方式是目前大型网站使用最广泛的一种负载均衡手段。**

# 三、LVS负载均衡调度算法 #

根据前面的介绍，我们了解了LVS的三种工作模式，但不管实际环境中采用的是哪种模式，调度算法进行调度的策略与算法都是LVS的核心技术，LVS在内核中主要实现了一下十种调度算法。

## 1.轮询调度 ##

轮询调度（Round Robin 简称'RR'）算法就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是实现简单。轮询算法假设所有的服务器处理请求的能力都一样的，调度器会将所有的请求平均分配给每个真实服务器。

## 2.加权轮询调度 ##

加权轮询（Weight Round Robin 简称'WRR'）算法主要是对轮询算法的一种优化与补充，LVS会考虑每台服务器的性能，并给每台服务器添加一个权值，如果服务器A的权值为1，服务器B的权值为2，则调度器调度到服务器B的请求会是服务器A的两倍。权值越高的服务器，处理的请求越多。

## 3.最小连接调度 ##

最小连接调度（Least Connections 简称'LC'）算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态的调度算法，它通过服务器当前活跃的连接数来估计服务器的情况。调度器需要记录各个服务器已建立连接的数目，当一个请求被调度到某台服务器，其连接数加1；当连接中断或者超时，其连接数减1。

（集群系统的真实服务器具有相近的系统性能，采用最小连接调度算法可以比较好地均衡负载。)

## 4.加权最小连接调度 ##

加权最少连接（Weight Least Connections 简称'WLC'）算法是最小连接调度的超集，各个服务器相应的权值表示其处理性能。服务器的缺省权值为1，系统管理员可以动态地设置服务器的权值。加权最小连接调度在调度新连接时尽可能使服务器的已建立连接数和其权值成比例。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

## 5.基于局部的最少连接 ##

基于局部的最少连接调度（Locality-Based Least Connections 简称'LBLC'）算法是针对请求报文的目标IP地址的 负载均衡调度，目前主要用于Cache集群系统，因为在Cache集群客户请求报文的目标IP地址是变化的。这里假设任何后端服务器都可以处理任一请求，算法的设计目标是在服务器的负载基本平衡情况下，将相同目标IP地址的请求调度到同一台服务器，来提高各台服务器的访问局部性和Cache命中率，从而提升整个集群系统的处理能力。LBLC调度算法先根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则使用'最少连接'的原则选出一个可用的服务器，将请求发送到服务器。

## 6.带复制的基于局部性的最少连接 ##

带复制的基于局部性的最少连接（Locality-Based Least Connections with Replication  简称'LBLCR'）算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统，它与LBLC算法不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。按'最小连接'原则从该服务器组中选出一一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按'最小连接'原则从整个集群中选出一台服务器，将该服务器加入到这个服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

## 7.目标地址散列调度 ##

目标地址散列调度（Destination Hashing 简称'DH'）算法先根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。

## 8.源地址散列调度U ##

源地址散列调度（Source Hashing  简称'SH'）算法先根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且并未超载，将请求发送到该服务器，否则返回空。它采用的散列函数与目标地址散列调度算法的相同，它的算法流程与目标地址散列调度算法的基本相似。

## 9.最短的期望的延迟 ##

最短的期望的延迟调度（Shortest Expected Delay 简称'SED'）算法基于WLC算法。举个例子吧，ABC三台服务器的权重分别为1、2、3 。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用SED算法后会进行一个运算

A：（1+1）/1=2   B：（1+2）/2=3/2   C：（1+3）/3=4/3   就把请求交给得出运算结果最小的服务器。

## 10.最少队列调度 ##

最少队列调度（Never Queue 简称'NQ'）算法，无需队列。如果有realserver的连接数等于0就直接分配过去，不需要在进行SED运算。

# 三种负载均衡方式比较 #

\*\***VS/NAT 的优点是服务器可以运行任何支持TCP/IP的操作系统**，它只需要一个IP地址配置在调度器上，服务器组可以用私有的IP地址。缺点是它的伸缩能力有限，当服务器结点数目升到20时，调度器本身有可能成为系统的新瓶颈，因为在VS/NAT中请求和响应报文都需要通过负载调度器。\*\*我们在Pentium166 处理器的主机上测得重写报文的平均延时为60us，性能更高的处理器上延时会短一些。假设TCP报文的平均长度为536 Bytes，则调度器的最大吞吐量为8.93 MBytes/s. 我们再假设每台服务器的吞吐量为800KBytes/s，这样一个调度器可以带动10台服务器。(注：这是很早以前测得的数据)  
  基于 VS/NAT的的集群系统可以适合许多服务器的性能要求。如果负载调度器成为系统新的瓶颈，可以有三种方法解决这个问题：混合方法、VS/TUN和 VS/DR。在DNS混合集群系统中，有若干个VS/NAT负调度器，每个负载调度器带自己的服务器集群，同时这些负载调度器又通过RR-DNS组成简单的域名。  
  但VS/TUN和VS/DR是提高系统吞吐量的更好方法。  
  对于那些将IP地址或者端口号在报文数据中传送的网络服务，需要编写相应的应用模块来转换报文数据中的IP地址或者端口号。这会带来实现的工作量，同时应用模块检查报文的开销会降低系统的吞吐率。  
  在VS/TUN 的集群系统中，负载调度器只将请求调度到不同的后端服务器，后端服务器将应答的数据直接返回给用户。这样，负载调度器就可以处理大量的请求，它甚至可以调度百台以上的服务器(同等规模的服务器)，而它不会成为系统的瓶颈。即使负载调度器只有100Mbps的全双工网卡，整个系统的最大吞吐量可超过 1Gbps。所以，VS/TUN可以极大地增加负载调度器调度的服务器数量。  
  VS/TUN调度器可以调度上百台服务器，而它本身不会成为系统的瓶颈，可以用来构建高性能的超级服务器。**VS/TUN技术对服务器有要求，即所有的服务器必须支持“IP Tunneling”或者“IP Encapsulation”协议。目前，VS/TUN的后端服务器主要运行Linux操作系统**，我们没对其他操作系统进行测试。因为“IP Tunneling”正成为各个操作系统的标准协议，所以VS/TUN应该会适用运行其他操作系统的后端服务器。  
  跟VS/TUN方法一样，VS/DR调度器只处理客户到服务器端的连接，响应数据可以直接从独立的网络路由返回给客户。这可以极大地提高LVS集群系统的伸缩性。**跟VS/TUN相比，这种方法没有IP隧道的开销，但是要求负载调度器与实际服务器都有一块网卡连在同一物理网段上，服务器网络设备(或者设备别名)不作ARP响应，或者能将报文重定向(Redirect)到本地的Socket端口上。**

# 三种LVS负载均衡技术的优缺点归纳以下表： #

指标                                  VS/NAT            VS/TUN                 VS/DR  
服务器操作系统                任意                 支持隧道                多数(支持Non-arp)  
服务器网络                       私有网络          局域网/广域网        局域网  
服务器数目(100M网络)    10~20              100                          大于100  
服务器网关                      负载均衡器       自己的路由             自己的路由  
效率                                 一般                  高                           最高

注：以上三种方法所能支持最大服务器数目的估计是假设调度器使用100M网卡，调度器的硬件配置与后端服务器的硬件配置相同，而且是对一般Web服务。使用更高的硬件配置(如千兆网卡和更快的处理器)作为调度器，调度器所能调度的服务器数量会相应增加。当应用不同时，服务器的数目也会相应地改变。所以，以上数据估计主要是为三种方法的伸缩性进行量化比较。

# \#\#附：其他负载均衡算法 #

## HTTP重定向负载均衡 ##

当用户发来请求的时候，Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url，然后浏览器再继续请求这个新url，实际上就是页面重定向。通过重定向，来达到“负载均衡”的目标。例如，我们在下载PHP源码包的时候，点击下载链接时，为了解决不同国家和地域下载速度的问题，它会返回一个离我们近的下载地址。重定向的HTTP返回码是302。  
      优点：比较简单。  
      缺点：浏览器需要两次请求服务器才能完成一次访问，性能较差。重定向服务自身的处理能力有可能成为瓶颈，整个集群的伸缩性国模有限；使用HTTP302响应码重定向，有可能使搜索引擎判断为SEO作弊，降低搜索排名。

## DNS域名解析负载均衡 ##

DNS（Domain Name System）负责域名解析的服务，域名url实际上是服务器的别名，实际映射是一个IP地址，解析过程，就是DNS完成域名到IP的映射。而一个域名是可以配置成对应多个IP的。因此，DNS也就可以作为负载均衡服务。  
  事实上，大型网站总是部分使用DNS域名解析，利用域名解析作为第一级负载均衡手段，即域名解析得到的一组服务器并不是实际提供Web服务的物理服务器，而是同样提供负载均衡服务的内部服务器，这组内部负载均衡服务器再进行负载均衡，将请求分发到真是的Web服务器上。

优点：将负载均衡的工作转交给DNS，省掉了网站管理维护负载均衡服务器的麻烦，同时许多DNS还支持基于地理位置的域名解析，即会将域名解析成举例用户地理最近的一个服务器地址，这样可以加快用户访问速度，改善性能。  
      缺点：不能自由定义规则，而且变更被映射的IP或者机器故障时很麻烦，还存在DNS生效延迟的问题。而且DNS负载均衡的控制权在域名服务商那里，网站无法对其做更多改善和更强大的管理。

## 反向代理负载均衡 ##

反向代理服务可以缓存资源以改善网站性能。实际上，在部署位置上，反向代理服务器处于Web服务器前面（这样才可能缓存Web相应，加速访问），这个位置也正好是负载均衡服务器的位置，所以大多数反向代理服务器同时提供负载均衡的功能，管理一组Web服务器，将请求根据负载均衡算法转发到不同的Web服务器上。Web服务器处理完成的响应也需要通过反向代理服务器返回给用户。由于web服务器不直接对外提供访问，因此Web服务器不需要使用外部ip地址，而反向代理服务器则需要配置双网卡和内部外部两套IP地址。

优点：和反向代理服务器功能集成在一起，部署简单。  
      缺点：反向代理服务器是所有请求和响应的中转站，其性能可能会成为瓶颈。

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

## **一、负载均衡LVS基本介绍** ##

LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调度算法，智能均衡地分发到后端真正服务器(real server)上。为了避免不同机器上用户请求得到的数据不一样，需要用到了共享存储，这样保证所有用户请求的数据是一样的。

LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网是 http://www.linuxvirtualserver.org 现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储。

## **二、LVS的基本工作原理** ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 8][]

1. 当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间  
2. PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链  
3. IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么**此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链**  
4. POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器

## **三、LVS的组成** ##

LVS 由2部分程序组成，包括 ipvs 和 ipvsadm。

1.ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码。  
2. ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)

## **四、LVS相关术语** ##

**1. DS：Director Server。指的是前端负载均衡器节点。  
2. RS：Real Server。后端真实的工作服务器。**  
3. **VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。**  
4. **DIP：Director Server IP，主要用于和内部主机通讯的IP地址。**  
**5. RIP：Real Server IP，后端服务器的IP地址。**  
6. CIP：Client IP，访问客户端的IP地址。

下边是三种工作模式的原理和特点总结。

## **五、LVS/NAT原理和特点** ##

**1. 重点理解NAT方式的实现原理和数据包的改变。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 9][]

(1). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP  
(2). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链  
(3). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP  
(4). POSTROUTING链通过选路，将数据包发送给Real Server  
(5). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP  
(6). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

**2. LVS-NAT模型的特性**

*  RS应该使用私有地址，RS的网关必须指向DIP
 *  DIP和RIP必须在同一个网段内
 *  请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈
 *  支持端口映射
 *  RS可以使用任意操作系统
 *  缺陷：对Director Server压力会比较大，请求和响应都需经过director server

## **六、LVS/DR原理和特点** ##

**1.重将请求报文的目标MAC地址设定为挑选出的RS的MAC地址**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 10][](1) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP  
(2) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链  
(3) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址  
(4) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。  
(5) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP  
(6) 响应报文最终送达至客户端

**2. LVS-DR模型的特性**

*  特点1：保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS
 *  RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问
 *  RS跟Director Server必须在同一个物理网络中
 *  所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
 *  不支持地址转换，也不支持端口映射
 *  RS可以是大多数常见的操作系统
 *  RS的网关绝不允许指向DIP(因为我们不允许他经过director)
 *  RS上的lo接口配置VIP的IP地址
 *  缺陷：RS和DS必须在同一机房中

**3. 特点1的解决方案：**

*  在前端路由器做静态地址路由绑定，将对于VIP的地址仅路由到Director Server
 *  存在问题：用户未必有路由操作权限，因为有可能是运营商提供的，所以这个方法未必实用
 *  arptables：在arp的层次上实现在ARP解析时做防火墙规则，过滤RS响应ARP请求。这是由iptables提供的
 *  修改RS上内核参数（arp\_ignore和arp\_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

## **七、LVS/Tun原理和特点** ##

在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 11][]

(1) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。  
(2) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链  
(3) IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP  
(4) POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP  
(5) RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP  
(6) 响应报文最终送达至客户端

**LVS-Tun模型特性**

*  RIP、VIP、DIP全是公网地址
 *  RS的网关不会也不可能指向DIP
 *  所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
 *  不支持端口映射
 *  RS的系统必须支持隧道

其实企业中最常用的是 DR 实现方式，而 NAT 配置上比较简单和方便，后边实践中会总结 DR 和 NAT 具体使用配置过程。

## **八、实践LVS的NAT模式** ##

**1、实验环境**

三台服务器，一台作为 director，两台作为 real server，director 有一个外网网卡(172.16.254.200) 和一个内网ip(192.168.0.8)，两个 real server 上只有内网 ip (192.168.0.18) 和 (192.168.0.28)，并且需要把两个 real server 的内网网关设置为 director 的内网 ip(192.168.0.8)

**2、安装和配置**

> 两个 real server 上都安装 nginx 服务
> 
> \# yum install -y nginx
> 
> Director 上安装 ipvsadm
> 
> \# yum install -y ipvsadm

Director 上编辑 nat 实现脚本

> \# vim /usr/local/sbin/lvs\_nat.sh
> 
> \# 编辑写入如下内容：
> 
> \#! /bin/bash
> 
> \# director服务器上开启路由转发功能:
> 
> echo 1 > /proc/sys/net/ipv4/ip\_forward
> 
> \# 关闭 icmp 的重定向
> 
> echo 0 > /proc/sys/net/ipv4/conf/all/send\_redirects
> 
> echo 0 > /proc/sys/net/ipv4/conf/default/send\_redirects
> 
> echo 0 > /proc/sys/net/ipv4/conf/eth0/send\_redirects
> 
> echo 0 > /proc/sys/net/ipv4/conf/eth1/send\_redirects
> 
> \# director设置 nat 防火墙
> 
> iptables -t nat -F
> 
> iptables -t nat -X
> 
> iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -j MASQUERADE
> 
> \# director设置 ipvsadm
> 
> IPVSADM='/sbin/ipvsadm'
> 
> $IPVSADM -C
> 
> $IPVSADM -A -t 172.16.254.200:80 -s wrr
> 
> $IPVSADM -a -t 172.16.254.200:80 -r 192.168.0.18:80 -m -w 1
> 
> $IPVSADM -a -t 172.16.254.200:80 -r 192.168.0.28:80 -m -w 1

保存后，在 Director 上直接运行这个脚本就可以完成 lvs/nat 的配置

> /bin/bash /usr/local/sbin/lvs\_nat.sh

查看ipvsadm设置的规则

> ipvsadm -ln

**3、测试LVS的效果**

通过浏览器测试2台机器上的web内容 http://172.16.254.200 。为了区分开，我们可以把 nginx 的默认页修改一下：

> 在 RS1 上执行
> 
> \# echo "rs1rs1" >/usr/share/nginx/html/index.html
> 
>  
> 
> 在 RS2 上执行
> 
> \# echo "rs2rs2" >/usr/share/nginx/html/index.html

注意，切记一定要在两台 RS 上设置网关的 IP 为 director 的内网 IP。

## **十、实践LVS的DR模式** ##

**1、实验环境**

三台机器：

*  Director节点：  (eth0 192.168.0.8  vip eth0:0 192.168.0.38)
 *  Real server1： (eth0 192.168.0.18 vip lo:0 192.168.0.38)
 *  Real server2： (eth0 192.168.0.28 vip lo:0 192.168.0.38)

**2、安装**

> 两个 real server 上都安装 nginx 服务
> 
> \# yum install -y nginx
> 
> Director 上安装 ipvsadm
> 
> \# yum install -y ipvsadm

**3、Director 上配置脚本**

> \# vim /usr/local/sbin/lvs\_dr.sh
> 
> \#! /bin/bash
> 
> echo 1 > /proc/sys/net/ipv4/ip\_forward
> 
> ipv=/sbin/ipvsadm
> 
> vip=192.168.0.38
> 
> rs1=192.168.0.18
> 
> rs2=192.168.0.28
> 
> ifconfig eth0:0 down
> 
> ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
> 
> route add -host $vip dev eth0:0
> 
> $ipv -C
> 
> $ipv -A -t $vip:80 -s wrr
> 
> $ipv -a -t $vip:80 -r $rs1:80 -g -w 3

> $ipv -a -t $vip:80 -r $rs2:80 -g -w 1

执行脚本：

> \# bash /usr/local/sbin/lvs\_dr.sh

**4、在2台 rs 上配置脚本：**

> \# vim /usr/local/sbin/lvs\_dr\_rs.sh
> 
> \#! /bin/bash
> 
> vip=192.168.0.38
> 
> ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
> 
> route add -host $vip lo:0
> 
> echo "1" >/proc/sys/net/ipv4/conf/lo/arp\_ignore
> 
> echo "2" >/proc/sys/net/ipv4/conf/lo/arp\_announce
> 
> echo "1" >/proc/sys/net/ipv4/conf/all/arp\_ignore

> echo "2" >/proc/sys/net/ipv4/conf/all/arp\_announce

rs 上分别执行脚本：

> bash /usr/local/sbin/lvs\_dr\_rs.sh

**5、实验测试**

测试方式同上，浏览器访问 http://192.168.0.38

注意：在 DR 模式下，2台 rs 节点的 gateway 不需要设置成 dir 节点的 IP 。

参考链接地址：

http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

## **十一、LVS结合keepalive** ##

LVS可以实现负载均衡，但是不能够进行健康检查，比如一个rs出现故障，LVS 仍然会把请求转发给故障的rs服务器，这样就会导致请求的无效性。keepalive 软件可以进行健康检查，而且能同时实现 LVS 的高可用性，解决 LVS 单点故障的问题，其实 keepalive 就是为 LVS 而生的。

**1、实验环境**

4台节点

*  Keepalived1 + lvs1(Director1)：192.168.0.48
 *  Keepalived2 + lvs2(Director2)：192.168.0.58
 *  Real server1：192.168.0.18
 *  Real server2：192.168.0.28
 *  IP: 192.168.0.38

**2、安装系统软件**

Lvs + keepalived的2个节点安装

> \# yum install ipvsadm keepalived -y

Real server + nginx服务的2个节点安装

> \# yum install epel-release -y
> 
> \# yum install nginx -y

**3、设置配置脚本**

Real server节点2台配置脚本：

keepalived节点配置(2节点)：

> 主节点( MASTER )配置文件
> 
> vim /etc/keepalived/keepalived.conf

> vrrp\_instance VI\_1 \{
> 
>     state MASTER
> 
>     interface eth0
> 
>     virtual\_router\_id 51
> 
>     priority 100
> 
>     advert\_int 1
> 
>     authentication \{
> 
>         auth\_type PASS
> 
>         auth\_pass 1111
> 
>     \}
> 
>     virtual\_ipaddress \{
> 
>         192.168.0.38
> 
>     \}
> 
> \}
> 
>  
> 
> virtual\_server 192.168.0.38 80 \{
> 
>     delay\_loop 6
> 
>     lb\_algo rr
> 
>     lb\_kind DR
> 
>     persistence\_timeout 0
> 
>     protocol TCP
> 
>  
> 
>     real\_server 192.168.0.18 80 \{
> 
>         weight 1
> 
>         TCP\_CHECK \{
> 
>             connect\_timeout 10
> 
>             nb\_get\_retry 3
> 
>             delay\_before\_retry 3
> 
>             connect\_port 80
> 
>         \}
> 
>     \}
> 
>  
> 
>     real\_server 192.168.0.28 80 \{
> 
>         weight 1
> 
>         TCP\_CHECK \{
> 
>             connect\_timeout 10
> 
>             nb\_get\_retry 3
> 
>             delay\_before\_retry 3
> 
>             connect\_port 80
> 
>         \}
> 
>     \}
> 
> \}

从节点( BACKUP )配置文件

拷贝主节点的配置文件keepalived.conf，然后修改如下内容：

> state MASTER -> state BACKUP
> 
> priority 100 -> priority 90

keepalived的2个节点执行如下命令，开启转发功能：

> \# echo 1 > /proc/sys/net/ipv4/ip\_forward

**4、启动keepalive**

> <strong>先主后从分别启动keepalive</strong>
> 
> service keepalived start

**5、验证结果**

**实验1**

手动关闭192.168.0.18节点的nginx，service nginx stop 在客户端上去测试访问 http://192.168.0.38 结果正常，不会出现访问18节点，一直访问的是28节点的内容。

**实验2**

手动重新开启 192.168.0.18 节点的nginx， service nginx start 在客户端上去测试访问 http://192.168.0.38 结果正常，按照 rr 调度算法访问18节点和28节点。

**实验3**

测试 keepalived 的HA特性，首先在master上执行命令 ip addr ，可以看到38的vip在master节点上的；这时如果在master上执行 service keepalived stop 命令，这时vip已经不再master上，在slave节点上执行 ip addr 命令可以看到 vip 已经正确漂到slave节点，这时客户端去访问 http://192.168.0.38 访问依然正常，验证了 keepalived的HA特性。

lvs 介绍：http://www.it165.net/admin/html/201401/2248.html

参考：

https://blog.csdn.net/weixin\_40470303/article/details/80541639   
[https://blog.csdn.net/u013256816/article/details/50705578][https_blog.csdn.net_u013256816_article_details_50705578]

[https://blog.csdn.net/Ki8Qzvka6Gz4n450m/article/details/79119665][https_blog.csdn.net_Ki8Qzvka6Gz4n450m_article_details_79119665]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70]: /images/20220227/9e598029ad3a4bd3b1ada0b7a0131ed2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 1]: /images/20220227/bec32638ad1b4769bef2cabfc72cf1b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 2]: /images/20220227/ede4584559b544a38000f721a89b172b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 3]: /images/20220227/b99d4037c8764ab3aa81769d97159fd4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 4]: /images/20220227/4b75784d98db4886959ac7fd3701bf25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 5]: /images/20220227/005cbe73f8cd4fe69e828cd83527a08c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 6]: /images/20220227/100f604f4e7e4762bf68f2ab72b7e771.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 7]: /images/20220227/2e72cdb97efe454da5c4fc77c170a567.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 8]: /images/20220227/b3cf314d24a24552939bca002c1e4e01.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 9]: /images/20220227/a9fe86f6501740d2bcffc5ba91798a19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 10]: /images/20220227/6b63e33321c84af5b0195bbd040a49a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5neWU_size_16_color_FFFFFF_t_70 11]: /images/20220227/bf823fe4daae40c9ba81fadbe93b0dce.png
[https_blog.csdn.net_u013256816_article_details_50705578]: https://blog.csdn.net/u013256816/article/details/50705578
[https_blog.csdn.net_Ki8Qzvka6Gz4n450m_article_details_79119665]: https://blog.csdn.net/Ki8Qzvka6Gz4n450m/article/details/79119665