linux搭建LVS+keepalive+nginx实现集群高性能负载均衡配置详解

偏执的太偏执、 2022-06-06 12:14 213阅读 0赞

关于nginx配置tomcat实现负载均衡可参考http://blog.csdn.net/liqi\_q/article/details/78063603

安装jdk可参考：http://blog.csdn.net/liqi\_q/article/details/72963947

关于IP直接访问nginx可参考http://blog.csdn.net/liqi\_q/article/details/78476787

关于lvs长时间轮询real-server原因可阅读http://www.capjsj.cn/keepalived\_lvs\_nginx\_tomcat.html

在LVS+Keepalived环境里面，lvs主要的工作是提供调度算法，把客户端请求按照需求调度在real服务器，keepalived主要的工作是提供lvs控制器的一个冗余，并且对real服务器做健康检查，发现不健康的real服务器，就把它从lvs集群中剔除，real服务器只负责提供服务。

### 二、lvs和keepalived的安装 ###

**      环境规划**

**      **2\*(lvs+keepalived服务器)+n\*real-server，一般lvs+keepalived是这样的架构。

**      开始安装**

1、  下载软件包

在[http://www.linuxvirtualserver.org/][http_www.linuxvirtualserver.org] 下载lvs的软件包

在[http://www.keepalived.org/][http_www.keepalived.org] 下载keepalived软件包

2、先编译安装lvs，再安装keepalived，安装lvs需要内核源码

下载lvs源码的时候，一定要选择你内核版本对应的源码包。

# uname  -r
    2.6.18-164.el5PAE
    #yum install kernel-devel -y  //安装内核源码包
    #ln -s /usr/src/kernels/2.6.18-164.el5PAE-i686/ /usr/src/linux
    #wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz  //ipvsadm包就是lvs软件包，别觉得名字不一样
    # tar -zxvf ipvsadm-1.24.tar.gz
    # cd ipvsadm-1.24
    #make && make install

检查lvs是否安装成功：

\#ipvsadm //查看是否有输出

\#lsmod | grep ip\_vs  //如果ipvsadm有输出，那么使用这个命令查看是否加载ip\_vs模块，如果加载，那么lvs算安装成功。

2、  编译安装keepalived，一定在安装完lvs以后在安装keepalive

Keeplive的下载地址：[http://www.keepalived.org/download.html][http_www.keepalived.org_download.html]

wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz //不建议选择最新的版本

1.tar -zxvf keepalived-1.2.2.tar.gz  
2.cd keepalived-1.2.2  
3。

./configure --prefix=/

Keepalived version       : 1.1.15
    Compiler                 : gcc
    Compiler flags           : -g -O2
    Extra Lib                : -lpopt -lssl -lcrypto
    Use IPVS Framework       : Yes
    IPVS sync daemon support : Yes
    Use VRRP Framework       : Yes
    Use LinkWatch            : No
    Use Debug flags          : Nod

看见如上输入，注意yes和no的值，如果一样，证明配置成功，如果lvs为no，那么证明你的lvs没有安装成功，需要从新安装lvs再安装keepalived。

yum -y install openssl-devel     
4.make && make install  
5.cd /etc/keepalived/

### 三、LVS VS/DR模式搭建 ###

环境介绍

<table style="color:rgb(51,51,51); font-family:tahoma,宋体; font-size:14px; text-align:justify; background-color:rgb(250,250,252)"> 
 <tbody> 
 <tr> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 主机IP </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 角色 </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 安装软件 </td> 
 </tr> 
 <tr> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 10.10.10.168 </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Lvs+keepalived MASTER </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Ipvsadm keepalived </td> 
 </tr> 
 <tr> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 10.10.10.169 </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Lvs+keepalived BACKUP </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Ipvsadm keepalived </td> 
 </tr> 
 <tr> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 10.10.10.170 </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Real server </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Lvs_real脚本 </td> 
 </tr> 
 <tr> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 10.10.10.171 </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Real server </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> Lvs_real脚本 </td> 
 </tr> 
 <tr> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> 10.10.10.11 </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> VIP </td> 
 <td style="font-size:14px; word-wrap:break-word; font-family:tahoma,宋体; line-height:1.6"> &nbsp;</td> 
 </tr> 
 </tbody> 
</table>

**注意：所有机器都在一个交换机，并且在一个网段。**

**1、在168和169上安装ipvsadm和keepalived软件。**

**2、修改keepalived的配置文件**

7.vi keepalived.conf  
Keepalive安装默认目录会在less /etc/keepalived/keepalived.conf

\[root@test01 nginx\]\# cat /etc/keepalived/keepalived.conf   
\#ConfigurationFile for keepalived    
global\_defs \{    
        \#notification\_email \{                        \#\#\#\#\#\#定义接受邮件的邮箱    
        \#       wangjj@hrloo.com    
   \#\}    
 \#notification\_email\_from jiankong@staff.tuge.com    \#\#\#\#\#\#定义发送邮件的邮箱    
 \#smtp\_server mail.tuge.com    
 \#smtp\_connect\_timeout 10    
\}    
vrrp\_script check\_lvs \{                   \#\#\#\#\#\#定义监控nginx的脚本    
    script "/root/check\_lvs.sh"    
    interval 1                            \#\#\#\#\#\#监控时间间隔    
    weight 2                              \#\#\#\#\#\#负载参数    
  \}    
vrrp\_instance vrrptest \{                 \#\#\#\#\#\#定义vrrptest实例    
   state MASTER                                 \#\#\#\#\#\#服务器状态    
   nopreempt                                    \#非抢占模式  
   interface eth0                     \#\#\#\#\#\#使用的接口    
   virtual\_router\_id 51               \#\#\#\#\#\#虚拟路由的标志，一组lvs的虚拟路由标识必须相同，这样才能切换    
   priority 150                       \#\#\#\#\#\#服务启动优先级，值越大，优先级越高，BACKUP 不能大于MASTER    
   advert\_int 1                        \#\#\#\#\#\#服务器之间的存活检查时间    
   track\_script \{                              \#\#\#\#\#\#执行监控nginx进程的脚本    
      check\_lvs    
    \}    
   virtual\_ipaddress \{                         \#\#\#\#\#\#虚拟IP地址    
        10.10.10.11  
    \}    
\}  
virtual\_server 10.10.10.11 80 \{  
    delay\_loop 6  
    lb\_algo rr  
    lb\_kind DR  
    nat\_mask 255.255.255.0  
    persistence\_timeout 0             //此值为0，主要是为了方便测试，每次刷新页面结果会不一样  
    protocol TCP  
    real\_server 10.10.10.170 80\{  
        weight 1  
        TCP\_CHECK \{  
            connect\_port    80  
            connect\_timeout 3  
            nb\_get\_retry 3  
            delay\_before\_retry 3  
        \}  
    \}  
    real\_server 10.10.10.171 80\{  
        weight 1  
        TCP\_CHECK \{  
            connect\_port    80  
            connect\_timeout 3  
            nb\_get\_retry 3  
            delay\_before\_retry 3  
        \}  
    \}  
\}

**10.10.10.169：**

和10.10.10.168相比，值需要删除*state MASTER* 和 修改*priority*的值小于master的。

**real server：**

在所有real server上添加下面脚本，名执行\# cat  /sbin/lvs\_real

#!/bin/bash
    #description:start realserver
    vip=10.10.10.11   #虚拟IP
    source /etc/rc.d/init.d/functions
    case $1 in
    start)
            echo "Start Realserver"
            /sbin/ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
            echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
            echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
            echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
            echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
    ;;
    stop)
            echo "Stop Realserver"
            /sbin/ifconfig lo:0 down
            echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
            echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
            echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
            echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
    ;;
    *)
            echo "Usage: $0 (start | stop)"
    exit 1
    esac

sh /sbin/lvs\_real start启动脚本为Real server设置回环共享虚拟IP

执行脚本以后，使用ip add命令查看lo接口是否添加了虚拟ip地址。

**3、配置完成以后，开始测试：**

在10.10.10.168和10.10.10.169上使用ip add检查，虚拟IP应该配置在168上面。

**测试1\{主要测试lvs\}**：访问虚拟IP是否可以访问真实服务器，是否轮询real server

在master上使用 ipvsadm命令查看lvs状态。

\[root@test01 nginx\]\# ipvsadm  
IP Virtual Server version 1.2.1 (size=4096)  
Prot LocalAddress:Port Scheduler Flags  
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn  
TCP  10.10.10.11:http rr  
  -> 10.10.10.171:http            Route   1      0          0           
  -> 10.10.10.172:http            Route   1      0          0           
\[root@test01 nginx\]\#

在客户端访问虚拟IP 10.10.10.11，看是否可以访问。每次刷新，应该会换一个real server。访问数次后，通过ipvsadm观察lvs状态。

**测试2\{主要测试keepalived\}**：lvs服务器的HA，当keepalived master挂掉后，keepalived backup会不会接管虚拟IP。

关闭master主机上的keepalived进程。

在backup上ip add查看是否添加虚拟IP，通过/var/log/message查看相关转换日志。

**测试3\{测试backup的lvs\}**：使用客户端访问现在虚拟ip，查看是否一切正常

**      **测试完成后，开启master的keepalived进程，等虚拟ip转移到master以后，在从客户端访问，查看是否存在问题

service keepalived stop停止主服务  使用ip addr查看共享IP是否已经漂移到备机上

接下来查看ipvsadm默认超时时间

\[root@DR1 keepalived\]\# ipvsadm -L --timeout

Timeout (tcp tcpfin udp): 900 120 300

900 120 300这三个数值分别是TCP TCPFINUDP的时间.也就是说一条tcp的连接经过lvs后,lvs会把这台记录保存15分钟，就是因为这个时间过长，所以大部分人都会发现做好LVS DR之后轮询现象并没有发生，而且我也看到大部分的教程是没有说明这一点的，因为是实验性质，所以将此数值调整为非常小，使用以下命令调整：

\[root@DR1 ~\]\# ipvsadm --set 1 2 1

解决同一个用户session访问同一台服务器

这样LVS基本就配置完成了，BBS存在用户session的问题，虽然有很多种解决方法，这里如果只用lvs来解决的话，就要用到LVS的持久连接了，配置如下：

ipvsadm -E -t 192.168.8.230:80 -s wlc -p 3600

这样用户访问后端一台RS在3600s内都只会访问这一台RS，可以发现这样做会破坏LB的效果，不过可以解决用户session的问题。

LVS调度算法  
(2)负载调度算法  
静态方法：仅根据算法本身进行调度  
rr：Round Robin \# 即轮询  
wrr：Weighted RR \# 即加权轮询  
sh：Source Hashing \# 即来源IP地址hash  
dh：Destination Hashing \# 即目标地址hash（不常用，仅用于前端多防火墙的场景，保证防火墙的连接追踪功能有效）  
动态方法：根据算法及RS当前的负载情况  
lc：Least Connection  
\# 评判标准：Overhead=Active\*256+Inactive  
\# Overhead最小者胜出  
wlc：Weighted LC  
\# 评判标准：Overhead=(Active\*256+Inactive)/weight  
\# Overhead最小者胜出  
sed：Shortest Expect Delay  
\# 评判标准：Overhead=(Active+1)\*256/weight  
\# Overhead最小者胜出  
nq：Never Queue \# 集群开始时工作时，每台服务器都至少分配一个连接请求，然后再根据sed算法调度；  
lblc：Locality-based Least Connection \# 类似于dh+lc  
lblcr：Relicated and Locality-based Least Connection \# 主要用于后端服务器是缓存服务器时

[http_www.linuxvirtualserver.org]: http://www.linuxvirtualserver.org/
[http_www.keepalived.org]: http://www.keepalived.org/
[http_www.keepalived.org_download.html]: http://www.keepalived.org/download.html