Centos7 编译安装keepalived 2.1.5 +nginx1.18高可用及踩坑

忘是亡心i 2022-12-10 10:03 70阅读 0赞

# 零：准备工作 #

0.1：[下载keepalived源码包点击这里][keepalived]

0.2：安装工具软件

yum install curl gcc openssl-devel libnl3-devel net-snmp-devel libnfnetlink-devel -y

0.3：服务器环境

<table> 
 <tbody> 
  <tr> 
   <td>ip</td> 
   <td>服务器名称</td> 
   <td>作用</td> 
   <td>备注</td> 
  </tr> 
  <tr> 
   <td>192.168.122.29</td> 
   <td>proxy1</td> 
   <td>nginx1.18、keepalived2.1.5</td> 
   <td>keepalived 主</td> 
  </tr> 
  <tr> 
   <td>192.168.122.30</td> 
   <td>proxy2</td> 
   <td>nginx1.18、keepalived2.1.5</td> 
   <td>keepalived 备</td> 
  </tr> 
 </tbody> 
</table>

虚IP：192.168.122.230

# 一：开始安装 #

### 1.0：流程介绍 ###

与nginx的编译并修改配置文件就可以轻松启动不同。

编译安装keepalived的过程较复杂，这里先把流程梳理如下。

解压、编译、修改conf文件、将conf文件和可执行文件置于正确的位置上、修改服务启动文件、配置防火墙。

下面就按照这个顺序来逐个介绍。

### 1.1：解压:、配置、编译。 ###

将下载的 keepalived-2.1.5.tar.gz 置于 /usr/local/下，操作如下

#解压
    [root@proxy1 local]# tar -vxf keepalived-2.1.5.tar.gz 
    
    #进入
    [root@proxy1 local]# cd keepalived-2.1.5/
    
    #执行配置。其中prefix对应安装后路径， with-run-dir对应进程id路径
    [root@proxy1 keepalived-2.1.5]# ./configure --prefix=/usr/local/keepalived --with-run-dir=/usr/local/keepalived/run
    
    #编译安装
    [root@proxy1 keepalived-2.1.5]# make & make install

## ##

### 1.2：配置文件 ###

首先演示抢占式策略

以主服务器的配置为例，展示配置文件，如下所示

###########主###########
    
    ! Configuration File for keepalived
    
    global_defs {
       #这里是主机名称
       router_id proxy1
    }
    
    vrrp_script chk_nginx {
        #执行脚本位置
        script "/etc/keepalived/chk_nginx.sh"
        #检测时间间隔。除非使用了NTP，否则服务器间时间可能不同步，为避免这个问题，增大检测时间间隔
        interval 10
        # 如果条件成立则权重减20（-20）
        weight -20
    }
    
    vrrp_instance VI_1 {
        #主
        state MASTER
        #当前服务器的网卡
        interface ens33
        # 虚拟路由编号，主从要一致
        virtual_router_id 51
        # 优先级，数值越大，获取处理请求的优先级越高
        priority 100
        #本机IP
        mcast_src_ip 192.168.122.29
        # 检查间隔，默认为1s(vrrp组播周期秒数)
        advert_int 1
        #授权访问 
        authentication {
            #设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信
            auth_type PASS
            auth_pass 6666
        }
        
        #执行脚本
        track_script {
            chk_nginx
        }
    
        # 定义虚拟ip(VIP)，可多设，每行一个
        virtual_ipaddress {
            192.168.122.230
        }
    }

从的配置略

主与从的区别在于四个地方：

state（角色） router\_id（主机名称） mcast\_src\_ip（当前主机ip） priority（优先级。确保主的数值高于从的即可）

除了抢占式策略，还有一种是非抢占式策略

这种策略下，主从的配置文件的“state”属性不再区分“MASTER和BACKUP”。都使用“BACKUP”。不同的keepalived服务器之间通过priority属性值的大小区分主从，最后一个不同就是在 state BACKUP下一行添加 nopreempt即可，表示“非抢占”。

抢占与非抢占模式的区别在于：

抢占模式在主服务器挂了之后，由从服务器接手“主服务器”角色；当主服务器恢复则主服务器会抢回其“主服务器”的角色。

非抢占式则是当主服务器恢复后，担当从的角色。二者的区别主要在于此。

### 1.3：启动nginx的脚本 ###

因为我这里与keepalived搭档的是nginx。因此这里抄了一个当nginx停掉的时候，重启nginx的脚本，如下所示。

#chk_nginx.sh脚本的配置
    [root@proxy1 keepalived]# vim /etc/keepalived/chk_nginx.sh 
    
    #!/bin/bash
    A=`ps -C nginx --no-header | grep -v grep | wc -l`
    if [ $A -eq 0 ];then
        #尝试重新启动nginx
        /usr/local/nginx/sbin/nginx
        #睡眠2秒
        sleep 2
        if [ `ps -C nginx --no-header | grep -v grep | wc -l` -eq 0 ];then
            #启动失败，将keepalived服务杀死。将vip漂移到其它备份节点
            killall keepalived
        fi
    fi

### 1.4：配置后操作 ###

#创建存放keepalived.id的路径
    [root@proxy1 keepalived-2.1.5]# mkdir /usr/local/keepalived/run
    
    #拷贝配置文件到正确位置。
    [root@proxy1 keepalived-2.1.5]# cp -rf /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
    
    #将可执行文件拷贝到目标目录
    [root@proxy1 keepalived-2.1.5]# cp -rf /usr/local/keepalived/sbin/keepalived /usr/sbin/keepalived
    
    #为另一个必要的配置文件设置软连接。
    [root@proxy1 keepalived-2.1.5]# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
    
    #########################这里请注意######################
    #下面这步，dark亲身经历就是：不做应该也能成功，做了反而可能不成功。大家自行决定是否执行
    [root@proxy1 keepalived-2.1.5]# cp /usr/local/java/keepalived/keepalived-2.1.5/keepalived/etc/init.d/keepalived /etc/init.d/

## ##

### 1.5：服务启动文件 ###

#修改启动文件
    [root@proxy1 keepalived]# vim /usr/lib/systemd/system/keepalived.service
    
    [Unit]
    Description=LVS and VRRP High Availability Monitor
    After=network-online.target syslog.target 
    Wants=network-online.target 
    
    [Service]
    Type=forking
    #pid位置
    PIDFile=/usr/local/keepalived/run/keepalived.pid
    KillMode=process
    #环境变量文件（此文件中其实没啥东西）
    EnvironmentFile=-/usr/local/keepalived/etc/sysconfig/keepalived
    #可执行文件位置
    ExecStart=/usr/local/keepalived/sbin/keepalived $KEEPALIVED_OPTIONS
    ExecReload=/bin/kill -HUP $MAINPID
    
    [Install]
    WantedBy=multi-user.target

## ##

### 1.6：启动配置 ###

#刷新1.3步骤的配置，使之生效
    [root@proxy1 keepalived]# systemctl daemon-reload
    
    #配置开机启动
    [root@proxy1 keepalived]# systemctl enable keepalived.service
    
    #常用的一些服务，启停、查看状态
    systemctl start keepalived.service
    systemctl stop keepalived.service
    systemctl restart keepalived.service
    systemctl status keepalived.service

## ##

### 1.7：防火墙 ###

因为keepalived是基于vrrp在服务器间互相探测，用以确保与之关联的服务器处于开启状态。故需要对防火墙做一些设置。

如果只是测试环境进行验证，可以将防火墙关闭。

[root@proxy1 keepalived]# systemctl stop firewalld

如果是较正式环境，可以在firewall上打通相应协议，如下所示

[root@proxy1 keepalived]# firewall-cmd --add-rich-rule='rule protocol value="vrrp" accept' --permanent
    [root@proxy1 keepalived]# firewall-cmd --reload

## ##

### 1.8：启动 ###

执行 systemctl start keepalived.service 启动keepalived。然后执行 systemctl status keepalived.service 查看状态

主：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhcmtkcmFnb25raW5n_size_16_color_FFFFFF_t_70][]

从：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhcmtkcmFnb25raW5n_size_16_color_FFFFFF_t_70 1][]

通过对比可知，虚ip出现在主服务器的网卡上面。

然后关闭主服务器上的keepalived。会发现虚ip转移到了从服务器上。目的达成。

## ##

# 二：yum安装 #

yum安装比编译安装要简单很多。相比编译安装，可以省略掉拷贝那些可执行文件的步骤。只需要将配置文件拷贝到对应目录即可。

一个命令搞定  `yum install -y keepalived。`

# 三：踩坑 #

### 2.1：脑裂问题 ###

最初我没有对firewalld做任何操作，然后结果就是在主从服务器上都看到了192.168.122.230这个虚ip。原因就在于主从两个服务器都不能发现对方。打通网络后重启keepalived，问题解决。

### 2.2：配置文件 ###

如下图所示

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhcmtkcmFnb25raW5n_size_16_color_FFFFFF_t_70 2][]

告诉我，/etc/keepalived/keepalived.comf 不是一个常规的可执行文件。查了一下，发现我已经给它和它所属的路径755权限。而事实上这个配置文件只能给644。修改后即可。

### 2.3：启动失败 ###

开始以为，编译安装并修改conf文件即可。然后发现完全不能正常启动。

后来参考了好多不同版本keepalived的编译安装的文章，大家说的各有不同，感觉更加迷惑。

有的文章中说，需要如下操作

cp /usr/local/java/keepalived/keepalived-2.1.5/keepalived/etc/init.d/keepalived /etc/init.d/

按照人家说的去做，发现依然不能正常启动。。。

然后我以yum方式安装，在conf文件不变的情况下启动keepalived，发现可以正常使用。

对比了两种安装方式的不同，发现还是因为配置文件的位置和keepalived.service文件中的位置不一致导致的启动失败。

最后，才有了本文。

所以，遇到问题的时候，可以通过比较，找到不同，再定位自己问题的真正原因。解决了原因，问题自然被解决了。

[keepalived]: https://www.keepalived.org/download.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhcmtkcmFnb25raW5n_size_16_color_FFFFFF_t_70]: /images/20221123/91c9e0c562f14a0a9fdc8a2f2d1e10b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhcmtkcmFnb25raW5n_size_16_color_FFFFFF_t_70 1]: /images/20221123/49253fff363f4f7c8fb5e35f0f339a8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhcmtkcmFnb25raW5n_size_16_color_FFFFFF_t_70 2]: /images/20221123/bfe00f723edc4c48b86128e293493b42.png