Linux运维之——RHSC集群：Luci Ricci实现高可用Web服务

小咪咪 2021-11-29 10:06 122阅读 0赞

### **一、什么是RHCS？** ###

RHCS即 RedHat Cluster Suite ，中文意思即红帽集群套件，它是一套综合的软件组件，可以通过在部署时采用不同的配置，以满足企业对高可用性，负载均衡，可扩展性，文件共享和节约成本的需要。  
它提供有如下两种不同类型的集群：

*    高可用性：应用/服务故障切换－通过创建n个节点的服务器集群来实现关键应用和服务的故障切换
 *   负载均衡：IP 负载均衡－对一群服务器上收到的 IP 网络请求进行负载均衡

### 二、RHCS 集群组成 ###

**1、 集群架构管理器**

这是RHCS 集群的一个基础套件，提供您一个集群的基本功能，使各个节点组成的集群在一起工作，具体包含

分布式集群管理器（CMAN）

它运行在各个节点上，为RHCS提供集群管理任务

CMAN 用于管理集群成员、消息和通知。他通过监控每个节点的运行状态来了解节点成员之间的关系，当节点出现故障时，CMAN及时将这种改变通知底层，进而做出相应的调整

成员关系管理、锁管理（DLM）

表示一个分布式锁管理器，他是RHCS的一个底层基础构建，同时也为集群提供了一个公用的锁运行机制，在RHCS中，DLM运行在集群的每个节点上，GFS通过锁管理机制来同步访问数据系统元数据，CLVM通过锁管理其来同步更新数据到LVM卷和逻辑卷， DLM 不需要设定锁骨哪里服务器，它采用对等的锁管理方式，大大提高了处理性能，同时,DLM避免了当单个节点失败需要整体恢复的性能瓶颈，另外，DLM的请求都是本地的，不需要网络请求，因而请求会立即生效，最后，DLM通过分层机制，可以实现多个锁空间的并行管理模式

配置文件管理（CCS）

ClusterConfigurationSystem，简称CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。有时候，luci管理界面可能由于网络等方面的以素并不是那么畅快，CCS就显得很必要了。CCS运行在集群的每个节点上，监控每个集群节点上的单一配置文件/etc/cluster/cluster.conf的状态，当这个文件发生任何变化时，都将此变化更新到集群中的每个节点，时刻保持每个节点的配置文件同步。

例如：

管理员在节点A上更新了集群配置文件，CCS发现A节点的配置文件发生变化后，马上将此变化传播到其它节点上去。

rhcs的配置文件是cluster.conf，它是一个xml文件，具体包含集群名称、  
集群节点信息、集群资源和服务信息、fence设备等

栅设备（FENCE）

FENCE设备是RHCS集群中必不可少的一个组成部分，通过FENCE设备可以避免因出现不可预知的情况而造成的“脑裂”现象，FENCE设备的出现，就是为了解决类似这些问题，Fence设备主要就是通过服务器或存储本身的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将**服务器重启或关机，或者与网络断开连接**。

**FENCE的工作原理是**： 当意外原因导致主机异常或者宕机时，备机会首先调用FENCE设备，然后通过FENCE设备将异常主机重启或者从网络隔离，当FENCE操作成功执行后，返回信息给备机，备机在接到FENCE成功的信息后，开始接管主机的服务和资源。这样通过FENCE设备，将异常节点占据的资源进行了释放，保证了资源和服务始终运行在一个节点上。

RHCS的FENCE设备可以分为两种：内部FENCE和外部FENCE，常用的内部FENCE有IBMRSAII卡，HP的iLO卡，还有IPMI的设备等，外部fence设备有UPS、SANSWITCH、NETWORKSWITCH等

**2、高可用服务管理器（rgmanager）**

提供节点服务监控和服务故障转移，当一个节点服务出现故障时，将服务转移到另一个健康的节点上。

高可用性服务管理主要用来监督、启动和停止集群的应用、服务和资源。它提供了一种对集群服务的管理能力，当一个节点的服务失败时，高可用性集群服务管理进程可以将服务从这个失败节点转移到其它健康节点上来，并且这种服务转移能力是自动、透明的。RHCS通过rgmanager来管理集群服务，rgmanager运行在每个集群节点上，在服务器上对应的进程为clurgmgrd。

在一个RHCS集群中，高可用性服务包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如apache、mysql等，集群资源有很多种，例如一个IP地址、一个运行脚本、ext3/GFS文件系统等。

在RHCS集群中，高可用性服务是和一个失败转移域结合在一起的，所谓失败转移域是一个运行特定服务的集群节点的集合。在失败转移域中，可以给每个节点设置相应的优先级，通过优先级的高低来决定节点失败时服务转移的先后顺序，如果没有给节点指定优先级，那么集群高可用服务将在任意节点间转移。因此，通过创建失败转移域不但可以设定服务在节点间转移的顺序，而且可以限制某个服务仅在失败转移域指定的节点内进行切换。

**3、集群配置管理工具（luci和ricci）**

Conga是一种新的基于网络的集群配置工具，Conga是通过web方式来配置和管理集群节点的。Conga有两部分组成，分别是luci和ricci，luci安装在一台独立的计算机上，用于配置和管理集群，ricci安装在每个集群节点上，Luci通过ricci和集群中的每个节点进行通信。

通过LUCI 来管理和配置RHCS集群，LUCI是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统，节点主机可以使用ricci来和luci 管理段进行通信

RHCS也提供了一些功能强大的集群命令行管理工具，常用的有clustat、cman\_tool、ccs\_tool、fence\_tool、clusvcadm等。

**4、Linux virtual server**

LVS 是一个开源的负载均衡软件，利用LVS 可以将客户端的请求根据指定的负载策略和算法合理分配到各个节点，实现动态、智能的负载分担。

**5、GFS（global  file  system） / RedHatGS**

**GFS 是Redhat公司开发的一款集群文件系**统，目前最新的版本是GFS2，GFS文件系统允许多个服务同时读写一个磁盘分区，通过GFS可以实现数据的集中管理，免去了数据同步和拷贝的麻烦，但GFS不能独立存在，需要RHCS的底层组件支持。

GFS是RHCS为集群系统提供的一个存储解决方案，它**允许集群多个节点在块级别上共享存储**，每个节点通过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS是RHCS提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统不能实现的。

为了实现多个节点对于一个文件系统同时读写操作，GFS使用锁管理器来管理I/O操作，当一个写进程操作一个文件时，这个文件就被锁定，此时不允许其它进程进行读写操作直到这个写进程正常完成才释放锁，有当锁被释放后，其它读写进程才能对这个文件进行操作，另外，当一个节点在GFS文件系统上修改数据后，这种修改操作会通过RHCS底层通信机制立即在其它节点上可见

在搭建RHCS集群时，GFS一般作为共享存储，运行在每个节点上，并且可以通过RHCS管理工具对GFS进行配置和管理。这些需要说明的是RHCS和GFS之间的关系，一般初学者很容易混淆这个概念：运行RHCS，GFS不是必须的，只有在需要共享存储时，才需要GFS支持，而搭建GFS集群文件系统，必须要有RHCS的底层支持，所以安装GFS文件系统的节点，必须安装RHCS组件。

**6、CLVM（c luster  logical  volume  manger）**

CLuster 逻辑卷管理，即CLVM，是LVM的扩展，这种允许cluster 中的机器使用LVM来管理共享存储。

**7、ISCSI**

是一种在Internet协议上，特别是以太网上进行数据传输的标准，他是一种基于IPstorage理论的新型存储技术，RHCS可以通过ISCSI技术来导出和分配共享存储的使用。

### 三  搭建RHSC集群 ###

**1.环境准备**

(1)两台redht6.5的虚拟机。

*  server04配置luci集群管理界面，用来配置和管理集群。
 *  server04、server05 集群节点，配置ricci。

(2)在server 1 2 上配置更高级的yum源

[rhel-source]
    name=Red Hat Enterprise Linux $releasever - $basearch - Source
    baseurl=http://172.25.60.250/westos
    enabled=1
    gpgcheck=0
    gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
    
    [HighAvailability]
    name=Red Hat Enterprise Linux $releasever - $basearch - Source
    baseurl=http://172.25.60.250/westos/HighAvailability
    enabled=1
    gpgcheck=0
    #gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
    
    
    [LoadBalancer]
    name=Red Hat Enterprise Linux $releasever - $basearch - Source
    baseurl=http://172.25.60.250/westos/LoadBalancer
    enabled=1
    gpgcheck=0
    #gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
    
    [ResilientStorage]
    name=Red Hat Enterprise Linux $releasever - $basearch - Source
    baseurl=http://172.25.60.250/westos/ResilientStorage
    enabled=1
    gpgcheck=0
    #gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
    
    [ScalableFileSystem]
    name=Red Hat Enterprise Linux $releasever - $basearch - Source
    baseurl=http://172.25.60.250/westos/ScalableFileSystem
    enabled=1
    gpgcheck=0
    #gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70][]

将yum源的配置文件远程同步给server2：

![20190721223640735.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 1][]

**2.1.在server04上安装ricci、luci，启动服务，开机自启动**

*  ricci：集群节点
 *  luci：集群管理界面

yum install luci ricci httpd -y #下载软件 
    id ricci #查看是否有ricci用户 
    passwd ricci #配置ricci用户的密码 /
    /etc/init.d/ricci start #开启集群节点 
    /etc/init.d/luci start #开启集群管理界面 
    chkconfig ricci on #设置ricci开机自启动 
    chkconfig luci on #设置luci开机自启动

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 2][]

![20190721224704747.png][]

**2.2在server05上安装ricci，启动服务，开机自启动**

yum install ricci httpd -y
    id ricci
    passwd ricci
    /etc/init.d/ricci start
    chkconfig ricci on

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 3][]

chkconfig --list		#查看服务状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 4][]

2、3、4同为on则表示开机自启动

**3.打开浏览器，输入https：[//172.25.60.4][172.25.60.4]：8084**

**3.1添加认证：**

**！！因为手残 中间步骤出现问题，**

将server1   172.25.60.1 用server04  172.25.60.4 代替

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 5][]

**3.2登录**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 6][]**

**3.3****创建集群，并将server04 server05添加进集群**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 7][]**

server2 172.25.60.3 用server05 172.25.60.5 代替

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 8][]

**3.4**集群创建成功，并且将节点server04、server05添加进集群。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 9][]

在server04上：

cat /etc/cluster/cluster.conf 			##查看集群及节点
    clustat									##查看节点状态

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 12][]

**4、配置fence：**

FENCE设备是RHCS集群中必不可少的一个组成部分，通过FENCE设备可以避免因出现不可预知的情况而造成的“脑裂”现象，FENCE设备的出现，就是为了解决类似这些问题，Fence设备主要就是通过服务器或存储本身的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将服务器重启或关机，或者与网络断开连接。  
**4.1在真机上下载软件，制作钥匙**

yum install fence-virtd.x86_64 fence-virtd-libvirt.x86_64 fence-virtd-multicast.x86_64 -y 
    mkdir /etc/cluster 
    cd /etc/cluster 
    fence_virtd -c ##如果此方法没有生成钥匙，可以采用手动制作钥匙 
    dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1 ##手动制作钥匙

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 13][]

[root@foundation60 cluster]# fence_virtd -c
    Module search path [/usr/lib64/fence-virt]: 
    
    Available backends:
        libvirt 0.1
    Available listeners:
        multicast 1.1
    
    Listener modules are responsible for accepting requests
    from fencing clients.
    
    Listener module [multicast]: 
    
    The multicast listener module is designed for use environments
    where the guests and hosts may communicate over a network using
    multicast.
    
    The multicast address is the address that a client will use to
    send fencing requests to fence_virtd.
    
    Multicast IP Address [225.0.0.12]: 
    
    Using ipv4 as family.
    
    Multicast IP Port [1229]: 
    
    Setting a preferred interface causes fence_virtd to listen only
    on that interface.  Normally, it listens on the default network
    interface.  In environments where the virtual machines are
    using the host machine as a gateway, this *must* be set
    (typically to virbr0).
    Set to 'none' for no interface.
    
    Interface [none]: br0
    
    The key file is the shared key information which is used to
    authenticate fencing requests.  The contents of this file must
    be distributed to each physical host and virtual machine within
    a cluster.
    
    Key File [/etc/cluster/fence_xvm.key]: 
    
    Backend modules are responsible for routing requests to
    the appropriate hypervisor or management layer.
    
    Backend module [checkpoint]: libvirt
    
    The libvirt backend module is designed for single desktops or
    servers.  Do not use in environments where virtual machines
    may be migrated between hosts.
    
    Libvirt URI [qemu:///system]: 
    
    Configuration complete.
    
    === Begin Configuration ===
    backends {
    	libvirt {
    		uri = "qemu:///system";
    	}
    
    }
    
    listeners {
    	multicast {
    		interface = "br0";
    		port = "1229";
    		family = "ipv4";
    		address = "225.0.0.12";
    		key_file = "/etc/cluster/fence_xvm.key";
    	}
    
    }
    
    fence_virtd {
    	module_path = "/usr/lib64/fence-virt";
    	backend = "libvirt";
    	listener = "multicast";
    }
    
    === End Configuration ===
    Replace /etc/fence_virt.conf with the above [y/N]? y
    [root@foundation60 cluster]#

fence\_virtd -c \#\#配置fence  
1.回车 路径默认\[/usr/lib64/fence-virt\]  
2.回车 模式默认\[multicast\]  
3.回车 IP地址默认\[225.0.0.12\]  
4.回车 多播默认IP端口Multicast IP Port \[1229\]  
5.br0 接口：Interface \[virbr0\]: br0  
6.回车 key文件默认存储在/etc/cluster/fence\_xvm.key  
7.回车 Backend module \[libvirt\]:  
8.y  Replace /etc/fence\_virt.conf with the above \[y/N\]? y

![20190722123322393.png][]

**4.2 将生成的钥匙发送给server04、server05：**

scp fence_xvm.key root@172.25.60.4:/etc/cluster/
    scp fence_xvm.key root@172.25.60.5:/etc/cluster/

![20190722123718940.png][]

**4.3、浏览器配置**

**4.3.1 添加设备Fence Devices**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 14][]**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 15][]**

**4.3.2 给server****04 server05节点添加vmfence**

以server05示例，server04相同操作

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 16][]**

Domain输入server04的UUID，打开虚拟机的硬件管理界面可以看到。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 17][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 18][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 19][]

**4.4开启服务**

/etc/init.d/fence_virtd start
    /etc/init.d/fence_virtd status

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 20][]

**4.5测试**

**在server04 上**

fence_node server05

server05重新启动，但是集群及节点没有被破坏

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 21][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 22][]

**5. 配置Web高可用集群**

**5.1添加集群服务**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 23][]**

输入Name：webfile，

选中Prioritized、Restricted（只在指定节点跑）、No Failback（资源故障不回切）

选中下方的server04和server05的Member并输入优先级

server04输入1，server05输入10，就是以server04为主节点，数字越小优先级越高；

**5.2 添加集群资源**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 24][]**

点击Resources，点击Add，选择模式IP Address，输入IP和NETMASK，IP不能被占用，这个IP就是VIP，点击Submit

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 25][]**

点击Resources，点击Add，选择模式Script，输入Name”httpd“，并输入脚本路径”/etc/init.d/httpd“，点击Submit

**5.3添加服务组**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 26][]**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 27][]

点击ServiceGroups，点击Add，输入一个自定义名称，例如”apache“，选中”Automatically Start This Service“（集群自动开启）和”Run Exclusive“（运行独占），选中”FailoverDomain”下刚才创建的”webfile“，”Recovery Policy”选择”Relocate“，点击下方AddResource，选择之前创建的Resources：172.25.60.100&httpd，完成后点击Submit；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 28][]

**5.4**server04、server05下载httpd，并编写默认发布页

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 29][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 30][]

**5.5启动apache服务组**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 31][]**

server04和server05都正常，但server04优先级高，所以httpd在server04开启

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 32][]

![20190722142530325.png][]

**5.6测试**

模拟错误1：

将server04 httpd服务停止，则apache服务切换到server05运行

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 33][]

模拟错误2：

apahce服务在server05上运行时，关闭网络服务后，fence控制server05的电源，强制关机，web服务切换到server04上，不会影响客户使用，server05重启后，web服务不回切，保证了最少的服务变动，提升用户体验。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 34][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 35][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70]: /images/20211129/b209512e9ad841c8888ab1e4fd919ce4.png
[20190721223640735.png]: /images/20211129/cbff1fc62ca145c3a25e2f7ae2ec88d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 1]: /images/20211129/8df784aea49d4006b434e7432d8d50fa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 2]: /images/20211129/6fab108924e749ef869da6782fafb70d.png
[20190721224704747.png]: /images/20211129/a67c4fb2a6224e79b2954cb67fa22369.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 3]: /images/20211129/ea8ca8d700d54dea9332c331b2a02cb7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 4]: /images/20211129/59bb8cff13324952a7ceddac950463d5.png
[172.25.60.4]: https://172.25.75.1
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 5]: /images/20211129/417760ee3dc94399bfd73e0b5f716e15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 6]: /images/20211129/ed1cd9fd12b04daaa2d52129f11d2b8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 7]: /images/20211129/5366650cabb4402b8b72e06ef7623daa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 8]: /images/20211129/17679b5f8d174ad3b9b58edbd252e907.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 9]: /images/20211129/43aa450688064f4896b8514e28df6d2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 10]: /images/20211129/bbeccbbf476442a4a94a4535f5ca153a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 11]: /images/20211129/647de1bdde074ddabc37626f7b0022a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 12]: /images/20211129/5fc0078c17f346cdb27de34c124ad1d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 13]: /images/20211129/c429d99f5335427fa82ffbc6714ae596.png
[20190722123322393.png]: /images/20211129/2923103b566e412dbe0fc56c58361557.png
[20190722123718940.png]: /images/20211129/a2317870c6f94757a84543b19e98e85b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 14]: /images/20211129/657ba9ce534e451aa44440dbe6bc515b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 15]: /images/20211129/2273e50002714bf3910a00c256f2adf8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 16]: /images/20211129/a8feebb2f3724d31876ff55dcd1adf76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 17]: /images/20211129/e1d32853c143423cb97025179c7e2fb0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 18]: /images/20211129/ecd9a0801b9d4ae287df0791818c0e47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 19]: /images/20211129/38d3235c8d0f43eabf3227a453258e96.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 20]: /images/20211129/672b3ccd706e4e9c8f7b2e8284b5c650.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 21]: /images/20211129/89a9efd367f54c6ab4f69e93087c37c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 22]: /images/20211129/98d08ba0ab224ad1b9534b2ce518b002.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 23]: /images/20211129/d5b0564cb89f42c98775c98e77d88e7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 24]: /images/20211129/0b8bd5cf55734fb9864b6f9950ec78f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 25]: /images/20211129/a7780a0e798646b09d53056edbc4aa12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 26]: /images/20211129/5795089b21b14e7c9fe64f46373bcb34.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 27]: /images/20211129/34d5e2e47257428bbac056506578d322.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 28]: /images/20211129/50a09b4c9cba48c480ef77f2230299ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 29]: /images/20211129/d2732ff910364fd49f52fb9e7dd0534d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 30]: /images/20211129/8c43c1d1134c4042805351b0851f63db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 31]: /images/20211129/52a0883f10584941baa7b4b08f2dc791.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 32]: /images/20211129/cfeff4b365f54a61a245a6f9b74648fa.png
[20190722142530325.png]: /images/20211129/ea8cc136957d400eaa0d373cdea5ad82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 33]: /images/20211129/33fa76ba77114c0eb6bd1aa249d9b505.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 34]: /images/20211129/83837f4ebdca44f8a97cb52c92714a40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZhbnZhbl8_size_16_color_FFFFFF_t_70 35]: /images/20211129/8bc37766bd324ebeb6a5855e3b7c0b70.png