高可用性集群HA

刺骨的言语ヽ痛彻心扉 2022-05-31 10:24 295阅读 0赞

**HA(High Available)，高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。**

实验环境：rhel6.5
    server1：172.25.254.1
    server2：172.25.254.3
    server3：172.25.254.3
    server4：172.25.254.4
    server1和server4作为集群的节点，server1也为集群控制节点。
    共享存储模块：server2

### 红帽集群套件介绍 ###

**RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群架构融合一体，可以给web应用、数据库应用等提供安全、稳定的运行环境。是由红帽公司自主研发，并且开源的套件，特别适用新手进行集群的部署的练习。**

**集群套件的下载安装:**

[root@server1 ~]# yum install ricci -y
    [root@server1 ~]# passwd ricci
    [root@server1 ~]# /etc/init.d/ricci start
    [root@server1 ~]# chkconfig ricci on
    
    通常是服务器架或者托管 luci 的数据中心的一台计算机中,但集群计算机也可托管 luci, 这里为了实验操作不繁琐我们就将luci放在集群计算机中
    [root@server1 ~]# yum install luci -y
    [root@server1 ~]# /etc/init.d/luci start
    [root@server1 ~]# chkconfig luci on
    设置luci开机自启动（注意：如果不设置开机自启动，在网页配置时重启后端时服务就会起不来）
    
    [root@server4 ~]# yum install ricci -y
    [root@server4 ~]# passwd ricci
    [root@server4 ~]# /etc/init.d/ricci start
    [root@server4 ~]# chkconfig ricci on
    
    两台主机的ricci密码应该保持一致

![这里写图片描述][SouthEast]

这里写图片描述

![这里写图片描述][SouthEast 1]

![这里写图片描述][SouthEast 2]

![这里写图片描述][SouthEast 3]

### fence系统 ###

**我们把集群创建好后，却无法测试一下集群是否生效，现在咱们装上这个电源管理fence，真实情况下这是一个硬件，来让服务器直接断电的，这时候大家会问了为什么要给服务器直接断电，这样不会丢失数据吗？现在设想一个情况，有三台服务器，两台是结点，一台是存储服务器如nfs或者scsi，结点1是正常向外提供服务的机器，但是结点1突然挂掉了，高可用集群就会将服务迁移到结点2，而且存储也接到了结点2，为了防止结点1继续向存储服务器上写数据，我们就要让他断电，因为直接断电，服务器不会执行sync，也就是将内存上的数据写到磁盘上，这样就保护了存储服务器的硬盘。**

### 在物理机上配置fence ###

![这里写图片描述][SouthEast 4]

[root@foundation56 Desktop]# fence_virtd -c
    Module search path [/usr/lib64/fence-virt]: 
    Listener module [multicast]: 
    Multicast IP Address [225.0.0.12]: 
    Multicast IP Port [1229]: 
    Interface [br0]: 
    Key File [/etc/cluster/fence_xvm.key]: 
    === Begin Configuration ===
    backends {
        libvirt {
            uri = "qemu:///system";
        }
    
    }
    
    listeners {
        multicast {
            port = "1229";
            family = "ipv4";
            interface = "br0";
            address = "225.0.0.12";
            key_file = "/etc/cluster/fence_xvm.key";
        }
    
    }
    
    fence_virtd {
        module_path = "/usr/lib64/fence-virt";
        backend = "libvirt";
        listener = "multicast";
    }
    
    dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1使用本机存在的取随机数的命令生成相应的key

![这里写图片描述][SouthEast 5]

![这里写图片描述][SouthEast 6]

![这里写图片描述][SouthEast 7]

![这里写图片描述][SouthEast 8]

![这里写图片描述][SouthEast 9]

![这里写图片描述][SouthEast 10]

**测试：**

![这里写图片描述][SouthEast 11]

### 在集群上部署ip，nginx ###

**首先定义名字，接下来的三个选项分别是按照结点优先级去进行服务，只在选定结点内切换服务，当从一个结点切换到另一个结点的时候不再自动切换回原先的结点。最下面是选择我们要添加的结点。**  
![这里写图片描述][SouthEast 12]

**添加ip资源**

![这里写图片描述][SouthEast 13]

**添加nginx资源，我们选择用脚本的方式配置nginx**

![这里写图片描述][SouthEast 14]

**整合服务组**  
![这里写图片描述][SouthEast 15]  
![这里写图片描述][SouthEast 16]  
![这里写图片描述][SouthEast 17]

**先在server1上运行，如果server1挂掉，vip将漂移到server4上从而显示server4上的信息。**

![这里写图片描述][SouthEast 18]

![这里写图片描述][SouthEast 19]

[root@foundation56]# vim /etc/hosts
    172.25.254.100  www.westos.org bbs.westos.org
    [root@foundation56 rpm]# for i in {1..10};do curl www.westos.org; done
    server2
    server3
    server2
    server3
    server2
    server3
    server2
    server3
    server2

### 添加存储资源 ###

**真正环境下的服务，存储都不在结点机上，而是一台数据库服务器其他的服务器上，我们也是这样实验，现在使用server2作为存储服务器，做一个iscsi网络分享存储。**

[root@server2 ~]# yum install -y scsi-*
    [root@server2 ~]# vim /etc/tgt/targets.conf 
     38 <target iqn.2018-02.com.example:server.target1>
     39     backing-store /dev/vda1
     40     initiator-address 172.25.254.1
     41     initiator-address 172.25.254.4
     42 </target> [root@server2 ~]# /etc/init.d/tgtd start
    
    [root@server1]# yum install -y iscsi-*
    [root@server1 ~]# iscsiadm -m discovery -t st -p 172.25.254.2
    [root@server1 nodes]# iscsiadm -m node -l
    [root@server1 nodes]# fdisk -l
    Disk /dev/sdb: 8588 MB, 8588886016 bytes
    64 heads, 32 sectors/track, 8191 cylinders
    Units = cylinders of 2048 * 512 = 1048576 bytes
    Sector size (logical/physical): 512 bytes / 512 bytes
    I/O size (minimum/optimal): 512 bytes / 512 bytes
    Disk identifier: 0x00000000
    
    gfs2文件类型创建（两个后端资源可同步）
    [root@server1 nodes]# mkfs.gfs2 -j 3 -p lock_dlm -t pumpkin:mygfs2 /dev/sdb1
    This will destroy any data on /dev/sdb1.
    It appears to contain: data
    
    Are you sure you want to proceed? [y/n] y Device: /dev/sdb1
    Blocksize:                 4096
    Device Size                8.00 GB (2096892 blocks)
    Filesystem Size:           8.00 GB (2096890 blocks)
    Journals:                  3
    Resource Groups:           32
    Locking Protocol:          "lock_dlm"
    Lock Table:                "pumpkin:mygfs2"
    UUID:                      b304e22a-ac7c-097b-bfd0-cdd57394848f
    [root@server1 nodes]# mount /dev/sdb1 /mnt/
    [root@server1 nodes]# cd /mnt/
    
    [root@server4]# yum install -y iscsi-*
    [root@server4 conf]# iscsiadm -m discovery -t st -p 172.25.254.2
    [root@server4 conf]# iscsiadm -m node -l
    [root@server4 conf]# partprobe 
    [root@server4 conf]# mount /dev/sdb1 /mnt/
    [root@server4 conf]# cd /mnt/
    [root@server4 mnt]# cp /etc/passwd .
    [root@server4 mnt]# ls
    passwd
    
    [root@server1 mnt]# ls
    passwd

[root@server1 ~]# umount /mnt/
    [root@server4 ~]# umount /mnt/
    
    [root@server1 ~]# dd if=/dev/zero of=/dev/sdb1 bs=1M count=10
    [root@server1 ~]# fdisk /dev/sdb
    ....
    /dev/sdb1               1        8191     8387568   8e  Linux LVM
    ....
    [root@server1 ~]# pvcreate /dev/sdb1
    [root@server1 ~]# vgcreate vg0 /dev/sdb1
    [root@server1 ~]# lvcreate -L 4G -n demo vg0
    [root@server4 ~]# mkfs.ext4 /dev/vg0/demo

![这里写图片描述][SouthEast 20]

![这里写图片描述][SouthEast 21]  
![这里写图片描述][SouthEast 22]  
![这里写图片描述][SouthEast 23]  
![这里写图片描述][SouthEast 24]

[root@server4 html]# vim index.html
    /usr/local/nginx/html/index.html   server4
    [root@server4 html]# curl 172.25.254.100
    /usr/local/nginx/html/index.html   server4
    [root@server4 html]# clusvcadm -r nginx -m server1
    [root@server1 ~]# clustat 
     service:nginx                  server1                        started       
    [root@server1 ~]# ip addr
        inet 172.25.254.100/24 scope global secondary eth0
    [root@server1 ~]# df
    /dev/mapper/vg0-demo           4128448  139260   3779476   4% /usr/local/nginx/html
    [root@server1 html]# curl 172.25.254.100
    /usr/local/nginx/html/index.html   server4

**vim /etc/fstab 编写挂载文件（注意：gfs2 是网络类型，要添加 \_netdev ）**  
**UUID=”7333efbc-c142-7824-e8a4-6e8cce95fd8b” /var/www/html/ gfs2 \_netdev,defaults 0 0**

[SouthEast]: /images/20220531/496ffedcf4d84c76b87ac05b0758e849.png
[SouthEast 1]: /images/20220531/ce86e861b0cd4ff1b694e9566931edc7.png
[SouthEast 2]: /images/20220531/b90853a49502463aa819acfcc9fa6a16.png
[SouthEast 3]: /images/20220531/35728d3c5f934c02ae7407a602c9ec04.png
[SouthEast 4]: /images/20220531/20d52ac00365401ca99b933ca0ae1273.png
[SouthEast 5]: /images/20220531/c604911f290448649c97f18d3388da12.png
[SouthEast 6]: /images/20220531/a4a08d16195b43218ef18c71f11a6f42.png
[SouthEast 7]: /images/20220531/08b4ce8f730d4b28ab393bfcfd95b221.png
[SouthEast 8]: /images/20220531/02c211c392a042c093bb66f9a00b572e.png
[SouthEast 9]: /images/20220531/09e7cfed60374bbb91312eeb46367eef.png
[SouthEast 10]: /images/20220531/6dba9fd746434c9c96d9cd1066784b61.png
[SouthEast 11]: /images/20220531/fece78beac304821bdff7faa0ae5daed.png
[SouthEast 12]: /images/20220531/c0bd659cc14c4944a2476fb3cbd5508c.png
[SouthEast 13]: /images/20220531/886c1bd4fd3445ad9a3d302b70031b53.png
[SouthEast 14]: /images/20220531/56096f68e79b457ba26df07a7a271a28.png
[SouthEast 15]: /images/20220531/efc316eefdc042eab87793da923007d7.png
[SouthEast 16]: /images/20220531/be4ec4bc26e8479a8a29fc3cea177e35.png
[SouthEast 17]: /images/20220531/23fa982eb7164761bfb30eaf5b5b1a2d.png
[SouthEast 18]: /images/20220531/cda79c8ecc2c4fbab02115f51ae367e0.png
[SouthEast 19]: /images/20220531/d567bc2d5501437d90e550bccaaafaa9.png
[SouthEast 20]: /images/20220531/aeea5cc677824166be9b171990eaf27d.png
[SouthEast 21]: /images/20220531/becc195346c04a91b49a7050aaebfec1.png
[SouthEast 22]: /images/20220531/a531449030b44c24aba0691ede971b02.png
[SouthEast 23]: /images/20220531/41f34362e04f457792b7def232c90b06.png
[SouthEast 24]: /images/20220531/5584674e697d414bade1939e838a9015.png