RHCS+Conga+iSCSI+CLVM+GFS实现Web服务的共享存储HA集群

雨点打透心脏的1/2处 2022-08-09 00:57 155阅读 0赞

**一、RHCS架构规划：**

*  所有服务器系统均为CentOS6.4\_x86\_64
 *  在架构RHCS集群的诸多设定中如rpm包安装、配置文件修改等都需要在三个节点上同时进行；为了便于实现此过程，配置一台stepping node，在管理机上配置好ansible统一部署cluster\_node，同时安装集群管理工具luci；
 *  Node1,Node2,Node3配置成web高可用集群，安装ricci，安装iscsi  
    initiator作为iSCSI客户端，登录target端输出的共享设备，并启用clvm，格式化为gfs文件系统；
 *  Node4上准备集群ISCSI共享磁盘，安装scsi-target-utils作为target服务端，同时将Node4配置成为时间服务器，各节点时间与Node4同步;

上述ansible部署，ntp服务器配置，web服务器，iscsi target端与initiator端的详细搭建见此前相关博文，这里不再赘述  
实验架构图  
![这里写图片描述][20150930144105698]  
**二、搭建基于RHCS高可用集群的准备工作**  
1.设定主机名称解析，确保节点的主机名称和对应的IP地址解析服务可以正常工作，且每个节点的主机名称跟”uname -n“命令的结果保持一致  
![这里写图片描述][20150930144437057]  
![这里写图片描述][20150930144444232]  
![这里写图片描述][20150930144451664]  
2.各个节点时间同步  
![这里写图片描述][20150930144505689]  
3.为避免影响实验结果，关闭各个节点的iptables与selinux设置  
![这里写图片描述][20150930144517272]  
![这里写图片描述][20150930144526460]  
4.确保Node1、Node2、Node3上httpd服务可以正常访问  
![这里写图片描述][20150930144649384]  
5.停止服务并禁止开机自启  
![这里写图片描述][20150930162042815]  
![这里写图片描述][20150930144705353]  
**三、配置Conga(ricci&&luci)**  
1.集群各节点上安装ricci  
![这里写图片描述][20150930144748536]  
2.设置ricci账号密码，用于luci连接认证  
注意：ansible使用user模块时，password后面指定的密码不能是明文，后面这一串密码会被直接传送到被管理主机的/etc/shadow文件中，而登陆的时候输入的密码会被hash加密以后再去与/etc/shadow中存放的密码去做对比，会出现不一致的现象。所以需要先将密码字符串进行加密处理后指为password  
![这里写图片描述][20150930144758954]  
3.启动ricci服务  
![这里写图片描述][20150930144814402]  
4.管理机上安装luci，启动服务，使用web方式配置集群  
![这里写图片描述][20150930144943356]  
**四、Conga管理工具（luci/ricci）定义集群**  
1.添加信任例外  
![这里写图片描述][20150930145014198]  
2.登陆RHCS的配置界面为管理机系统管理员的账号密码  
![这里写图片描述][20150930145023250]  
3.创建一个集群并添加各节点  
登录进管理界面，点击Manage Clusters –> Create 填入如下内容：选中如下选项，然后提交  
选择Download Packages，配置好yum源，系统会自动安装集群相关软件包  
说明:这步会生成集群配置文件/etc/cluster/cluster.conf  
![这里写图片描述][20150930145038397]  
![这里写图片描述][20150930145112828]  
![这里写图片描述][20150930145123883]  
![这里写图片描述][20150930145206828]  
4. 添加Fence Devices  
说明: RHCS要实现完整的集群功能，必须要实现fence功能；这里为演示环境，由于非物理服务器配置等条件限制，使用VMware ESXi5.X的虚拟fence来实现fence设备的功能。  
(1)登录进管理界面，点击cluster-> Fence Devices->  
(2)选择”Add 选择VMware Fencing（SOAP Interface）  
(3)Name “ESXi\_fence”  
(4)IP Address or Hostname （ESXi地址）  
(5)Login&Password为登录fence设备的用户和密码  
![这里写图片描述][20150930145231292]  
5. 节点绑定Fence设备  
(1)点击Node1节点，AddFence Method，这里fence\_Node1;  
(2)添加一个fence instance,选择”ESXi\_fence” VMware Fencing（SOAP Interface）  
![这里写图片描述][20150930145245838]  
说明: VMNAME: 虚拟机名称，VM UUID: 虚拟机.vmx文件中”uuid.location”值  
![这里写图片描述][20150930145300533]  
6.创建故障转移域  
Prioritized:优先级：有序的 — 可在故障切换域的成员间指定顺序  
Restricted：限制 — 允许限制可运行具体集群服务的成员。如果在限制故障切换域中没有可用成员，则无法启动集群服务（手动或者使用集群软件均不可行）  
![这里写图片描述][20150930145357742]  
7.创建web高可用需要的资源： VIP地址；httpd脚本；  
![这里写图片描述][20150930145408975]  
8. 新建服务组，添加刚才新建的两个资源进服务组  
![这里写图片描述][20150930145426214]  
![这里写图片描述][20150930145536682]  
访问测试  
![这里写图片描述][20150930145608977]  
![这里写图片描述][20150930145626264]  
**五、配置集群ISCSI共享磁盘为后面格式化gfs做准备**  
1.挂载系统光盘后yum安装target包；在Node4上添加一块新硬盘，作为target对应的存储空间，不需要分区格式化  
![这里写图片描述][20150930154637499]  
2.启动服务守护进程，创建target；关联存储设备到target；实现基于IP的认证，将initiator-address与target绑定  
![这里写图片描述][20150930154645970]  
3.Node1,Node2,Node3上挂载系统光盘yum安装initiator客户端软件包：iscsi-initiator-utils  
![这里写图片描述][20150930154700454]  
![这里写图片描述][20150930154708338]  
4.启动服务  
![这里写图片描述][20150930154722157]  
5.发现存储服务器输出的target  
![这里写图片描述][20150930154731652]  
![这里写图片描述][20150930154741738]  
6.从initiator端登录到存储服务器上  
![这里写图片描述][20150930155046683]  
7.成功将target上的设备识别为本机设备  
![这里写图片描述][20150930155100325]  
**六、创建共享存储资源基于clvm的gfs**  
Cluster Logical Volume Manager集群逻辑卷管理是LVM的扩展，借助于HA的基础信息架构层，将某节点对LVM操作通知给其他节点，这种扩展允许cluster中的机器使用LVM来管理共享存储，但是配置之前需要开启lvm支持集群功能。  
1.启动CLVM服务，在各节点上通过命令启用CLVM的集成cluster锁服务，也可以编辑/etc/lvm/lvm.conf设置locking\_type = 3  
![这里写图片描述][20150930155110808]  
2.验证配置文件是否修改成功  
![这里写图片描述][20150930155125069]  
3.启动服务  
![这里写图片描述][20150930155138408]  
![这里写图片描述][20150930155145483]  
4.在Node1上进行配置集群逻辑卷

[root@Node1 ~]# pvcreate /dev/sdb
    [root@Node1 ~]# vgcreate webvg /dev/sdb
    [root@Node1 ~]# lvcreate -L 5G -n weblv webvg

5.此时在其他节点上可以看到刚才创建的逻辑卷  
![这里写图片描述][20150930155158501]  
6.格式化上面新建的逻辑卷，创建一个GFS文件系统；GFS文件系统允许多个服务同时读写一个磁盘分区，通过GFS可以实现数据的集中管理，免去了数据同步和拷贝的麻烦，但安装GFS需要RHCS的底层组件支持。  
说明：创建GFS需要提供的信息：  
日志文件大小  
文件系统大小  
锁类型：lock\_nolock/lock\_dlm  
锁文件的名字，通常为文件系统名：cluster\_name:fs\_name  
日志的个数，通常一个节点对应一个日志文件，但建议提供比节点数更多的日志数目，以提供冗余；  
语法格式： gfs\_mkfs -p lock\_dlm -t ClusterName:FSName -j Number -b block\_size -J journal\_size BlockDevice  
![这里写图片描述][20150930155829196]  
7.在每个节点上挂载文件系统，挂载GFS文件的主机必须是对应集群中的节点；Node3挂载失败，因为刚才在Node1上格式化文件系统时只创建了2个日志  
![这里写图片描述][20150930160008279]  
说明：挂载GFS文件时有如下常用选项可用：  
lockproto=\[locl\_dlm,lock\_nolock\]  
locktable=clustername:fsname  
upgrade \# GFS版本升级时有用  
acl 如果不想每一次启用GFS时都得指定某选项，也可以通过类似如下命令为其一次性指定:  
gfs\_tool margs”lockproto=lock\_dlm,acl”  
8.添加一个日志，先卸载再重新挂载  
![这里写图片描述][20150930160024673]  
![这里写图片描述][20150930160041699]  
9.由于挂载点为/var/www/html，原来目录下的index.html会暂时消失，因此在Node1重新创建index.html  
\[root@Node1 ~\]\# vim /var/www/html/index.html  
可以看到在Node1上增加的内容其会自动同步到其他节点上  
![这里写图片描述][20150930160120471]  
10.在luci的Resources菜单添加一个GFS2资源，再打开Services Group菜单，点击web\_service服务，添加刚创建的share\_store  
![这里写图片描述][20150930160139758]  
![这里写图片描述][20150930160159324]  
11.访问VIP，其主页内容已经变成了共享存储上的主页了  
![这里写图片描述][20150930160244741]  
![这里写图片描述][20150930160307034]  
12.高可用性验证，手动关闭Node2，模拟宕机  
![这里写图片描述][20150930161005260]  
![这里写图片描述][20150930161017943]  
![这里写图片描述][20150930161032239]  
**搭建过程易出错误处：**  
1、时间不同步造成集群无法进行配置文件传递  
2、配置过程中一旦出现某个小错误，修改不易成功，需要重新配置，建议保存关键步骤快照

[20150930144105698]: /images/20220731/f4d18b8802cf41e8ab1cf61c3a3d393e.png
[20150930144437057]: /images/20220731/e7410d8053994c859983c5bbaab9b3b4.png
[20150930144444232]: /images/20220731/acacd43850284f78a08ca8ee4dbab5a6.png
[20150930144451664]: /images/20220731/59f67a14d43d48f2b630f71fad46041b.png
[20150930144505689]: /images/20220731/8f6288bbc44044189cd7a686586498dc.png
[20150930144517272]: /images/20220731/9ab0d513204f4b898243c874236e752b.png
[20150930144526460]: /images/20220731/f7b0225e44004a7faf20d1b3bfcc9e72.png
[20150930144649384]: /images/20220731/36b8b8f404f04120937abc99613192da.png
[20150930162042815]: /images/20220731/e1581f78669c447c913e849560aad860.png
[20150930144705353]: /images/20220731/aeb9e37a6e744e10b4871572607d1976.png
[20150930144748536]: /images/20220731/4c9d8c035ad44b3da8cae16c118f3050.png
[20150930144758954]: /images/20220731/e78a9284097b4fb5947859022f9b7f3f.png
[20150930144814402]: /images/20220731/1ef8594e773f4a9e9acbe360c8d8dfea.png
[20150930144943356]: /images/20220731/f96560eadd2946c1b9d10a96e9fe981f.png
[20150930145014198]: /images/20220731/e2e9b75f689c4d09899ec5576c54388f.png
[20150930145023250]: /images/20220731/4871dd0e560d495c874a34878a8d2af5.png
[20150930145038397]: /images/20220731/877a775dceeb424db69d239207dff7ad.png
[20150930145112828]: /images/20220731/45368f20647b4d779690e6c181c2af93.png
[20150930145123883]: /images/20220731/f4ee4cd6a41844fd8e77365b3b6bb625.png
[20150930145206828]: /images/20220731/9872e912b2424f0f87244feb2328e205.png
[20150930145231292]: /images/20220731/d81d92b7a52b4f3fbb1d3fbc210fb364.png
[20150930145245838]: /images/20220731/04adab46c7d84078a6c53f035f396927.png
[20150930145300533]: /images/20220731/496432b7b6e543739327d999d7010747.png
[20150930145357742]: /images/20220731/5e8dc0f5c1c9469eb1d9a2b27f83a272.png
[20150930145408975]: /images/20220731/5a4fe6b1a25b44afaf965195698ad2bb.png
[20150930145426214]: /images/20220731/98a1b82078684d5a9ae8980abb69b52e.png
[20150930145536682]: /images/20220731/12b5beb18c584f6c8e81aa2dd57f706b.png
[20150930145608977]: /images/20220731/ba7e5f8221f4417d89ae2dd232ea4190.png
[20150930145626264]: /images/20220731/ac26a9e045584e9699803753740c202e.png
[20150930154637499]: /images/20220731/a6babcab4a264e1da9db6962f9d22be0.png
[20150930154645970]: /images/20220731/6d1b04c597084a20b825ff94a7755544.png
[20150930154700454]: /images/20220731/a0364119640546f9b97c9d4966b23e4a.png
[20150930154708338]: /images/20220731/a9a9bdae2e944091aad5b7fbe7795f57.png
[20150930154722157]: /images/20220731/55774f5c895542fca6d95ea70acff7f2.png
[20150930154731652]: /images/20220731/861d85c44d444c30b7c056b8a89965b2.png
[20150930154741738]: /images/20220731/829abbf4b4c44324b700351864e35458.png
[20150930155046683]: /images/20220731/8d41ff903583472196c11a93cbdda2aa.png
[20150930155100325]: /images/20220731/584b5b2829c7463ca3bbd3b232a67428.png
[20150930155110808]: /images/20220731/6f24dffca5984fd082a4487516a2011c.png
[20150930155125069]: /images/20220731/fa02bc367eb242928eb2b966817e4157.png
[20150930155138408]: /images/20220731/9b3bb76d8d144bc089dc5914d705893e.png
[20150930155145483]: /images/20220731/65baff071b694f77b3a211ad6974ae01.png
[20150930155158501]: /images/20220731/9e53590d430140b7a0a1df3a63f0b63b.png
[20150930155829196]: /images/20220731/44d11b147fc14672b94216ea45a14587.png
[20150930160008279]: /images/20220731/85e51f2130e74485be5cd9a45586b461.png
[20150930160024673]: /images/20220731/479aff4addcf4aaaaf90191af2b6ba3a.png
[20150930160041699]: /images/20220731/4ddc9c32e8194d35bc9b259f5102d55b.png
[20150930160120471]: /images/20220731/02f83b9037834924958f77e818777c4b.png
[20150930160139758]: /images/20220731/3de4d46366b14038a3601a8482cb2e41.png
[20150930160159324]: /images/20220731/1489ba2d21e9428b8aa4d25e1137deed.png
[20150930160244741]: /images/20220731/47a4a410516b462db6d50928dd9a4402.png
[20150930160307034]: /images/20220731/7e45846c890b4b8dae423ad6f1982f80.png
[20150930161005260]: /images/20220731/b7c100389a3b4b8180f63c67432d4753.png
[20150930161017943]: /images/20220731/58abcdab03f3434880c0c524260f1cb7.png
[20150930161032239]: /images/20220731/af34226bfbc94defb1c1cd9ba466877a.png