使用vmware共享磁盘配置和挂载OCFS2文件系统

痛定思痛。 2024-03-17 18:08 29阅读 0赞

这次专门整理下多节点共享文件系统

**背景**

之前曾经安装过 Oracle RAC， 申请了多余的共享磁盘，配置了一下 OCFS2 系统， 挂载到所有节点，用于存放数据库备份， 这样的话， 备份的内容所有节点都可见。 当然了使用 Oracle ASM 的ACFS也行(以前做过，没记录，有空了再整理)。

这次呢，又一个新地方部署了同一个版本的RAC， 也想用相同方式，但在配置 OCFS2 的步骤 o2cb.init configure 步骤竟然报错，卡住了，时间比较紧， 最后，换 xfs 格式，只挂载在其中一个节点用于备份。

离开之后， 复盘了下原因， 是因为之前成功的 OCFS2 配置是在Oracle Linux 7 操作系统上，默认是 uek 内核启动， 默认是支持 OCFS2 文件系统的。 而我们这次呢，是 Redhat7 ， 默认是不支持 OCFS2 文件系统的。

今天，主要分享vmware workstation共享磁盘配置OCFS2共享文件系统

后面再讲DRBD 的方式实现共享磁盘

日期: 2023-05-24

## 1 测试环境 ##

oracle linux 8.7 (uek)测试组： 2台 使用vmware设置的共享磁盘

## 2 虚拟机共享磁盘配置 ##

1. 主机1 添加SCSI磁盘(新建), 立即分配所有空间， 虚拟设备节点: SCSI 1:0 模式: 独立，永久 其他: 不允许写缓存

2. 主机2 添加SCSI磁盘(使用前面新建的磁盘) 虚拟设备节点使用 SCSI 1:0 模式: 独立，永久 其他: 不允许写缓存

3. 打开2个虚拟机安装目录 编辑 .vmx 文件 结尾添加以下内容：

scsi1.sharedBus = "virtual"

disk.locking = "false"

diskLib.dataCacheMaxSize = "0"

diskLib.dataCacheMaxReadAheadSize = "0"

diskLib.dataCacheMinReadAheadSize = "0"

diskLib.dataCachePageSize = "4096"

diskLib.maxUnsyncedWrites = "0"

disk.EnableUUID = "TRUE"

## 3 主机配置 未特别指明，则所有节点都要执行 ##

hostnamectl set-hostname db01 #主机1执行，设置主机名称
    hostnamectl set-hostname db02 #主机2执行，设置主机名称
    
    #关闭seliux和防火墙
    systemctl disable firewalld --now
    sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config ; sed -i "s/SELINUX=permissive/SELINUX=disabled/g" /etc/selinux/config
    setenforce 0
    ls /dev/sd* #多了几个磁盘
    
    #使用udev固定磁盘
    /usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/sda #查看设备id，其他类推
    cat >/etc/udev/rules.d/99-oracle-ocfs2.rules<<EOF
    KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/\$name", RESULT=="36000c296495293d994b9a5df27c752cb", SYMLINK+="sharedisk/disks/data1", OWNER="root", GROUP="root", MODE="0660"
    EOF
    
    #linux7之后不能手动启停udev，而是采用重新加载的方式
    /sbin/udevadm control --reload-rules
    udevadm trigger --action=add
    /sbin/udevadm trigger --type=devices --action=change
    
    
    #可以看到设备了
    ll /dev/sharedisk/disks/

## 4 ocfs2配置 ##

注意 name 要和机器 hostname 一致

yum -y install ocfs2-tools
    yum -y install ocfs2-tools-devel #linux 7 only
    
    [ -d /etc/ocfs2 ] || mkdir -p /etc/ocfs2
    cat >/etc/ocfs2/cluster.conf <<EOF
    cluster:
    node_count = 2
    name = ocfs2
    node:
    ip_port = 7777
    ip_address = 192.168.55.187
    number = 0
    name = db01
    cluster = ocfs2
    node:
    ip_port = 7777
    ip_address = 192.168.55.188
    number = 1
    name = db02
    cluster = ocfs2
    EOF
    
    #初始化ocfs2配置 第一项选yes，第三项集群名称填上面配置文件里的，默认是ocfs2，其他默认， 配置结果存入配置文件 /etc/sysconfig/o2cb
    o2cb.init configure
    #确保o2cb ocfs2服务启动并设置为开机自启
    systemctl enable o2cb --now
    systemctl enable ocfs2 --now
    #任选一个主机 分区并格式化分区 注意:不同的测试组使用不同的设备
    parted /dev/sharedisk/disks/data1 mklabel gpt
    parted /dev/sharedisk/disks/data1 mkpart p1 ext4 1 100%
    mkfs.ocfs2 /dev/sharedisk/disks/data1
    #另一个主机 探测分区变化 注意:不同的测试组使用不同的设备
    partprobe /dev/sharedisk/disks/data1
    #所有主机 持久化磁盘挂载 注意:不同的测试组使用不同的设备
    [ -d /u02 ] || mkdir /u02 ; mount /dev/sharedisk/disks/data1 /u02
    echo 'sleep 10 ; partprobe /dev/sharedisk/disks/data1 ; sleep 10 ; mount /dev/sharedisk/disks/data1 /u02' >> /etc/rc.local

**测试**

#在crontab job中添加如下内容
    * * * * * echo ${HOSTNAME} $(date) >> /u02/test.log

**结论**

可以同时挂载，2节点都可以写入数据并互相可见. 重启/关闭都可以按照指令完成