VMware Linux RAID5 介绍

╰+攻爆jí腚メ 2023-01-15 14:23 244阅读 0赞

VMware Linux RAID5 配置

> VM环境:VMware Workstation 12  
> OS环境:CentOS 7

一、在VM中,软RAID 设备是/dev/md\*, md (Multiple Devices)

二、在RAID5中,至少要有3块硬盘,因为有差错检验.

三、在软RAID5中,实际的硬盘大小应该为实际硬盘数减一,即(N-1),减去的那块空间奇偶校验.这个空间是分散到每个磁盘上的.

四、在软RAID5中,实际的每块硬盘的大小,由最小的那块硬盘来决定.因为数据会拆开平均分配给每块硬盘.

五、所有实际RAID硬盘大小应该是(硬盘数or硬盘的分区数-1)\*最小的那个硬盘大小or分区大小

六、因为adadm是个工具,并没服务进程去读取/etc/mdadm.conf文件,所以,这个/etc/mdadm.conf文件是系统kernel默认读取的RAID模块为kernel支持模块，/etc/mdadm.conf作为默认的配置文件，系统启动时加载RAID模块读默认配置文件/etc/mdadm.conf,与/etc/hosts,/etc/resolv.conf之类一 样。

# 实验 #

首先在VM上的Linux安装4块硬盘,/dev/sdb /dev/sdc /dev/sdd /dev/sde 每块硬盘20G

#fdisk -l

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]  
**创建RAID5:**  
1.首选把这4块硬盘合并成raid.

#mdadm -Cv  /dev/md0  -l5  --raid-devices=4  /dev/sdb /dev/sdc /dev/sdd /dev/sde
     #  C 为创建RAID
     #  v 为显示创建信息
     #  /dev/md0 为软raid设备
     # --raid-devices  为几块硬盘

或者

#mdadm -Cv  /dev/md0  -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde
    
    使用cat /proc/mdstat查看创建进度，如果出现[UUU]则表示已经创建成功
    #cat /proc/mdstat
    
    
    使用mdadm -D /dev/md5 可以查看RAID的工作状态

**扩展**  
创建RAID10：

#mdadm -Cv  /dev/md0  -l1 -n2 /dev/sd[bc]1 
    
    #mdadm -Cv  /dev/md0  -l1 -n3 /dev/sd[de]1
    
    #mdadm -Cv  /dev/md0  -l5 -n3 /dev/md0 /dev/md1
    
    #cat /proc/mdstat
    
    格式化并挂载

![在这里插入图片描述][20210422214328255.png]  
2. 这时你可以用mdadm -D /dev/md0 参看RAID创建情况

#mdadm -D /dev/md0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 2]  
下面是CentOS 5效果图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 3]  
这时,还在编译,都它编译好了.就可以用了

1.  就创建了一个/dev/md0的raid了.但它的大小是(硬盘数or硬盘的分区数-1)\*最小的那个硬盘大小or分区大小

#fdisk -l

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 4]  
4.如果要使用,还必须指定/dev/md0的文件格式

# mkfs.ext4 /dev/md0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 5]  
5.使用mdadm -D /dev/md5 可以查看RAID的工作状态

#mdadm -D /dev/md0

都是active，使用状态![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 6]  
6.如果想控制页面的大小就需要加 -c32 (32标识每个页面32K,默认是64K),页面大小直接影响到IO  
mdadm -Cv /dev/md0 -c32 -l5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde  
通过mdadm -D /dev/md0就可以看到

#mdadm -Cv /dev/md0 -c32 -l5 --raid-devices=4 /dev/sdb /dev/sdc /dev/sdd /dev/sde

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 7]  
7. mdadm -Cv /dev/md0 -l5 --raid-devices=4 --spare-devices=1 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf

# 这个是建立一个热备磁盘,如果某个磁盘坏了.可以自动顶上去. #

#mdadm -Cv  /dev/md0  -l5  --raid-devices=4  --spare-devices=1 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf

![在这里插入图片描述][20210422215556201.png]  
模拟一个磁盘坏了，查看raid信息

[root@localhost MegaRAID]# mdadm /dev/md0 -f /dev/sdc
    mdadm: set /dev/sdc faulty in /dev/md0
    [root@localhost MegaRAID]# mdadm -D /dev/md0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 8]  
8、查看raid信息

#cat /proc/mdstat

![在这里插入图片描述][20210422223005796.png]  
格式化

mkfs.ext4 -j -b 4096 /dev/md0
    
    挂载 (硬盘挂载到data目录成功)
    mkdir /data
    mount /dev/md1 /data
    echo "/dev/md1 /data                       ext4     defaults        0 0" >> /etc/fstab

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 9]  
写数据

mkdir /data/abc && touch /data/abc/123
    mdadm -D /dev/md0     查看是否有坏的硬盘

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 11]  
新增磁盘设备，添加到md1

#mdadm /dev/md1 -a /dev/sdb
    mdadm: Cannot open /dev/sdb: Device or resource busy

![在这里插入图片描述][20210422223655200.png]  
软Raid创建的时候出现mdadm: Cannot open /dev/sde1: Device or resource busy

用一下命令可以解决：mdadm --stop /dev/md1

[root@localhost ~]# mdadm --stop /dev/md0
    mdadm: Cannot get exclusive access to /dev/md0:Perhaps a running process, mounted filesystem or active volume group?

意思就是停止Raid，停止先前创建的，

停止Raid后不提示就用上面的命令 md\_d1是生成Raid重启后有的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 12]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 13]  
四个硬盘，一个模拟坏盘，三个是磁盘正在运行，一个是刚刚挂载的data  
![在这里插入图片描述][20210422224038223.png]  
报错：系统正在使用中。  
解决办法 ：添加完硬盘后，需要重启才能识别这些硬盘设备。

**删除已损坏的硬盘**

#mdadm /dev/md0 -r /dev/sdc            #删除损坏的sdc硬盘
    mdadm: hot remove failed for /dev/sdc: Device or resource busy
    #/dev/sdc正在使用中
    
    #mdadm -D /dev/md0          #查看损坏的硬盘，是否被删除。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 14]  
停止md0磁盘

#mdadm --stop /dev/md0
    
    mdadm: Cannot get exclusive access to /dev/md1:Perhaps a running process, mounted filesystem or active volume group?

![在这里插入图片描述][20210422224257584.png]  
![在这里插入图片描述][20210422224317999.png]  
查看状态，一切正常：

# cat /proc/mdstat
    Personalities : [raid6] [raid5] [raid4]
    
    md1 : active raid5 sdf[4] sdg[3] sdi[2] sdj[1] sdh[0]
    
         3907045376 blocks super 1.2 level 5, 256k chunk, algorithm 2 [5/5] [UUUUU]
    
    unused devices: <none>

![在这里插入图片描述][20210422224337129.png]  
查看挂载点，也未发现有mount；也没有使用LVM管理该设备。  
查看是否有用户正在使用该设备：

#fuser -vm /dev/md0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 15]  
显示root用户正在操作该设备，kill掉该进程，再次stop该设备成功。

# 扩展 #

LINUX下彻底关闭某个RAID磁盘阵列  
1、查看RAID磁盘阵列信息，确认一下要关闭哪个。如：关闭md0这个阵列

[root@godben ~]# cat /proc/mdstat 
    
    Personalities : [raid6] [raid5] [raid4]

2、卸载md0这个阵列的挂载点：

[root@godben ~]# umount /mnt/raid5

3、停止md0这个阵列，并释放与该阵列相关的所有资源：

[root@godben ~]# mdadm -S /dev/md0
    
    mdadm: stopped /dev/md0

注意：如果在停止md0的阵列前，却没有把它卸载（umount）掉，会出现如下提示：

[root@godben ~]# mdadm -S /dev/md0
    
    mdadm: Cannot get exclusive access to /dev/md0:Perhaps a running process, mounted filesystem or active volume group?

4、清除成员磁盘当中阵列的超级块信息，这一步很重要！

[root@godben ~]# mdadm --zero-superblock /dev/sdb[1-3,5]

5、删除或注释/etc/fstab上的挂载信息

[root@godben ~]# vim /etc/fstab 
    
    #UUID=796a27da-d899-4e64-a3bd-b468fb0c4f37      /mnt/raid5       ext4    defaults       0     0

6、删除或注释/etc/mdadm.conf对应的RAID信息：

[root@godben ~]# vim /etc/mdadm.conf
    
    #ARRAY /dev/md0 metadata=1.2 spares=1 name=kashu.localdomain:0 UUID=3895d28e:bdcaed28:136b4cf6:d2a858f5

7、如果做完上面所有的操作后，发现/dev/下还有md0这个设备文件存在，直接rm -f /dev/md0即可

#rm -f /dev/md0

注:  
用/dev/md0 的软raid设备生成的磁盘整列.无法进行分区.  
mdadm -Cv /dev/md0 -l5 -c32 --raid-devices=5 --spare-devices=1 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg

# 这里,无法对/dev/md0分区后的设备进行mkfs.ext\* 操作,无法创建分区的格式.所以挂载md0分区后的设备 #

# 例如 mkfs.ext3 /etc/md0p1 // error #

所以需要

创建md设备时，用/dev/md\_d0替代/dev/md0，才能对MD设备进行分区。  
mdadm -Cv --auto=mdp /dev/md\_d0 -l5 -c32 --raid-devices=5 --spare-devices=1 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg

基本操作  
mdadm -S /dev/md0 \#关闭raid  
mdadm -A /dev/md0 \#启动raid  
mdadm -E /dev/sdb \#如果你不知道哪个分区属于哪个磁盘整列,可以用这个命令.  
\#UUID就是这个磁盘整列的唯一标识符.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 17]  
mdadm -Av /dev/md0 --uuid=8ba81579:e20fb0e8:e040da0e:f0b3fec8 \# 获得UUID后，也可以这样激活阵列

mdadm /dev/md0 --fail /dev/sdb --remove /dev/sdb \# 删除某个硬盘或分区.如果有一份热备用盘.如果删除.热备份盘会自动启动.

mdadm /dev/md0 --add /dev/sdb \# 新加一块硬盘.

# 重启后,使RAID从内核启动. #

mdadm --detail --scan >> /etc/mdadm.conf \# 放入配置文件.再次重启raid还是存在

![在这里插入图片描述][20210422215956926.png]

参考链接 ：

CENTOS 7安装MEGACLI  
**https://www.freesion.com/article/88151145481/**

**https://blog.csdn.net/weixin\_50355475/article/details/110530929**

https://blog.csdn.net/m582445672/article/details/7600798?utm\_medium=distribute.pc\_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-4.control&dist\_request\_id=&depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-4.control

虚拟机上创建RAID01 ：https://blog.csdn.net/qq\_41524362/article/details/88902264?utm\_medium=distribute.pc\_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel\_param&depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel\_param

mdadm删除RAID失败的解决方法 ：https://www.it610.com/article/3160808.htm

Linux下彻底关闭某个RAID磁盘阵列 ： https://blog.51cto.com/godben/1708634

https://blog.csdn.net/u011442726/article/details/101475738

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70]: /images/20221022/7956762b6b0b45078f6f41e86b86e974.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 1]: /images/20221022/1bbb7015c37243b99e20677914a57500.png
[20210422214328255.png]: /images/20221022/15c2f05a477a446fb148619b94dc4b88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 2]: /images/20221022/a897a8a25c3445fb8c368e9384e15062.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 3]: /images/20221022/baba9500f21946f39f6a3dd385e9c04a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 4]: /images/20221022/aca646c479f24152a539348b0176ddc0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 5]: /images/20221022/1289ed363e5c4754b4ca63554cdea654.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 6]: /images/20221022/9117eb8a10da44a5b3ebad75e5bca70c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 7]: /images/20221022/f6c625a2a03041faa3a59db2f6eb6a6a.png
[20210422215556201.png]: /images/20221022/4796b8da352d424ab9ac6538f9e73dd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 8]: /images/20221022/4d731bb8c3a24a89871e433df77373ac.png
[20210422223005796.png]: /images/20221022/c96cf801c5bb4acb8f28f38fec505f20.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 9]: /images/20221022/7b979a292c6e49c692454e5e14591068.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 10]: /images/20221022/e7a6be0091e64c71a8687ee8eeb9183f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 11]: /images/20221022/e43539e0083047428efb6f218d1591f6.png
[20210422223655200.png]: /images/20221022/776396744182495d91c4827287923f29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 12]: /images/20221022/22ab87b859744fce98e1f4eff2aece4a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 13]: /images/20221022/214cf4e97deb425d99bbf42b102578af.png
[20210422224038223.png]: /images/20221022/f716156a2a174a419f3dc622bfafbb57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 14]: /images/20221022/329176c0faf04adb9026efe436f582e6.png
[20210422224257584.png]: /images/20221022/3fc793b75a9c479e9e215016284c7855.png
[20210422224317999.png]: /images/20221022/85bf917c218b4d13a9d0656d77929b92.png
[20210422224337129.png]: /images/20221022/10f03869c8c5466e9cd5fb43be5c704b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 15]: /images/20221022/c95aecb5063849c2a41723a6dbd80b5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 16]: /images/20221022/81ec0422b4bc40f49014ce82543b11f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwOTA3OTc3_size_16_color_FFFFFF_t_70 17]: /images/20221022/e909cafe0a3041d4b9dd8a3ee4be5311.png
[20210422215956926.png]: /images/20221022/18c0d38745d74eccaa97ad1133b43559.png