minio纠删码原理

亦凉 2023-10-10 21:00 56阅读 0赞

## 介绍 ##

纠删码是一种数据保护技术，它可以通过数学计算，把原始数据分成多个数据块和校验块，然后分散存储在不同的磁盘上。这样，即使有一些磁盘损坏或丢失，也可以通过剩下的数据块和校验块恢复出原始数据。minio是一个对象存储服务，它使用了一种叫做Reed-Solomon code的纠删码算法，它可以把一个对象拆分成m份数据和n份奇偶校验块。例如，如果m=4，n=2，那么一个对象就会被拆分成4个数据块和2个奇偶校验块，一共6个块。这6个块会被存储在一个叫做Erasure Set的磁盘集合中，每个Erasure Set包含4到16个磁盘，分布在不同的位置。minio还支持两种存储级别：STANDARD和REDUCED\_REDUNDANCY，它们可以通过设置n的值来调整数据的冗余度和容错性。STANDARD级别的n值比REDUCED\_REDUNDANCY级别的n值大，也就是说STANDARD级别有更多的校验块，可以容忍更多的磁盘故障，但是也占用更多的空间。minio的读操作只需要m个磁盘就可以完成，写操作需要m+1个磁盘。如果有小于等于n个磁盘损坏或丢失，minio可以通过计算恢复出原始数据。

## 举例 ##

假设你有一个1MB的对象，你想用minio存储它。你可以选择STANDARD存储级别，设置n=4，也就是说你要生成4个奇偶校验块。那么，minio会把这个对象拆分成4个256KB的数据块和4个256KB的奇偶校验块，一共8个块。然后，minio会把这8个块分散存储在一个Erasure Set中，这个Erasure Set包含8个磁盘，每个磁盘存储一个块。这样，你的对象就被安全地存储了。  
如果有一天，其中一个磁盘发生了故障，比如说存储了第一个数据块的磁盘。那么，minio就会利用剩下的7个块，通过Reed-Solomon code算法，计算出第一个数据块的内容，并把它恢复出来。这样，你就不会丢失你的对象。即使有4个磁盘同时发生故障，minio也可以恢复出你的对象。但是如果有5个或更多的磁盘发生故障，那么minio就无法恢复出你的对象了。

### REDUCED\_REDUNDANCY存储级别 ###

如果你选择REDUCED\_REDUNDANCY存储级别，那么你可以设置n的值小于4，比如说n=2。这样，minio会把你的对象拆分成4个数据块和2个奇偶校验块，一共6个块。然后，minio会把这6个块分散存储在一个Erasure Set中，这个Erasure Set包含6个磁盘，每个磁盘存储一个块。这样，你的对象就被存储了，但是占用的空间比STANDARD存储级别少。  
但是，这样也意味着你的对象的容错性降低了。如果有2个或更多的磁盘发生故障，那么minio就无法恢复出你的对象了。所以，REDUCED\_REDUNDANCY存储级别适合用于那些不太重要或容易重新获取的数据。

## 替换一个损坏的磁盘 ##

如果你想替换一个损坏的磁盘，你应该按照以下步骤操作：

1.  卸载损坏的磁盘。你可以使用umount命令来卸载磁盘，比如说umount /dev/sdb。
2.  用一个新的健康的磁盘来替换损坏的磁盘。替换的磁盘必须满足以下要求：格式化为XFS并且为空；与原来的磁盘类型相同（比如HDD，SSD，NVMe）；性能和容量相等或更高。你可以使用mkfs.xfs命令来格式化磁盘，并且给它一个和原来的磁盘相同的标签，比如说mkfs.xfs /dev/sdb -L DRIVE1。
3.  检查并更新fstab文件。你需要确保/etc/fstab文件中，原来的磁盘对应的条目指向了新格式化的替换磁盘。如果你使用标签来挂载磁盘，你需要确保每个标签指向了正确的新格式化的磁盘。如果你使用UUID来挂载磁盘，你需要更新每个条目的UUID为新格式化的磁盘的UUID。你可以使用lsblk命令来查看磁盘的UUID。
4.  重新挂载替换的磁盘。你可以使用mount -a命令来重新挂载之前卸载的磁盘。
5.  监控minio对于磁盘检测和修复的状态。你可以使用mc admin console命令或者journalctl -u minio命令（如果你使用systemd管理minio的话）来监控服务器的日志输出，包括识别每个格式化和空白的磁盘的信息。你也可以使用mc admin heal命令来监控部署的整体修复状态。