分布式文件系统

淩亂°似流年 2024-03-17 23:38 88阅读 0赞

## 分布式文件存储 ##

### 文件系统 ###

文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件。  
![image.png][]

### 分布式文件系统 ###

分布式文件系统可以简单理解为：一个计算机无法存储海量的文件，通过网络将若干计算机组织起来共同去存储海量的文件，去接收海量用户的请求，这些组织起来的计算机通过网络进行通信，如下图：  
![image.png][image.png 1]  
好处：

1、一台计算机的文件系统处理能力扩充到多台计算机同时处理。

2、一台计算机挂了还有另外副本计算机提供数据。

3、每台计算机可以放在不同的地域，这样用户就可以就近访问，提高访问速度。

在分布式文件系统中，每个节点通常不会存储完整的所有文件信息，而是将文件数据分割成块或片段，并将这些块分布式地存储在多个节点上。

具体来说，分布式文件系统采用数据分片和冗余备份策略，将一个文件分割成多个块或片段，并在多个节点上保存这些块。这样做的目的是提高系统的性能、可扩展性和容错性。

分布式文件系统的数据分片和冗余备份策略带来以下好处：

1.  高性能：文件的数据分片允许系统可以并行读写数据，从而提高数据访问性能。多个节点同时处理不同的数据块，加快数据的传输和处理速度。
2.  可扩展性：分布式存储在多个节点上分布存储文件块，当需要增加存储容量时，可以简单地添加更多的节点，从而实现系统的无缝扩展。
3.  容错性：数据的冗余备份保证了系统的容错性。即使某个节点发生故障，文件的数据仍然可以从其他节点中恢复，确保数据的可用性和完整性。

### 常见的分布式文件系统 ###

#### NFS ####

#### GFS ####

1）GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver组成。

2）master存储了数据文件的元数据，一个文件被分成了若干块存储在多个chunkserver中。

3）用户从master中获取数据元信息，向chunkserver存储数据。

#### HDFS ####

HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的，没有单点性能压力。

下图是HDFS的架构图：  
![image.png][image.png 2]  
1）HDFS采用主从结构，一个HDFS集群由一个名称结点和若干数据结点组成。

1.  名称结点存储数据的元信息，一个完整的数据文件分成若干块存储在数据结点。

3）客户端从名称结点获取数据的元信息及数据分块的信息，得到信息客户端即可从数据块来存取数据。

#### FastDFS ####

FastDFS是一个阿里开源的轻量级分布式文件系统  
[什么是FastDFS - 知乎 (zhihu.com)][FastDFS - _ _zhihu.com]

#### 云计算厂家 ####

阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.9999999999%（12 个 9），服务设计可用性（或业务连续性）不低于 99.995%。

*官方网站：*[*https://www.aliyun.com/product/oss*][https_www.aliyun.com_product_oss]

百度对象存储BOS提供稳定、安全、高效、高可扩展的云存储服务。您可以将任意数量和形式的非结构化数据存入BOS，并对数据进行管理和处理。BOS支持标准、低频、冷和归档存储等多种存储类型，满足多场景的存储需求。

*官方网站：*[*https://cloud.baidu.com/product/bos.html*][https_cloud.baidu.com_product_bos.html]

#### MinIO ####

*  轻量，使用简单
 *  单文件最大支持5T
 *  多语言支持

MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。

去中心化有什么好处？

在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。

它将分布在不同服务器上的多块硬盘组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。如下图：  
![900][]

Minio使用纠删码技术来保护数据，它是一种恢复丢失和损坏数据的数学算法，它将数据分块冗余的分散存储在各各节点的磁盘上，所有的可用磁盘组成一个集合，上图由8块硬盘组成一个集合，当上传一个文件时会通过纠删码算法计算对文件进行分块存储，除了将文件本身分成4个数据块，还会生成4个校验块，数据块和校验块会分散的存储在这8块硬盘上。

使用纠删码的好处是即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。 比如上边集合中有4个以内的硬盘损害仍可保证数据恢复，不影响上传和下载，如果多于一半的硬盘坏了则无法恢复。

[image.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3682bd8f1e7340ac8eb7f4a03c52cea6.png
[image.png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3533576103fb44a7ae107b807bfae4fd.png
[image.png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/03312586fe564b449c510ea67d988132.png
[FastDFS - _ _zhihu.com]: https://zhuanlan.zhihu.com/p/500860859
[https_www.aliyun.com_product_oss]: https://www.aliyun.com/product/oss
[https_cloud.baidu.com_product_bos.html]: https://cloud.baidu.com/product/bos.html
[900]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/99fb9845b4f54cef890642ac2c3ebf7a.png