云分布式文件系统

待我称王封你为后i 2022-12-12 15:11 95阅读 0赞

普通存储方案：Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块)，Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大，而SAN存储价格又比较昂贵，因此大多会选择分布式

存储来解决一下问题：

1.  海量数据存储问题
2.  数据高可用问题(冗余备份)问题
3.  较高的读写性能和负载均衡问题
4.  支持多平台多语言问题
5.  高并发问题

二、常用的分布式文件系统

常见的分布式文件系统有FastDFS，GFS、HDFS、Ceph 、GridFS 、mogileFS、TFS等，各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务：

<table> 
 <tbody> 
 <tr> 
 <td> 指标 </td> 
 <td> 适合类型 </td> 
 <td> 文件分布 </td> 
 <td> 系统性能 </td> 
 <td> 复杂度 </td> 
 <td> FUSE </td> 
 <td> POSIX </td> 
 <td> 备份机制 </td> 
 <td> 通讯协议接口 </td> 
 <td> 社区支持 </td> 
 <td> 去重 </td> 
 <td> 开发语言 </td> 
 </tr> 
 <tr> 
 <td> FastDFS </td> 
 <td> 4KB~500MB </td> 
 <td> 小文件合并存储不分片处理 </td> 
 <td> 很高 </td> 
 <td> 简单 </td> 
 <td> 不支持 </td> 
 <td> 不支持 </td> 
 <td> 组内冗余备份 </td> 
 <td> Api HTTP </td> 
 <td> 国内用户群 </td> 
 <td> &nbsp; </td> 
 <td> C语言 </td> 
 </tr> 
 <tr> 
 <td> TFS </td> 
 <td> 所有文件 </td> 
 <td> 小文件合并，以block组织分片 </td> 
 <td> &nbsp; </td> 
 <td> 复杂 </td> 
 <td> 不支持 </td> 
 <td> 不支持 </td> 
 <td> Block存储多份,主辅灾备 </td> 
 <td> API http </td> 
 <td> 少 </td> 
 <td> &nbsp; </td> 
 <td> C++ </td> 
 </tr> 
 <tr> 
 <td> MFS </td> 
 <td> 大于64K </td> 
 <td> 分片存储 </td> 
 <td> Master占内存多 </td> 
 <td> &nbsp; </td> 
 <td> 支持 </td> 
 <td> 支持 </td> 
 <td> 多点备份动态冗余 </td> 
 <td> 使用fuse挂在 </td> 
 <td> 较多 </td> 
 <td> &nbsp; </td> 
 <td> Perl </td> 
 </tr> 
 <tr> 
 <td> HDFS </td> 
 <td> 大文件 </td> 
 <td> 大文件分片分块存储 </td> 
 <td> &nbsp; </td> 
 <td> 简单 </td> 
 <td> 支持 </td> 
 <td> 支持 </td> 
 <td> 多副本 </td> 
 <td> 原生api </td> 
 <td> 较多 </td> 
 <td> &nbsp; </td> 
 <td> java </td> 
 </tr> 
 <tr> 
 <td> Ceph </td> 
 <td> 对象文件块 </td> 
 <td> OSD一主多从 </td> 
 <td> &nbsp; </td> 
 <td> 复杂 </td> 
 <td> 支持 </td> 
 <td> 支持 </td> 
 <td> 多副本 </td> 
 <td> 原生api </td> 
 <td> 较少 </td> 
 <td> &nbsp; </td> 
 <td> C++ </td> 
 </tr> 
 <tr> 
 <td> MogileFS </td> 
 <td> 海量小图片 </td> 
 <td> &nbsp; </td> 
 <td> 高 </td> 
 <td> 复杂 </td> 
 <td> 可以支持 </td> 
 <td> 不支持 </td> 
 <td> 动态冗余 </td> 
 <td> 原生api </td> 
 <td> 文档少 </td> 
 <td> &nbsp; </td> 
 <td> Perl </td> 
 </tr> 
 <tr> 
 <td> ClusterFS </td> 
 <td> 大文件 </td> 
 <td> &nbsp; </td> 
 <td> &nbsp; </td> 
 <td> 简单 </td> 
 <td> 支持 </td> 
 <td> 支持 </td> 
 <td> 镜像 </td> 
 <td> &nbsp; </td> 
 <td> 多 </td> 
 <td> &nbsp; </td> 
 <td> C </td> 
 </tr> 
 </tbody> 
</table>

[适用场景分析][Link 1]

[Link 1]: https://my.oschina.net/u/4664854/blog/4661094