FastDFS分布式文件系统入门(一)-FastDFS介绍

一时失言乱红尘 2023-02-12 05:55 18阅读 0赞

> # 一、什么是FastDFS？ #
> 
> FastDFS是一个开源的轻量级分布式文件系统，使用C语言开发，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，并且支持在线扩容，冗余备份、解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

> # 二、FastDFS架构 #
> 
> FastDFS由三个角色组成：跟踪服务器Tracker Server、存储服务器Storage Server、客户端Client
> 
> Tracker server：跟踪调度服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。
> 
> Storage Server：储存服务器，用于存储数据，以组（卷，group或volume）为单位组织；
> 
> Client：客户端，就是我们的应用程序，作为业务请求的发起方；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70][]

*  tracker服务器与Storage 存储服务器的特点

tracker服务器：

1.  tracker服务器集群是相互独立的机器 。
2.  storage集群服务器定时向tracker服务器汇报自身状态信息（每30s），包括健康信息、磁盘容量信息、同步信 息，ip等
3.  负载均衡
    
    storage 存储服务器:
4.  分卷存储文件，每卷（组）可以由多台服务器组成，同一卷组下的服务器之前数据是同步的，所以每台服务器的数据是一样的。
5.  组和组之间存储的数据是不一样的，分块存储，使用场景：扩容

## 文件上传机制 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70 1][]

具体流程描述：

1.  Storage Server会定时（每隔30秒）向tracker汇报状态信息，包括健康状态，当前磁盘容量信息等。
2.  Client发起上传文件的请求。
3.  Tracker Server接收到Client发起的上传请求后，根据Storage Server反馈的状态信息，获取可用的Storage，并将该storage的ip和端口返回给client。
4.  client向该ip和端口的storage地址直连,上传文件.
5.  storage server完成文件的存储，并生成文件的file\_id，将file\_id返回至client
6.  client获取文件的存储信息。

那么，通过上面的描述疑问：

1.  storage如果是由多个group组成，那么如何知道向哪个group中上传文件呢？
    
    **storage会定时向tracker汇报状态信息，tracker根据存储策略来确定通过哪种策略上传到相应的group中**
    
    **策略包括：0.轮询策略，1.固定访问某台group服务器，2.负载均衡，默认选择最大空闲空间的group服务器，系统默认选择2.负载均衡。**
2.  每个group中包括多台服务器， 那么如何知道写入同组的哪个storage服务器呢？
    
    **根据storage策略确定存入同组的哪个服务器，策略包括：0.轮询策略，1.根据ip排序存储，2.根据优先级**
    
    **系统默认选择0.轮询策略。**
3.  如何知道文件写入到storage中的哪个磁盘呢？
    
    **根据存储路径策略确认出入到磁盘哪个路径下，策略包括：0.轮询策略，2.最大空闲空间策略**
    
    **系统默认选择0.轮询策略。**
4.  当文件存储到某个目录后，会为该文件生成一个文件名，那么文件名是由哪些信息组成呢?
    
    **下图是文件存储成功后，fastdfs系统返回给client的文件路径，其中group1表示组名，M00表示虚拟磁盘目录，/00/00是文件的目录，后面组成的就是文件的名称和文件类型。**
    
    **文件名这一串字符是将源服务器的ip地址、文件的创建时间、文件的大小、文件的crc32、随机数拼接然后通过base64编码后形成的文件名。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70 2][]

## 文件下载机制![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70 3][] ##

具体流程描述：

1.storage定时向tracker汇报状态信息。

2.客户端发起下载文件的请求

3.tracker检验storage同步状态，如果同步完成，返回storage的ip和端口并根据文件名file\_id找到指定的storage服务器查找相应的文件，将该文件返回给client。如果同步未完成，tracker则根据请求的文件名解析出源服务器地址，找到源服务器下的相应的文件，将该文件返回给client。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200524234630900.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200524234709799.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200524234741363.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/2020052423481178.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2phdmFfY3hycw==,size_16,color_FFFFFF,t_70