FastDFS文件上传原理

喜欢ヅ旅行 2023-02-19 13:24 20阅读 0赞

# FastDFS文件上传原理 #

--------------------

## 文件上传原理 ##

文件上传的原理如下图所示

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDYyNTY3_size_16_color_FFFFFF_t_70_pic_center]

1.  client询问tracker可以上传到哪一个storage,或者指定获取**某个组**的storage
2.  tracker返回一台可用的storage
3.  client直接和storage通讯完成文件上传
4.  storage保存文件以后给client返回组名(volume)和文件名称

文件上传**服务端**内部处理的详细机制如下：

### 选择tracker ###

当集群中有多个tracker时，由于tracker之间是完全对等的关系，因此客户端在upload文件时可以任意选择一个trakcer

### 选择group ###

当客户端没有指定group时，由服务端tracker自动指定。当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则：

1.  Round robin，所有的group间轮询
2.  Specified group，指定某一个确定的group
3.  Load balance，剩余存储空间多多group优先

### 选择storage ###

当选定group后，tracker会在group内选择一个storage节点给客户端，支持如下选择storage的规则：

1.  Round robin，在group内的所有storage间轮询
2.  First server ordered by ip，按ip排序
3.  First server ordered by priority，按优先级排序（优先级在storage上配置）

### 选择storage path ###

当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则：

1.  Round robin，多个存储目录间轮询
2.  剩余存储空间最多的优先

### 生成Fileid ###

选定存储目录之后，storage会为文件生一个Fileid:

1.  storage server ip（32位整数）
2.  文件创建时间（unix时间戳，32位整数）
3.  文件大小
4.  文件crc32校验码
5.  随机数（这个字段用来避免文件重名）

Fileid由上述部分拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串

### 选择文件子目录 ###

当选定存储目录之后，storage会为文件分配一个fileid，每个存储目录下有两级256\*256的子目录，storage会按文件fileid进行两次hash，路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下

### 生成文件名返回客户端 ###

当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名返回客户端，文件名由下述几个部分构成

1.  group name-文件上传后所在的存储组名称
2.  存储目录 - 存储服务器配置的虚拟路径，与磁盘选项store\_path\*对应。如果配置了store\_path0则是M00，如果配置了store\_path1则是M01，以此类推
3.  数据两级目录 - 存储服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件
4.  fileid
5.  文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成

生成的文件名需返回到客户端，需要由客户端进行保存。

# 其他篇章文章 #

[1. FastDFS文件系统简介与架构原理][1. FastDFS]  
[2. 文件上传原理][2.]  
[3. 文件下载原理][3.]  
[4. FastDFS文件同步原理与文件目录简介][4. FastDFS]  
[5. 服务端与客户端之间的通讯协议（自定义的通讯协议）][5.]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDYyNTY3_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/2020062020074430.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2NDYyNTY3,size_16,color_FFFFFF,t_70#pic_center
[1. FastDFS]: https://keepgoon.blog.csdn.net/article/details/106876976
[2.]: https://keepgoon.blog.csdn.net/article/details/106877014
[3.]: https://keepgoon.blog.csdn.net/article/details/106877041
[4. FastDFS]: https://blog.csdn.net/qq_26462567/article/details/106877071
[5.]: https://keepgoon.blog.csdn.net/article/details/106877138