FastDFS原理

朴灿烈づ我的快乐病毒、 2022-11-03 04:19 171阅读 0赞

** FastDFS原理**

**摘要：**

*  系统架构  
 *  相关术语  
 *  同步机制  
 *  通信协议  
 *  目录结构  
 *  安装和运行  
 *  和其他系统对比

**FastDFS简介**

FastDFS是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,

特别适合以文件为载体的在线服务，如图片网站，视频网站等 FastDFS主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡 FastDFS实现了软件方式的RAID，

可以使用廉价的IDE硬盘进行存储 支持存储服务器在线扩容 支持相同内容的文件只保存一份，节约磁盘空间 FastDFS只能通过Client API访问，不支持POSIX访问方式。

**系统架构－架构图**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70][]

**相关术语**

Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。

Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。文件和meta data都保存到存储服务器上。

group：组，也可称为卷。同组内服务器上的文件是完全相同。  作用：组间隔离，组内互为备份，容灾

meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024,heigth=768

fastDFS对文件内容做hash处理，避免出现重复文件

**文件标识**

文件标识：包括两部分，组名和文件名（包含路径）

例如： group1/M00/05/4E/rBCjQl8gCqWACg6CAAOl6IGjv2Q986.mp4

![2021022616502494.png][]

**上传文件流程**

1. client询问tracker上传到的storage，不需要附加参数；

2. tracker返回一台可用的storage；

3. client直接和storage通讯完成文件上传。

写操作的时候，新写的文件会以hash的方式被路由到某个子目录下，然后将文件数据作为本地文件存储到该目录中。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 1][]

**下载文件流程**

1. client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；

2. tracker返回一台可用的storage；

3. client直接和storage通讯完成文件下载。

当客户端向Tracker发起下载请求时，并不会直接下载，而是先查询storage server（检测同步状态），返回storage server的ip和端口；

然后客户端会带着文件信息（组名，路径，文件名），去访问相关的storage，然后下载文件。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 2][]

**同步机制**

*  同一组内的storage server之间是对等的，文件上传、删除等操作可以在任意一台storage server上进行；
 *  文件同步只在同组内的storage server之间进行，采用push方式，即源服务器同步给目标服务器；
 *  源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；
 *  上述第二条规则有个例外，就是新增加一台storage server时，由已有的一台storage server将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。
 *  写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。
 *  每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步；
 *  storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。
 *  storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。

**通信协议**

协议包由两部分组成：header和body

header共10字节，格式如下：   8 bytes body length   1 byte command   1 byte status

body数据包格式由取决于具体的命令，body可以为空

**运行时目录结构－tracker server**

Tracker服务初次启动成功后，会在base\_path下创建data、logs两个目录。目录结构如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 3][]

**运行时目录结构－storage server**

Storage 启动成功后，在base\_path 下创建了data、logs目录，记录着 Storage Server 的信息。 在 store\_path0 目录下，创建了N\*N个子目录： 默认每一级256个总共65536个

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 4][]

**安装和运行**

1. 下载

2. 解压

\# tar -zxvf V5.05.tar.gz

\# cd fastdfs-5.05

3. 编译、安装

\# ./make.sh

\# ./make.sh install

4. 默认安装方式安装后的相应文件与目录

A、服务脚本：

/etc/init.d/fdfs\_storaged

/etc/init.d/fdfs\_tracker

B、配置文件（这三个是作者给的样例配置文件） :

/etc/fdfs/client.conf.sample

/etc/fdfs/storage.conf.sample

/etc/fdfs/tracker.conf.sample

C、命令工具在 /usr/bin/ 目录下：

fdfs\_appender\_test

fdfs\_appender\_test1

fdfs\_append\_file

fdfs\_crc32

fdfs\_delete\_file

fdfs\_download\_file

fdfs\_file\_info

fdfs\_monitor

fdfs\_storaged

fdfs\_test

fdfs\_test1

fdfs\_trackerd

fdfs\_upload\_appender

fdfs\_upload\_file

stop.sh

restart.sh

**配置FastDFS跟踪器(Tracker)**

编辑tracker.conf ，标红的需要修改下，其它的默认即可。

\# 配置文件是否不生效，false 为生效

disabled=false

\# 提供服务的端口

port=22122

\# Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)

base\_path=/data/fastdfs/tracker

\# HTTP 服务端口

http.server\_port=80

**配置 FastDFS 存储 (Storage)**

编辑storage.conf  标红的需要修改，其它的默认即可。

\# 配置文件是否不生效，false 为生效

disabled=false

\# 指定此 storage server 所在 组(卷)

group\_name=group1

\# storage server 服务端口

port=23000

\# 心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳)

heart\_beat\_interval=30

\# Storage 数据和日志目录地址(根目录必须存在，子目录会自动生成)

base\_path=/data/fastdfs/storage

\# 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。

store\_path\_count=1

\# 逐一配置 store\_path\_count 个路径，索引号基于 0。

如果不配置 store\_path0，那它就和 base\_path 对应的路径一样。

store\_path0=/data/fastdfs/file

\# FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。

\# 如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store\_path 下自动创建 N \* N 个存放文件的子目录。

subdir\_count\_per\_path=256

\# tracker\_server 的列表 ，会主动连接 tracker\_server

\# 有多个 tracker server 时，每个 tracker server 写一行

tracker\_server=ip (或域名):22122

\# 允许系统同步的时间段 (默认是全天) 。

一般用于避免高峰同步产生一些问题而设定。

sync\_start\_time=00:00

sync\_end\_time=23:59

\# 访问端口

http.server\_port=80

**FastDFS和集中存储方式对比**

<table> 
 <tbody> 
 <tr> 
 <td> 指标 </td> 
 <td> FastDFS </td> 
 <td> NFS </td> 
 <td> 集中存储设备 如NetApp、NAS </td> 
 </tr> 
 <tr> 
 <td> 线性扩容性 </td> 
 <td> 高 </td> 
 <td> 差 </td> 
 <td> 差 </td> 
 </tr> 
 <tr> 
 <td> 文件高并发访问性能 </td> 
 <td> 高 </td> 
 <td> 差 </td> 
 <td> 一般 </td> 
 </tr> 
 <tr> 
 <td> 文件访问方式 </td> 
 <td> 专有API </td> 
 <td> POSIX </td> 
 <td> 支持POSIX </td> 
 </tr> 
 <tr> 
 <td> 硬件成本 </td> 
 <td> 较低 </td> 
 <td> 中等 </td> 
 <td> 高 </td> 
 </tr> 
 <tr> 
 <td> 相同内容文件只保存一份 </td> 
 <td> 支持 </td> 
 <td> 不支持 </td> 
 <td> 不支持 </td> 
 </tr> 
 </tbody> 
</table>

**FastDFS和mogileFS对比**

<table> 
 <tbody> 
 <tr> 
 <td> 指标 </td> 
 <td> FastDFS </td> 
 <td> mogileFS </td> 
 </tr> 
 <tr> 
 <td> 系统简洁性 </td> 
 <td> 简洁 只有两个角色：tracker和storage </td> 
 <td> 一般 有三个角色：tracker、storage和存储文件信息的mysql&nbsp;db </td> 
 </tr> 
 <tr> 
 <td> 系统性能 </td> 
 <td> 很高（没有使用数据库，文件同步直接点对点，不经过tracker中转） </td> 
 <td> 高（使用mysql来存储文件索引等信息，文件同步通过tracker调度和中转） </td> 
 </tr> 
 <tr> 
 <td> 系统稳定性 </td> 
 <td> 高（C语言开发，可以支持高并发和高负载） </td> 
 <td> 一般（Perl语言开发，高并发和高负载支持一般） </td> 
 </tr> 
 <tr> 
 <td> RAID方式 </td> 
 <td> 分组（组内冗余），灵活性较大 </td> 
 <td> 动态冗余，灵活性一般 </td> 
 </tr> 
 <tr> 
 <td> 通信协议 </td> 
 <td> 专有协议 下载文件支持HTTP </td> 
 <td> HTTP </td> 
 </tr> 
 <tr> 
 <td> 技术文档 </td> 
 <td> 较详细 </td> 
 <td> 较少 </td> 
 </tr> 
 <tr> 
 <td> 文件附加属性（meta&nbsp;data） </td> 
 <td> 支持 </td> 
 <td> 不支持 </td> 
 </tr> 
 <tr> 
 <td> 相同内容文件只保存一份 </td> 
 <td> 支持 </td> 
 <td> 不支持 </td> 
 </tr> 
 <tr> 
 <td> 下载文件时支持文件偏移量 </td> 
 <td> 支持 </td> 
 <td> 不支持 </td> 
 </tr> 
 </tbody> 
</table>

**添加Nginx模块**

上面将文件上传成功了，但我们无法下载。

因此安装Nginx作为服务器以支持Http方式访问文件。

同时，后面安装FastDFS的Nginx模块也需要Nginx环境。

Nginx只需要安装到StorageServer所在的服务器即可，用于访问文件。

我这里由于是单机，TrackerServer和StorageServer在一台服务器上。

确保电脑上已经装了Nginx。

下载fastdfs-nginx-module压缩包，并解压

进入Nginx的安装目录/usr/local/nginx/，   执行：

sudo ./configure --prefix=/usr/local/nginx/ --add-module=/home/download/fastdfs-nginx-module/src

sudo ./make

sudo ./make install

sudo cp /home/download/fastdfs-nginx-module/src/mod\_fastdfs.conf

/etc/fdfs/mod\_fastdfs.conf

**配置nginx.conf**

sudo vim /usr/local/nginx/conf/nginx.conf

在http部分中添加配置信息如下：

server \{

listen       8888;

server\_name  localhost;

location ~/group\[0-9\]/ \{  // 地址有组号的，就到下面的位置里找

ngx\_fastdfs\_module;

error\_page   500 502 503 504  /50x.html;

location = /50x.html \{

root   html;

**参考网站**

FastDFS英文：http://code.google.com/p/fastdfs

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70]: /images/20221024/8d33e1d6f9124dca9f228030fd591a5a.png
[2021022616502494.png]: /images/20221024/50adcf7e7d054beab8ed427b1b6b42f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 1]: /images/20221024/b1c77d5e8a1a41cca4d02c16f76e6dad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 2]: /images/20221024/7bd7df160bf843c69eecf69a45acd315.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 3]: /images/20221024/a210dfec0d0448959d51dcc37a95395d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppeXVlcWlhbnh1ZQ_size_16_color_FFFFFF_t_70 4]: /images/20221024/6da70ce6ed8d447981647dab156b378e.png