分布式文件管理系统FastDFS搭建教程（FastDFS+nginx+fastdfs-nginx-module）

迈不过友情╰ 2022-04-01 06:56 804阅读 0赞

## Why FastDFS? ##

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

一、FastDFS架构图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70]

1.  Tracker cluster中各个tracker server相互独立，不进行相互通信。
2.  Storage cluster中各个storage组（Volume1,Volume2…）相互独立，不进行相互通信，也就是说各个组之间保存的数据是不相同的。但是各个组中的storage server之间是属于互相备份的关系，也就是说storage server之间保存相同的数据。
3.  每个storage server会启动一个单独的线程主动向Tracker cluster中每个tracker server报告其状态信息，包括磁盘使用情况，文件同步情况及文件上传下载次数统计等信息。

二、文件上传时序图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 1]  
4. Client通过Tracker server将文件上传到Storage server。  
5. Tracker server向Client返回一台可用的Storage server的IP地址和端口号。  
6. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。  
7. 上传完成，Storage server返回Client一个文件ID（例如group1/M00/00/00/wKhnd1wkvtOAPgd5AADmHHh3iFk538.jpg），文件上传结束。

三、文件下载时序图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 2]  
9. Client通过Tracker server下载指定Storage组中某个Storage server上的某个文件（文件名包括Storage组名称）。  
10. Tracker server向Client返回一台可用的Storage server的IP地址和端口号。  
11. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件下载。

## 安装FastDFS ##

一、相关软件清单

*  fastdfs-5.11
 *  nginx-1.15.8
 *  fastdfs-nginx-module-V1.20
 *  libfastcommon

二、服务器规划

<table> 
 <thead> 
  <tr> 
   <th>服务器名称</th> 
   <th>IP地址和端口</th> 
   <th>备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>fastdfs-tracker</td> 
   <td>192.168.103.118:22122</td> 
   <td>跟踪服务器/调度服务器</td> 
  </tr> 
  <tr> 
   <td>fastdfs-storage</td> 
   <td>192.168.103.118:23000</td> 
   <td>存储服务器</td> 
  </tr> 
 </tbody> 
</table>

## FastDFS配置总预览 ##

所有的配置都再这里了，基本只需要再修改一下本机的ip就行。这里给出下载链接，有需要的请自取并修改，然后在下面的操作中，无需copy demo，直接copy这些配置也是可以的，省一点时间。。

<table> 
 <thead> 
  <tr> 
   <th>提取码: hjj2</th> 
   <th>链接: <a href="https://pan.baidu.com/s/14RJJWKwc-vvudHldew93fQ" rel="nofollow">https://pan.baidu.com/s/14RJJWKwc-vvudHldew93fQ</a></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Moshow郑锴</td> 
   <td><a href="http://blog.csdn.net/moshowgame" rel="nofollow">blog.csdn.net/moshowgame</a></td> 
  </tr> 
  <tr> 
   <td><code>配置文件</code></td> 
   <td><code>配置路径</code></td> 
  </tr> 
  <tr> 
   <td>mod_fastdfs.conf</td> 
   <td>/etc/fdfs/</td> 
  </tr> 
  <tr> 
   <td>storage.conf</td> 
   <td>/etc/fdfs/</td> 
  </tr> 
  <tr> 
   <td>tracker.conf</td> 
   <td>/etc/fdfs/</td> 
  </tr> 
  <tr> 
   <td>client.conf</td> 
   <td>/etc/fdfs/</td> 
  </tr> 
  <tr> 
   <td>nginx.conf</td> 
   <td>/application/nginx/conf/</td> 
  </tr> 
  <tr> 
   <td>config</td> 
   <td>fastdfs-nginx-module-1.20/src/</td> 
  </tr> 
 </tbody> 
</table>

![在这里插入图片描述][20181230101023690.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 3]

## 安装FastDFS ##

1.  首先创建工具目录（请提前规划好目录）

> mkdir -p /usr/local/bak/fastdfs  
> cd /usr/local/bak/fastdfs

1.  下载并安装FastDFS依赖包libfastcommon

> wget [https://codeload.github.com/happyfish100/libfastcommon/zip/master][https_codeload.github.com_happyfish100_libfastcommon_zip_master]  
> unzip master  
> cd libfastcommon-master/  
> ls  
> `显示：HISTORY INSTALL libfastcommon.spec make.sh php-fastcommon README src`  
> ./make.sh  
> ./make.sh install

1.  从GitHub的Release下载并安装FastDFS

> [https://github.com/happyfish100/fastdfs/releases][https_github.com_happyfish100_fastdfs_releases]  
> cd /usr/local/bak/fastdfs  
> wget [https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz][https_github.com_happyfish100_fastdfs_archive_V5.11.tar.gz]  
> `#下载后会先显示保存的名称，发现有时候保存为V5.11，后缀都没了，请根据屏幕提示操作具体下载到的文件`  
> tar xf V5.11.tar.gz  
> cd fastdfs-5.11  
> ./make.sh && ./make.sh install  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 4]

1.  检验安装后的文件及目录：

> `#服务脚本：`  
> ll /etc/init.d/ |grep fdfs  
> `#样例配置文件`  
> ll /etc/fdfs/  
> `#命令行工具`  
> ll /usr/bin|grep fdfs

注意：虽然FastDFS区分tracker和storage服务器，但是安装的软件及步骤均相同，只是不同的配置文件而已，因此以上安装适用tracker server和storage server。也就是说`单机的话，只要装一份就可以用了，无需装两份`。

## 配置跟踪服务器（tracker server） ##

\*注意。`tracker_server不可配置为127.0.0.1`，否则会有`报错`

> \[2018-12-27 19:47:43\] ERROR - file: storage\_func.c, line: 1194, conf file “/etc/fdfs/storage.conf”, tracker: “127.0.0.1:22122” is invalid, tracker server ip can’t be 127.0.0.1  
> \[2018-12-27 19:47:43\] CRIT - exit abnormally!

1.  创建FastDfs数据目录

> mkdir -p /data/fastdfs/tracker

1.  拷贝tracker server和client端样例配置文件并重命名

> cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf  
> cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf

1.  编辑tracker server配置文件tracker.conf，需要修改内容如下：

> \#the tracker server port `这里配置的是tracker端口`  
> port=22122  
> \#the base path to store data and log files`这里配置的是存储的目录，包含数据和日志文件`  
> base\_path=/data/fastdfs/tracker

1.  编辑client端的配置文件client.conf，需要修改内容如下

> \#`这里配置的是存储的目录，包含数据和日志文件`  
> base\_path=/data/fastdfs/tracker

> \#`这里的是上面tracker的地址和端口，如果单机则本地ip(不能127.0.0.1，最好是局域网ip)，集群则中央tracker`  
> tracker\_server=192.168.103.118:22122

1.  测试启动tracker server，启动成功会自动在/data/fastdfs/tracker目录新建data和logs目录

> cd /data/fastdfs/tracker  
> /etc/init.d/fdfs\_trackerd start  
> `看到控制台输出以下信息证明基本是成功的`  
> `Reloading systemd: [ OK ]`  
> `Starting fdfs_trackerd (via systemctl): [ OK ]`  
> ss -lntup|grep 22122  
> `看到控制台输出tcp LISTEN 0 128 *:22122 *:* users:(("fdfs_trackerd",pid=15703,fd=5))`  
> ls  
> `看到控制台输出data logs`

## 配置存储服务器（storage server） ##

1.  拷贝storage server样例配置文件并重命名

> cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

1.  编辑storage server配置文件storage.conf，需要修改内容如下：

> \#`服务端口`  
> port=23000  
> \#`日志和文件存储路径`  
> base\_path=/data/fastdfs/storage  
> \#`存储路径，如果有多个就store_path0~store_pathN排列即可`  
> store\_path0=/data/fastdfs/data  
> \#tracker服务器地址，填写`tracker_server=127.0.0.1:22122是错误的，不能为127.0.0.1，请填写局域网ip`  
> tracker\_server=192.168.103.119:22122  
> \#`重点，这里默认为8888，后面我们需要在nginx中配置的监听端口号，就是这里定义`  
> http.server\_port=8888

1.  创建storage server数据目录

> mkdir -p /data/fastdfs/storage  
> mkdir -p /data/fastdfs/data

1.  测试启动storage server，启动成功会自动在`/data/fastdfs/tracker`目录新建data和logs目录（启动storage server的前提是tracker server必须事先已启动）

> cd /data/fastdfs/data  
> ls  
> /etc/init.d/fdfs\_storaged start  
> \#`这里要等很久,日志大概滚到9Kb的时候`  
> ss -lntup|grep 23000  
> \#看到控制台输出`tcp LISTEN 0 128 *:23000 *:* users:(("fdfs_storaged",pid=16542,fd=5))就对了`  
> ls  
> \#查看日志

1.  最后是开启和关闭相关的操作

> \#`关闭服务器`  
> /etc/init.d/fdfs\_trackerd stop  
> /etc/init.d/fdfs\_storaged stop  
> \#`打开服务器`  
> /etc/init.d/fdfs\_trackerd start  
> /etc/init.d/fdfs\_storaged start  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 5]

1.  文件上传测试

> \#命令格式如下：  
> `/usr/bin/fdfs_upload_file <config_file> <local_filename> [storage_ip:port] [store_path_index]`  
> \#执行如下上传命令：  
> /usr/bin/fdfs\_upload\_file /etc/fdfs/client.conf /data/fastdfs/class1.jpg  
> \#`看到控制台输出groupN/Mxx/00/00/xxxxxx.xxxx代表上传成功`  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 6]  
> `group1/M00/00/00/wKhndlwm7HWAQQIKAAA4xhJCkoc594.jpg`  
> 返回文件ID即说明文件已经上传成功

## 安装fastdfs-nginx-module模块 ##

`FastDFS通过Tracker服务器，将文件放在Storage服务器存储`，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。假设Tracker服务器将文件上传到了192.168.104.118，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.104.119，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.104.119上取文件,就会出现文件无法访问的错误。而`fastdfs-nginx-module`可以`重定向文件连接到源服务器取文件`,避免客户端由于复制延迟导致的文件无法访问错误。

> \#`新建nginx下载目录`  
> mkdir -p /usr/local/bak/nginx  
> \#`新建日志存储目录`  
> mkdir -p /data/fastdfs/nginx  
> cd /usr/local/bak/nginx  
> \#`下载并解压`  
> wget [https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz][https_github.com_happyfish100_fastdfs-nginx-module_archive_V1.20.tar.gz] fastdfs-nginx-module-V1.20.tar.gz  
> tar xf V1.20  
> cd fastdfs-nginx-module-1.20/src/

编辑`fastdfs-nginx-module-1.20/src/`目录下的`config`文件（没前缀，没后缀，就叫config），主要修改以下两处地方，`否则会有报错，而且报错是不可预料的，不要问为什么，反正就是干`。

> ngx\_module\_incs="/usr/include/fastdfs /usr/include/fastcommon/"  
> CORE\_INCS="$CORE\_INCS /usr/include/fastdfs /usr/include/fastcommon/"

拷贝fastdfs-nginx-module模块的配置文件`mod_fastdfs.conf`到`/etc/fdfs`目录中并编辑

> cp /usr/local/bak/nginx/fastdfs-nginx-module-1.20/src/mod\_fastdfs.conf /etc/fdfs/mod\_fastdfs.conf  
> cd /etc/fdfs/

修改内容如下，圈红为重点修改部分(感谢@驿外残香 反馈，此处的store\_path0应该与storage.conf中的store\_path0一致，这样nginx才能够找到资源的正确路径)：

> base\_path=`/data/fastdfs/nginx`  
> store\_path0=`/data/fastdfs/data`  
> tracker\_server=`192.168.103.118`:22122  
> storage\_server\_port=23000（默认配置为23000）  
> url\_have\_group\_name = `true`  
> group\_name=group1（默认配置为group1）

## 安装nginx ##

先安装依赖库

> yum install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel openssl openssl-devel -y

安装nginx

> cd /usr/local/bak/nginx  
> wget [https://nginx.org/download/nginx-1.15.8.tar.gz][https_nginx.org_download_nginx-1.15.8.tar.gz] \--no-check-certificate  
> tar xf nginx-1.15.8.tar.gz  
> cd nginx-1.15.8  
> \#`简单的安装法（我是用这种）`  
> ./configure --prefix=/application/nginx/ --add-module=/usr/local/bak/nginx/fastdfs-nginx-module-1.20/src  
> \#`比较复杂的安装法`仅供参考，如果第一个不成功就试下这个  
> ./configure --prefix=/application/nginx --sbin-path=/application/nginx/sbin/nginx --conf-path=/application/nginx/conf/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http\_ssl\_module --with-http\_stub\_status\_module --with-http\_gzip\_static\_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-stream --with-pcre --add-module=/home/software/fastdfs-nginx-module-master/src --with-stream  
> make && make install  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 7]  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 8]

拷贝FastDFS中的部分配置文件到`/etc/fdfs`目录中

> cp /usr/local/bak/fastdfs/fastdfs-5.11/conf/http.conf /etc/fdfs/  
> cp /usr/local/bak/fastdfs/fastdfs-5.11/conf/mime.types /etc/fdfs/

配置nginx的配置文件，路径是`/application/nginx/conf/nginx.conf`

user  root;    
        worker_processes  1;
        events {
           worker_connections  1024;
        }
        http {
            include       mime.types;
            default_type  application/octet-stream;
            sendfile        on;
            keepalive_timeout  65;
            server {
                listen       8888;
                server_name  localhost;
                location ~/group[0-9]/ {
                    ngx_fastdfs_module;
                }
                error_page   500 502 503 504  /50x.html;
                location = /50x.html {
                root   html;
                }
            }
        }

这里有几点要说明一下：

*  "user root"是解决下载操作时报`404`的问题
 *  8888端口号与`/etc/fdfs/storage.conf`中的`http.server_port=8888`相对应
 *  storage对应有多个group的情况下，访问路径带group名称（已经启用该配置），例如：`/group1/M00/00/00/**`，对应nginx配置 `location ~/group[0-9]/ { ngx_fastdfs_module;}`

拷贝nginx服务到/etc/init.d/目录下并启动

> cp /application/nginx/sbin/nginx /etc/init.d/  
> /etc/init.d/nginx  
> ss -lntup|grep 8888  
> `看到控制台输出tcp LISTEN 0 128 *:8888 *:* users:(("nginx",7308,6),("nginx",7309,6))`

查看和终止nginx状态

> ps -ef | grep nginx  
> kill -s 9 pid

## 验收战绩 ##

配置了大半天，究竟行不行，初次玩的时候，发现我用的fastdfs+nginx+nginx-fastdfs-module的版本太新了，有些配置需要琢磨，所以卡了一天，配置也贴了出来了，可以参考参考，有什么需要注意的文章也说了也圈红了。

好了，我们拼接上服务器前缀ip和端口号进行请求，这个时候由nginx-fastdfs-module进行转发到FastDFS上。表示配置已经完成，接下来就是一些API开发和运维的工作了。

> [http://192.168.103.118:8888/group1/M00/00/00/wKhndlwm7HWAQQIKAAA4xhJCkoc594.jpg][http_192.168.103.118_8888_group1_M00_00_00_wKhndlwm7HWAQQIKAAA4xhJCkoc594.jpg]  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 9]

## 后续 ##

调用部分请看[FastDFS Java Api 使用教程][FastDFS Java Api]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70]: /images/20220401/aaf0be16e5e643bda9d6723e9fb2fabd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 1]: /images/20220401/860dad76a1be405e9976fc3621bc4644.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 2]: /images/20220401/bdd8ebc6514841658a547908f40f9196.png
[20181230101023690.png]: /images/20220401/77ed3f3a3c694f67ba94679ecb7cc3ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 3]: /images/20220401/5581d0513fc549ccbe7cfd4a21e3b712.png
[https_codeload.github.com_happyfish100_libfastcommon_zip_master]: https://codeload.github.com/happyfish100/libfastcommon/zip/master
[https_github.com_happyfish100_fastdfs_releases]: https://github.com/happyfish100/fastdfs/releases
[https_github.com_happyfish100_fastdfs_archive_V5.11.tar.gz]: https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 4]: /images/20220401/7cdb7467a1a24c659b7a00c7204d4272.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 5]: /images/20220401/bd986639adac4bb6a8e7af66defb2851.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 6]: /images/20220401/a076b707063e401bb1c37d94c34de7c1.png
[https_github.com_happyfish100_fastdfs-nginx-module_archive_V1.20.tar.gz]: https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
[https_nginx.org_download_nginx-1.15.8.tar.gz]: https://nginx.org/download/nginx-1.15.8.tar.gz
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 7]: /images/20220401/96b058d707c04a76a94a1dc3fb46f62a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 8]: /images/20220401/d0879526c63842a19fae4c645dcfce1a.png
[http_192.168.103.118_8888_group1_M00_00_00_wKhndlwm7HWAQQIKAAA4xhJCkoc594.jpg]: http://192.168.103.118:8888/group1/M00/00/00/wKhndlwm7HWAQQIKAAA4xhJCkoc594.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vc2hvd2dhbWU_size_16_color_FFFFFF_t_70 9]: /images/20220401/cef0c4b2c55640faa963ce32eb032e50.png
[FastDFS Java Api]: https://blog.csdn.net/moshowgame/article/details/85601427