FastDFS介绍

痛定思痛。 2022-05-20 00:51 185阅读 0赞

分析上传步骤：   
1） 指定图片绝对地址   
2） 指定图片服务器地址；使用 Client.conf 配置文件   
3） 加载图片服务器，连接图片服务器   
4） 创建图片服务器 tracker 客户端   
5） 从客户端获取 tracker 连接

6） 创建 storage 客户端，存储图片

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

## FastDFS概述 ##

分布式文件系统上传文件特点：   
1） 不再把文件上传项目，把上传文件和项目进行解耦   
2） 上传文件上传分布式文件系统

### FastDFS简介 ###

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

### FastDFS架构 ###

FastDFS [架构][Link 1]包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。   
Tracker server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。   
Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storage server 没有实现自己的文件系统而是利用[操作系统][Link 2] 的文件系统来管理文件。可以将 storage称为存储服务器。   
![J4lv7Ve.png][]

#### Tracker 集群 ####

FastDFS 集群中的 Tracker server 可以有多台，Tracker server 之间是相互平等关系同时提供服务，Tracker server 不存在单点故障。客户端请求 Tracker server 采用轮询方式，如果请求的 tracker 无法提供服务则换另一个 tracker。

#### Storage 集群 ####

Storage 集群采用了分组存储方式。storage 集群由一个或多个组构成，集群存储总容量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成，组内的 Storage server 之间是平等关系，不同组的 Storage server 之间不会相互通信，同组内的 Storage server之间会相互连接进行文件同步，从而保证同组内每个 storage 上的文件完全一致的。一个组的存储容量为该组内存储服务器容量最小的那个，由此可见组内存储服务器的软硬件配置最   
好是一致的。   
采用分组存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组也可以由 tracker 进行调度选择。一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。

#### Storage 状态收集 ####

Storage server 会连接集群中所有的 Tracker server，定时向他们报告自己的状态，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。

#### 文件上传流程 ####

客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。   
![em76FRZ.png][]   
组名：文件上传后所在的 storage 组名称，在文件上传成功后有 storage 服务器返回，需   
要客户端自行保存。   
\- 虚拟磁盘路径：storage 配置的虚拟路径，与磁盘选项 store\_path\*对应。如果配置了   
store\_path0 则是 M00，如果配置了 store\_path1 则是 M01，以此类推。   
\- 数据两级目录：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据   
文件。   
\- 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储   
服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

### 架构图 ###

![mLzVoTu.png][]

## 安装FastDFS ##

安装 fastDFS 之前需要依赖环境：   
FastDFS 使用 c 语言开发，需要使用 gcc 编译，需要安装 gcc。   
需要安装 fastdfs 依赖类库：libevent

### 安装FastDFS依赖环境 ###

安装 gcc   
2） 安装 libevent   
a) 安装命令：yum –y install libevent libevent-devel   
3） 安装 libfastcommon 依赖环境   
a) 第一步：导入 libfastcommon 到 usr/local/[Hadoop][]/libfastcommonV1.0.7.tar.gz   
i. 使用 rz 命令导入   
b) 第二步：解压   
i. tar -zxvf libfastcommonV1.0.7.tar.gz   
c) 第三步：编译   
i. 命令：./make.sh   
d) 第四步：安装   
i. 命令：./make.sh install   
e) 第五步：拷贝 usr/lib64 目录下：libfastcommon.so 文件到 usr/lib 下   
i. \[root@localhost libfastcommon-1.0.7\]\# find /usr/lib64 name “libfastcommon.so”   
/usr/lib64/libfastcommon.so   
\[root@localhost libfastcommon-1.0.7\]\#   
i. 拷贝命令:cp usr/lib64/ libfastcommon.so /usr/lib

注意：libfastcommon 安装好后会自动将库文件拷贝至/usr/lib64 下，由于 FastDFS 程序引用 usr/lib 目录所以需要将/usr/lib64 下的库文件拷贝至/usr/lib 下

### 安装FastDFS ###

1） 第一步：导入 fastDFS 安装包   
a) 使用 rz 命令导入   
2） 第二步：解压   
a) tar -zxvf FastDFS\_v5.05.tar.gz   
3） 第三步：编译安装   
a) 编译命令：./make.sh   
b) 安装命令：./make.sh install   
4） 第四步：拷贝 FastDFS/conf 下面所有配置文件到 etc/fdfs/   
a) 拷贝命令：\[root@localhost conf\]\# cp \* /etc/fdfs/

1.  \[root@localhost fdfs\]\# ll
2.  total 104
3.  \-rw-r--r--. 1 root root 23981 May 13 18 :34 anti-steal .jpg
4.  \-rw-r--r--. 1 root root 1461 May 13 18 :34 client .conf
5.  \-rw-r--r--. 1 root root 858 May 13 18 :34 http .conf
6.  \-rw-r--r--. 1 root root 31172 May 13 18 :34 mime .types
7.  \-rw-r--r--. 1 root root 7829 May 13 18 :34 storage .conf
8.  \-rw-r--r--. 1 root root 7829 May 13 18 :31 storage .conf .sample
9.  \-rw-r--r--. 1 root root 105 May 13 18 :34 storage\_ids .conf
10. \-rw-r--r--. 1 root root 7102 May 13 18 :34 tracker .conf
11. \-rw-r--r--. 1 root root 7102 May 13 18 :31 tracker .conf .sample

#### 安装tracker ####

安装 tracker，由于 tracker 运行程序就是 fasfdfs，fastDFS 安装成功，只需要修改   
etc/fdfstracker.conf 配置文件即可。   
1） 第一步：修改 base\_path 存储基本路径   
a) base\_path=/home/fastdfs //fastdfs 需要手动创建，fastdfs 在 home 目录下   
2） 第二步：修改存在组   
a) store\_group=group1   
3） 第三步：在 home 目录下创建 fastdfs   
a) 创建命令：mkdir fastdfs   
4） 第三步：[测试][Link 3]启动 tracker   
a) 测试是否安装成功   
b) 运行命令：/usr/bin/fdfs\_trackerd /etc/fdfs/tracker.conf restart   
drwx——. 4 mine mine 4096 May 5 02:22 mine   
\[root@localhost home\]\# /usr/bin/fdfs\_trackerd /etc/fdfs/tracker.conf   
\[root@localhost home\]\# /usr/bin/fdfs\_trackerd /etc/fdfs/tracker.conf restart   
waiting for pid \[9077\] exit …   
starting

#### 安装 storage ####

由于 storage 和 tracker 运行的都是 fastDFS 程序，每一台服务器都部署一台 fasfDFS，一台服务器是 tracker，一台是 storage。   
此机器：tracker 和 fastDFS 都是使用同一个程序。只需要配置 storage 配置文件即可。   
配置 storage.conf   
1） 第一步：配置组名   
a) group\_name=group1 //必须和 tracker 的组名相同。   
2） 第二步：配置基本存储路径 base\_path   
a) base\_path=/home/fastdfs   
3） 配置文件存储路径   
a) store\_path0=/home/fastdfs/storage\_path //storage\_path 需要手动创建   
`#store_path1=/home/yuqing/fastdfs2`   
如果有多个存储路径，就可以依次往下顺延。   
4） 创建文件存储路径 storage\_path   
a) /home/fastdfs 此目录下面创建   
b) 命令：mkdir storage\_path   
\[root@localhost fastdfs\]\# mkdir storage\_path   
\[root@localhost fastdfs\]\# ll   
total 12   
drwxr-xr-x. 2 root root 4096 May 13 18:45 data   
drwxr-xr-x. 2 root root 4096 May 13 18:43 logs   
drwxr-xr-x. 2 root root 4096 May 13 18:54 storage\_path   
5） 修改连接 tracker 服务器地址   
a) tracker\_server=192.168.66.66:22122   
6） 启动 storage 测试   
a) 启动命令：   
\[root@localhost fdfs\]\# /usr/bin/fdfs\_storaged /etc/fdfs/storage.conf   
\[root@localhost fdfs\]\# /usr/bin/fdfs\_storaged /etc/fdfs/storage.conf restart   
waiting for pid \[9132\] exit …   
starting …

## 整合 Nginx 和 FastDFS ##

FastDFS-nginx-module 整合 nginx 和 fastDFS。

### 安装 FastDFS-nginx-module ###

1） 第一步：导入 FastDFS-nginx-module 到 usr/local/Hadoop   
a) fastdfs-nginx-module\_v1.16.tar.gz   
2） 第二步：解压 fastdfs-nginx-module\_v1.16.tar.gz   
a) 命令：tar –zxvf fastdfs-nginx-module\_v1.16.tar.gz   
3） 第三步：修改/usr/local/hadoop/fastdfs-nginx-module/src/Config   
a) 修改路径   
去掉错误路径，usr/local/include 改为 usr/include   
第四步：拷贝 mod\_fastdfs.conf 到 etc/fdfs   
a) \[root@localhost src\]\# cp mod\_fastdfs.conf /etc/fdfs/   
5） 第五步：修改 mod\_fastdfs.conf   
a) base\_path=/home/fastdfs/storage\_path //此处必须是存储路径   
b) tracker\_server=192.168.66.66:22122   
c) group\_name=group1 //和前面配置组名保持一致   
d) store\_path0=/home/fastdfs/storage\_path //M00   
e) url\_have\_group\_name = true //允许使用组名   
6） 第六步：拷贝 usr/lib64 目录下库文件 libfdfsclient.so   
拷贝 usr/lib64/libfdfsclient.so 库文件 到 usr/lib 目录下。   
拷贝命令：cp /usr/lib64/libfdfsclient.so /usr/lib

### 整合 ###

需要把 module 添加 nginx 中。通过设置安装参数方式添加模块。   
参数设置：

1.  ./configure \\
2.  \--prefix= /usr/local /hadoop/nginx \\
3.  \--pid-path= /var/run /nginx/nginx.pid \\
4.  \--lock-path= /var/lock /nginx.lock \\
5.   \--error-log-path=/var /log/nginx /error.log \\
6.   \--http-log-path=/var /log/nginx /access.log \\
7.   \--with-http\_gzip\_static\_module \\
8.   \--http-client-body-temp-path=/var /temp/nginx /client \\
9.   \--http-proxy-temp-path=/var /temp/nginx /proxy \\
10.  \--http-fastcgi-temp-path=/var /temp/nginx /fastcgi \\
11.  \--http-uwsgi-temp-path=/var /temp/nginx /uwsgi \\
12.  \--http-scgi-temp-path=/var /temp/nginx /scgi \\
13.  \--add-module=/usr /local/hadoop /fastdfs-nginx-module/src

需要从新编译安装：   
Make   
Make install   
修改 nginx 配置文件 nginx.conf 配置文件：

1.  http \{
2.  include mime.types;
3.  default\_type application/octet-stream;
4.  sendfile on;
5.  keepalive\_timeout 65;
6.  server \{
7.  listen 80;
8.  server\_name 192.168 .66 .66;
9.  location /group1/M00/ \{
10. ngx\_fastdfs\_module;
11. \}
12. 
13. error\_page 500 502 503 504 / 50x.html;
14. location = / 50x.html \{
15. root html;
16. \}
17. 
18. \}
19. 
20. \}

## 上传图片 ##

使用 [Java][] 客户端上传图片，上传图片到 fastDFS 图片服务器上。

### 环境准备 ###

1）需要 Client.conf 配置文件：

tracker_server=192.168.66.66:22122

2）配置上传视图解析器

1.  **
2.  <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonMultipartResolver">
3.  <property name="maxUploadSize" value="10240000" />
4.  </bean>

3） 需要上传文件坐标

1.  **
2.  <dependency>
3.  <groupId>commons-fileupload </groupId>
4.  <artifactId>commons-fileupload </artifactId>
5.  <version>$\{commons-fileupload.version\} </version>
6.  </dependency>
7.  <dependency>
8.  <groupId>fastdfs\_client </groupId>
9.  <artifactId>fastdfs\_client </artifactId>
10. <version>1.25 </version>
11. </dependency>

### 上传图片 ###

分析上传步骤：   
1） 指定图片绝对地址   
2） 指定图片服务器地址；使用 Client.conf 配置文件   
3） 加载图片服务器，连接图片服务器   
4） 创建图片服务器 tracker 客户端   
5） 从客户端获取 tracker 连接   
6） 创建 storage 客户端，存储图片

上传图片，是把图片上传到 fastDFS 图片服务器，和 dao，Service 没有关系，直接使用 Controller 层就可以。

1.  @Controller
2.  public classUploadController\{ 
3.  @Value( "$\{IMAGE\_SERVER\_URL\}")
4.  private String IMAGE\_SERVER\_URL;
5.  
6.  @RequestMapping( "/pic/upload")
7.  public @ResponseBody PicResult  uploadPic (MultipartFile 
8.   uploadFile)\{
9.  try \{
10. *//获取文件名称*
11. String filename = uploadFile.getOriginalFilename();
12. *//获取文件扩展名*
13. String extName =
14. filename.substring(filename.lastIndexOf( ".")+ 1);
15. *//创建图片服务器上传工具类*
16. FastDFSClient fClient = new
17. FastDFSClient( "classpath:client.conf");
18. String url = fClient.uploadFile(uploadFile.getBytes(),
19. extName);
20. *//组合url图片服务器完整路径*
21. url = IMAGE\_SERVER\_URL+url;
22. *//创建一个PicResult对象，设置返回值结果*
23. PicResult pic = new PicResult();
24. pic.setError( 0);
25. pic.setUrl(url);
26. return pic;
27. \} catch (Exception e) \{
28. *// TODO Auto-generated catch block*
29. e.printStackTrace();
30. *//上传图片失败*
31. *//创建一个PicResult对象，设置返回值结果*
32. PicResult pic = new PicResult();
33. pic.setError( 1);
34. pic.setMessage( "上传失败");
35. return pic;
36. \}
37. \}
38. \}

转载自[https://blog.csdn.net/lihang\_1994/article/details/72598894][https_blog.csdn.net_lihang_1994_article_details_72598894]

[Link 1]: http://lib.csdn.net/base/architecture
[Link 2]: http://lib.csdn.net/base/operatingsystem
[J4lv7Ve.png]: http://i.imgur.com/J4lv7Ve.png
[em76FRZ.png]: http://i.imgur.com/em76FRZ.png
[mLzVoTu.png]: http://i.imgur.com/mLzVoTu.png
[Hadoop]: http://lib.csdn.net/base/hadoop
[Link 3]: http://lib.csdn.net/base/softwaretest
[Java]: http://lib.csdn.net/base/javase
[https_blog.csdn.net_lihang_1994_article_details_72598894]: https://blog.csdn.net/lihang_1994/article/details/72598894