FastDFS介绍与安装

╰半橙微兮° 2022-04-17 04:22 229阅读 0赞

FastDFS. 1

1     介绍.... 1

2     安装.... 4

2.1      安装libfastcommon. 4

2.1.1      下载安装包并解压.... 4

2.2      安装FastDFS. 5

2.3      安装nginx. 8

2.3.1      更新nginx安装库.... 8

2.3.2      安装nginx. 8

2.4      存储服务器（storage server）安装并配置nginx. 10

2.4.1      安装fastdfs-nginx-module. 10

# 1     介绍 #

FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是 http://code.google.com/p/fastdfs 。可以通过fastdfs.sourceforge.NET 下载。FastDFS孵化平台(ChinaUnix)版块http://bbs.chinaunix.net/forum-240-1.html。

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储节点存储文件，完成文件管理的所有功能，就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key valuepair）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。

跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

![1204560-20170721202010714-1023320896.png][]

FastDFS架构图

1)      Tracker cluster中各个tracker server相互独立，不进行相互通信。

2)      Storage cluster中各个storage组（Volume1,Volume2...）相互独立，不进行相互通信，也就是说各个组之间保存的数据是不相同的。但是各个组中的storage server之间是属于互相备份的关系，也就是说storage server之间保存相同的数据。

3)      每个storage server会启动一个单独的线程主动向Tracker cluster中每个tracker server报告其状态信息，包括磁盘使用情况，文件同步情况及文件上传下载次数统计等信息。

![1204560-20170721202014917-89200526.png][]

上传时序图

1)      Client通过Tracker server将文件上传到Storage server。

2)      Tracker server向Client返回一台可用的Storage server的IP地址和端口号。

3)      Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。

4)      上传完成，Storage server返回Client一个文件ID，文件上传结束。

![1204560-20170721202025964-1917736102.png][]

下载时序图

1)      Client通过Tracker server下载指定Storage组中某个Storage server上的某个文件（文件名包括Storage组名称）。

2)      Tracker server向Client返回一台可用的Storage server的IP地址和端口号。

3)      Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件下载。

# 2     安装 #

安装FastDFS还需要安装libfastcommon作为前提条件，首先准备安装包FastDFS和libfastcommon。

libfastcommon下载地址: https://github.com/happyfish100/libfastcommon/releases

FastDFS的下载地址：https://github.com/happyfish100/fastdfs/releases

首先安装libfastcommon，得到libfastcommon-1.0.35.tar.gz后解压、编译、安装。

**运行环境相关软件：**

²  CentOS 7.0

²  Libfastcommon-1.0.35

²  FastDFS-5.10

²  Nginx

²  Fastdfs-nginx-module

**服务器规划**

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>服务器名</p> </td> 
   <td style="vertical-align:top;"> <p>备注</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>Fastdfs-tracker</p> </td> 
   <td style="vertical-align:top;"> <p>跟踪服务器/调度服务器</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;"> <p>Fastdfs-storge</p> </td> 
   <td style="vertical-align:top;"> <p>存储服务器</p> </td> 
  </tr> 
 </tbody> 
</table>

## 2.1   安装libfastcommon ##

### 2.1.1 下载安装包并解压 ###

*  **下载libfastcommon**

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>wget https://github.com/happyfish100/libfastcommon/archive/V1.0.35.tar.gz</p> </td> 
  </tr> 
 </tbody> 
</table>

*  **解压**

*  **安装**

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>cd libfastcommon-1.0.35</p> <p>./make.sh</p> <p>./make.sh install</p> </td> 
  </tr> 
 </tbody> 
</table>

*提示：执行./make.sh命令时报如下错误，需要安装gcc*

*gcc安装命令：yum -y install gcc gcc-c++  make automake autoconf libtool perl*

![1204560-20170721202048058-195979357.png][]

![1204560-20170721202054105-59982806.png][]

## 2.2   安装FastDFS ##

*  解压

*  安装

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>cd fastdfs-5.10</p> <p>./make.sh</p> <p>./make.sh install</p> </td> 
  </tr> 
 </tbody> 
</table>

2.2.1.1    采用默认方式安装后的文件及目录

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>²&nbsp; 服务脚本</p> <p>[root@fastdfs-tracker ~]# ll /etc/init.d/ |grep fdfs</p> <p>-rwxr-xr-x. 1 root root&nbsp;&nbsp; 918 4月&nbsp; 22 22:08 fdfs_storaged</p> <p>-rwxr-xr-x. 1 root root&nbsp;&nbsp; 920 4月&nbsp; 22 22:08 fdfs_trackerd</p> <p>²&nbsp; 样例配置文件</p> <p>[root@fastdfs-tracker ~]# ll /etc/fdfs/</p> <p>总用量 20</p> <p>-rw-r--r--. 1 root root 1461 4月&nbsp; 22 22:08 client.conf.sample</p> <p>-rw-r--r--. 1 root root 7927 4月&nbsp; 22 22:08 storage.conf.sample</p> <p>-rw-r--r--. 1 root root 7200 4月&nbsp; 22 22:08 tracker.conf.sample</p> <p>²&nbsp; 命令行工具</p> <p>[root@fastdfs-tracker ~]# ll /usr/bin|grep fdfs</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 252272 4月&nbsp; 22 22:08 fdfs_appender_test</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 252225 4月&nbsp; 22 22:08 fdfs_appender_test1</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 242449 4月&nbsp; 22 22:08 fdfs_append_file</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 242013 4月&nbsp; 22 22:08 fdfs_crc32</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 242508 4月&nbsp; 22 22:08 fdfs_delete_file</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 243627 4月&nbsp; 22 22:08 fdfs_download_file</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 243369 4月&nbsp; 22 22:08 fdfs_file_info</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 255657 4月&nbsp; 22 22:08 fdfs_monitor</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 863913 4月&nbsp; 22 22:08 fdfs_storaged</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 258712 4月&nbsp; 22 22:08 fdfs_test</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 257881 4月&nbsp; 22 22:08 fdfs_test1</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 365232 4月&nbsp; 22 22:08 fdfs_trackerd</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 243547 4月&nbsp; 22 22:08 fdfs_upload_appender</p> <p>-rwxr-xr-x.&nbsp;&nbsp; 1 root root&nbsp;&nbsp;&nbsp;&nbsp; 244453 4月&nbsp; 22 22:08 fdfs_upload_file</p> </td> 
  </tr> 
 </tbody> 
</table>

2.2.1.2  配置跟踪服务器（tracker server）

*  拷贝tracker server和client端样例配置文件并重命名

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-tracker ~]# cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf</p> <p>[root@fastdfs-storage ~]# cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf</p> </td> 
  </tr> 
 </tbody> 
</table>

*  编辑tracker server配置文件tracker.conf，需要修改内容如下：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>disabled=false（默认为false，表示是否无效）</p> <p>port=22122（默认为22122）</p> <p>base_path=/data/fastdfs/tracker</p> </td> 
  </tr> 
 </tbody> 
</table>

*  编辑client端的配置文件client.conf，需要修改内容如下

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>base_path=/data/fastdfs/tracker</p> <p>#tracker_server中IP指定的是tracker server的IP</p> <p>tracker_server=192.168.128.134:22122</p> <p><img alt="" src="https://images2015.cnblogs.com/blog/1204560/201707/1204560-20170721202120245-1919206505.png"></p> </td> 
  </tr> 
 </tbody> 
</table>

*  创建tracker server数据目录

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-tracker ~]# mkdir -p /data/fastdfs/tracker</p> </td> 
  </tr> 
 </tbody> 
</table>

*  测试启动tracker server，启动成功会自动在/data/fastdfs/tracker目录新建data和logs目录

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-tracker ~]# cd /data/fastdfs/tracker/</p> <p>[root@fastdfs-tracker tracker]# ls</p> <p>[root@fastdfs-tracker tracker]# /etc/init.d/fdfs_trackerd start</p> <p>Starting FastDFS tracker server:</p> <p>[root@fastdfs-tracker tracker]# ss -lntup|grep 22122</p> <p>Tcp LISTEN 0 128 *:22122 *:* users:(("fdfs_trackerd",3785,5))</p> <p>[root@fastdfs-tracker tracker]# ls</p> <p>data logs</p> <p><img alt="" src="https://images2015.cnblogs.com/blog/1204560/201707/1204560-20170721202128495-2086944567.png"></p> </td> 
  </tr> 
 </tbody> 
</table>

*  关闭tracker server

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-tracker tracker]# /etc/init.d/fdfs_trackerd stop</p> <p>waiting for pid [3785] exit ...</p> <p>pid [3785] exit.</p> </td> 
  </tr> 
 </tbody> 
</table>

![1204560-20170721202138558-543051843.png][]

2.2.1.3  配置存储服务器（storage server）

*  拷贝storage server样例配置文件并重命名

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-storage ~]# cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf</p> </td> 
  </tr> 
 </tbody> 
</table>

*  编辑storage server配置文件storage.conf，需要修改内容如下：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>disabled=false（默认为false，表示是否无效）</p> <p>port=23000（默认为23000）</p> <p>base_path=/data/fastdfs/storage</p> <p>tracker_server=192.168.128.135:22122</p> <p>store_path0=/data/fastdfs/storage</p> <p>http.server_port=8888（默认为8888，nginx中配置的监听端口那之一致）</p> </td> 
  </tr> 
 </tbody> 
</table>

*  创建storage server数据目录

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-storage ~]# mkdir -p /data/fastdfs/storage</p> </td> 
  </tr> 
 </tbody> 
</table>

*  测试启动storage server，启动成功会自动在/data/fastdfs/tracker目录新建data和logs目录（启动storage server的前提是tracker server必须事先已启动）

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-storage ~]# cd /data/fastdfs/storage/</p> <p>[root@fastdfs-storage storage]# ls</p> <p>[root@fastdfs-storage storage]# /etc/init.d/fdfs_storaged start</p> <p>Starting FastDFS storage server:</p> <p>[root@fastdfs-storage storage]# ss -lntup|grep 23000</p> <p>tcp&nbsp;&nbsp;&nbsp; LISTEN&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 128&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *:23000&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *:*&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; users:(("fdfs_storaged",3786,5))</p> <p>[root@fastdfs-storage storage]# ls</p> <p>data&nbsp; logs</p> <p>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

2.2.1.4  文件上传测试

执行如下上传命令：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-tracker~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/oldcat/imgs/test.jpg</p> <p>group1/M00/00/00/rBIK6VcaP0aARXXvAAHrUgHEviQ394.jpg</p> <p>返回文件ID即说明文件已经上传成功</p> </td> 
  </tr> 
 </tbody> 
</table>

![1204560-20170721202159058-629296002.png][]

## 2.3   安装nginx ##

### 2.3.1 更新nginx安装库 ###

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p># rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm</p> <p># wget -O /etc/yum.repos.d/CentOS-Base.repo&nbsp;<a href="http://mirrors.aliyun.com/repo/Centos-7.repo" rel="nofollow">http://mirrors.aliyun.com/repo/Centos-7.repo</a></p> <p># yum makecache</p> <p># yum update</p> </td> 
  </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70][]

### 2.3.2 安装nginx ###

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>yum info nginx</p> <p>yum install nginx</p> </td> 
  </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70 2][]

## 2.4   存储服务器（storage server）安装并配置nginx ##

### 2.4.1 安装fastdfs-nginx-module ###

注：FastDFS通过Tracker服务器,将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。假设Tracker服务器将文件上传到了192.168.128.135，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.128.136，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.128.136上取文件,就会出现文件无法访问的错误。而fastdfs-nginx-module可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。

2.4.1.1  下载fastdfs-nginx-moudule

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-storagetools]# wget http://nchc.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz</p> <p>[root@fastdfs-storage tools]# tar -zxvf fastdfs-nginx-module_v1.16.tar.gz</p> <p>[root@fastdfs-storage tools]# cd fastdfs-nginx-module/src/</p> <p>[root@fastdfs-storage tools]# vi config</p> <p>编辑config文件，执行如下命令进行批量替换并保存退出</p> <p>:%s+/usr/local/+/usr/+g</p> </td> 
  </tr> 
 </tbody> 
</table>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70 3][]

2.4.1.2  拷贝fastdfs-nginx-module模块中配置文件到/etc/fdfs目录中并编辑

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@fastdfs-storage~]#cp /home/centos/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/</p> <p>[root@fastdfs-storage ~]# vim /etc/fdfs/mod_fastdfs.conf</p> <p>修改内容如下：</p> <p>connect_timeout=10</p> <p>base_path=/tmp（默认为/tmp）</p> <p>tracker_server=192.168.128.135:22122</p> <p>storage_server_port=23000（默认配置为23000）</p> <p>url_have_group_name = true</p> <p>store_path0=/data/fastdfs/storage</p> <p>group_name=group1（默认配置为group1）</p> <p>&nbsp;</p> <p>[group1]</p> <p>group_name=group1</p> <p>storage_server_port=23000</p> <p>store_path_count=1</p> <p>store_path0=/data/fastdfs/storage</p> </td> 
  </tr> 
 </tbody> 
</table>

2.4.1.3  nginx添加fastdfs-nginx-module模块

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>查看nginx版本</p> <p>[root@bogon centos]# nginx -V</p> </td> 
  </tr> 
 </tbody> 
</table>

![20181113083032972.png][]

\[root@bogon centos\]\# wget http://nginx.org/download/nginx-1.12.1.tar.gz

\[root@bogon centos\]\# tar -zvxf nginx-1.12.1.tar.gz

更新一下依赖相关包

\[root@bogon nginx-1.12.1\]\# yum -y install pcre\*

\[root@bogon nginx-1.12.1\]\# service nginx stop

\#编译./configure 后面加上 第1步nginx -V查看到的所有配置参数,后面加上你要加的模块配置

\[root@bogon nginx-1.12.1\]\#./configure --prefix=/etc/nginx ……(第1步nginx-V内容)……--add-module=/home/centos/fastdfs-nginx-module

![20181113083051356.png][]

\[root@bogon nginx-1.12.1\]\#make

\[root@bogon nginx-1.12.1\]\#make install

*注：报如下错：*

![20181113083118804.png][]

*需要执行yum -y install openssl-devel*

2.4.1.4  拷贝FastDFS中的部分配置文件到/etc/fdfs目录中

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@bogon conf]# cd /home/centos/fastdfs-5.10/conf</p> <p>[root@bogon conf]# cp http.conf /etc/fdfs/</p> <p>[root@bogon conf]# cp mime.types /etc/fdfs/</p> <p>&nbsp;</p> </td> 
  </tr> 
 </tbody> 
</table>

2.4.1.5  配置nginx，如下所示：

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;"> <p>[root@bogon conf.d]# cd /etc/nginx/conf.d/</p> <p>[root@bogon conf.d]# vi fdfs.conf</p> <p>修改配置如下：</p> <p>server { </p> <p>&nbsp;&nbsp;&nbsp; listen 8888;</p> <p>&nbsp;&nbsp;&nbsp; server_name&nbsp; localhost;</p> <p>&nbsp;&nbsp;&nbsp; location ~ /group[0-9]/ { </p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root /data/fastdfs/storage/data;</p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ngx_fastdfs_module;</p> <p>&nbsp;&nbsp;&nbsp; }</p> <p>&nbsp;&nbsp; error_page&nbsp;&nbsp; 500 502 503 504&nbsp; /50x.html;</p> <p>&nbsp;&nbsp; location = /50x.html { </p> <p>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; html;</p> <p>&nbsp;&nbsp; }</p> <p>}</p> </td> 
  </tr> 
 </tbody> 
</table>

[1204560-20170721202010714-1023320896.png]: /images/20220417/7da80d0d98cb45019e1e206c33c439bc.png
[1204560-20170721202014917-89200526.png]: /images/20220417/1f3e93c57a3d4b08a41db36c2569d411.png
[1204560-20170721202025964-1917736102.png]: /images/20220417/5e12004207764657be79f1da588f72a1.png
[1204560-20170721202048058-195979357.png]: /images/20220417/65cc7210a5d44b5b9182743a3ae3e324.png
[1204560-20170721202054105-59982806.png]: /images/20220417/5c822f83ecd940d0a33d5c545e1d4fff.png
[1204560-20170721202138558-543051843.png]: /images/20220417/d0d6236445374a388fd06d2e118d2bfe.png
[1204560-20170721202159058-629296002.png]: /images/20220417/2e1dfad48d79413ab2513818812fd60e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70]: /images/20220417/ec3a52cfb5234d2d9b761e9c1bfe4fa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70 1]: /images/20220417/18a6c624843c4962ac2748aede4ac95c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70 2]: /images/20220417/cdeead2c578e4c81bb753cfe197e04c6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjE3NTU3MA_size_16_color_FFFFFF_t_70 3]: /images/20220417/7958a3158b8f43498ced9f40541c1595.png
[20181113083032972.png]: /images/20220417/60690d8b803d4944ab271cf29c773592.png
[20181113083051356.png]: /images/20220417/512eeb89cd694f70a4ec1c8eaaa27a68.png
[20181113083118804.png]: /images/20220417/90f3cb42fca14517bf1fc644ca1d7854.png