CentOS7搭建FastDFS+Nginx

╰+攻爆jí腚メ 2022-05-28 01:44 281阅读 0赞

CentOS7搭建FastDFS+Nginx

  • CentOS7搭建FastDFS+Nginx

      1. FastDFS 介绍

      1. FastDFS单机部署

        • 2.1 准备
        • 2.2 安装依赖包和开始工具
        • 2.3 安装libfastcommon
        • 2.4 安装fastdfs
        • 2.5 配置tracker
        • 2.6 配置storage
        • 2.7 在storage上安装nginx
        • 2.8 配置client
        • 2.9 配置fastdfs-nginx-module和nginx

1. FastDFS 介绍

FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。

FastDFS系统结构如下图所示：

FastDFS系统结构

跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起 到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

FastDFS file upload

上传文件交互过程：

  1. client询问tracker上传到的storage，不需要附加参数；
  2. tracker返回一台可用的storage；
  3. client直接和storage通讯完成文件上传。

FastDFS file download

下载文件交互过程：

  1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
  2. tracker返回一台可用的storage；
  3. client直接和storage通讯完成文件下载。

需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。

2. FastDFS单机部署

2.1 准备

系统：
CentOS7

安装包：

  1. [root@SUNQFASTDFS01 fastdfs]# pwd
  2. /tmp/fastdfs
  3. [root@SUNQFASTDFS01 fastdfs]# ll
  4. total 1896
  5. -rw-r--r-- 1 root root  22192 Dec  8 14:29 fastdfs-nginx-module-master.zip
  6. -rw-r--r-- 1 root root 425467 Dec  8 14:25 fastdfs-master.zip
  7. -rw-r--r-- 1 root root 478937 Dec  8 14:27 libfastcommon-master.zip
  8. -rw-r--r-- 1 root root 988415 Aug  8 23:11 nginx-1.13.4.tar.gz
  9. [root@SUNQFASTDFS01 fastdfs]#

2.2 安装依赖包和开始工具

  1. #安装依赖软件
  2. yum -y install gcc gcc-c++ libstdc++-devel pcre-devel zlib-devel wget make
  3. yum -y groupinstall 'Development Tools'

2.3 安装libfastcommon

  1. cd /tmp/fastdfs/
  2. unzip libfastcommon-master.zip
  3. mv libfastcommon-master /usr/local/libfastcommon
  4. cd /usr/local/libfastcommon
  5. ./make.sh
  6. ./make.sh install

2.4 安装fastdfs

  1. cd /tmp/fastdfs
  2. unzip fastdfs-master.zip
  3. mv fastdfs-master /usr/local/fastdfs
  4. ./make.sh
  5. ./make.sh install
  7. [root@SUNQFASTDFS01 fastdfs]# ls -l /etc/fdfs/
  8. total 40
  9. -rw-r--r-- 1 root root 1461 Jan  8 16:50 client.conf.sample
  10. -rw-r--r-- 1 root root 7927 Jan  8 16:50 storage.conf.sample
  11. -rw-r--r-- 1 root root  105 Jan  8 16:50 storage_ids.conf.sample
  12. -rw-r--r-- 1 root root 7389 Jan  8 16:50 tracker.conf.sample
  13. [root@SUNQFASTDFS01 fastdfs]#

安装好之后，在/usr/bin目录下，可以看fdfs开头的命令工具

FastDFS安装完成之后，所有配置文件在/etc/fdfs目录下，
tracker需要tracker.conf配置文件，
storage需要storage.conf配置文件。

2.5 配置tracker

  1. cd /etc/fdfs/
  2. cp tracker.conf.sample tracker.conf
  3. vim tracker.conf

修改base_path（文件存储路径）为/opt/fastdfs

  1. # the base path to store data and log files
  2. base_path=/opt/fastdfs
  4. # 启用配置文件
  5. disabled=false
  6. # 设置tracker的端口号
  7. port=22122
  8. # 设置tracker的数据文件和日志目录（需手动创建）
  9. base_path=/opt/fastdfs
  10. # 设置http端口号
  11. http.server_port=8080

使用fdfs_trackerd /etc/fdfs/tracker.conf start尝试启动tracker

检查是否启动

  1. [root@SUNQFASTDFS01 fdfs]# fdfs_trackerd /etc/fdfs/tracker.conf start 
  2. [root@SUNQFASTDFS01 fdfs]# ps -ef|grep tracker.conf
  3. root      3438     1  0 17:01 ?        00:00:00 fdfs_trackerd /etc/fdfs/tracker.conf start
  4. root      3446  2670  0 17:01 pts/0    00:00:00 grep --color=auto tracker.conf
  5. [root@SUNQFASTDFS01 fdfs]# netstat -pln|grep fdfs
  6. tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      3438/fdfs_trackerd  
  7. [root@SUNQFASTDFS01 fdfs]# tail /opt/fastdfs/logs/trackerd.log 
  8. [2018-01-08 17:01:08] INFO - FastDFS v5.12, base_path=/opt/fastdfs, run_by_group=, run_by_user=, connect_timeout=30s, network_timeout=60s, port=22122, bind_addr=, max_connections=256, accept_threads=1, work_threads=4, min_buff_size=8192, max_buff_size=131072, store_lookup=2, store_group=, store_server=0, store_path=0, reserved_storage_space=10.00%, download_server=0, allow_ip_count=-1, sync_log_buff_interval=10s, check_active_interval=120s, thread_stack_size=64 KB, storage_ip_changed_auto_adjust=1, storage_sync_file_max_delay=86400s, storage_sync_file_max_time=300s, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0, trunk_compress_binlog_min_interval=0, use_storage_id=0, id_type_in_filename=ip, storage_id_count=0, rotate_error_log=0, error_log_rotate_time=00:00, rotate_error_log_size=0, log_file_keep_days=0, store_slave_file_use_link=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s

2.6 配置storage

  1. cd /etc/fdfs/
  2. cp storage.conf.sample storage.conf
  3. vim storage.conf

主要修改base_path，store_path以及tracker的连接地址以及storage的http服务端口配置等。

  1. group_name=group1                   # 组名（第一组为group1，第二组为group2，依次类推...）
  2. base_path=/opt/fastdfs             # 数据和日志文件存储根目录
  3. store_path0=/opt/fastdfs           # 第一个存储目录，第二个存储目录起名为：store_path1=xxx，其它存储目录名依次类推...
  4. store_path_count=1                  # 存储路径个数，需要和store_path个数匹配
  5. tracker_server=172.30.47.156:22122          # tracker服务器IP和端口，有多个则添加多行

检查是否启动

  1. [root@SUNQFASTDFS01 fdfs]# fdfs_storaged /etc/fdfs/storage.conf start
  2. [root@SUNQFASTDFS01 fdfs]# netstat -unltp|grep fdfs
  3. tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      3438/fdfs_trackerd  
  4. tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      4571/fdfs_storaged  
  5. [root@SUNQFASTDFS01 fdfs]# tail /opt/fastdfs/logs/storaged.log 
  6. mkdir data path: FA ...
  7. mkdir data path: FB ...
  8. mkdir data path: FC ...
  9. mkdir data path: FD ...
  10. mkdir data path: FE ...
  11. mkdir data path: FF ...
  12. data path: /opt/fastdfs/data, mkdir sub dir done.
  13. [2018-01-09 10:15:08] INFO - file: storage_param_getter.c, line: 191, use_storage_id=0, id_type_in_filename=ip, storage_ip_changed_auto_adjust=1, store_path=0, reserved_storage_space=10.00%, use_trunk_file=0, slot_min_size=256, slot_max_size=16 MB, trunk_file_size=64 MB, trunk_create_file_advance=0, trunk_create_file_time_base=02:00, trunk_create_file_interval=86400, trunk_create_file_space_threshold=20 GB, trunk_init_check_occupying=0, trunk_init_reload_from_binlog=0, trunk_compress_binlog_min_interval=0, store_slave_file_use_link=0
  14. [2018-01-09 10:15:08] INFO - file: storage_func.c, line: 257, tracker_client_ip: 172.30.47.156, my_server_id_str: 172.30.47.156, g_server_id_in_filename: -1674633556
  15. [2018-01-09 10:15:08] INFO - file: tracker_client_thread.c, line: 310, successfully connect to tracker server 172.30.47.156:22122, as a tracker client, my ip is 172.30.47.156
  16. [root@SUNQFASTDFS01 fdfs]#

在任一存储节点上使用如下命令查看集群的状态信息：
fdfs_monitor /etc/fdfs/storage.conf

如果出现ip_addr = Active, 则表明storage服务器已经登记到tracker服务器，如下：

  1. server_count=1, server_index=0
  3. tracker server is 172.30.47.156:22122
  5. group count: 1
  7. Group 1:
  8. group name = group1
  9. disk total space = 50871 MB
  10. disk free space = 40771 MB
  11. trunk free space = 0 MB
  12. storage server count = 1
  13. active server count = 1
  14. storage server port = 23000
  15. storage HTTP port = 8888
  16. store path count = 1
  17. subdir count per path = 256
  18. current write server index = 0
  19. current trunk file id = 0
  21.         Storage 1:
  22.                 id = 172.30.47.156
  23.                 ip_addr = 172.30.47.156 (SUNQFASTDFS01)  ACTIVE

2.7 在storage上安装nginx

注意：
fastdfs-nginx-module模块只需要安装到storage上。

  1. cd /tmp/fastdfs
  2. unzip fastdfs-nginx-module-master.zip
  3. mv fastdfs-nginx-module-master /usr/local/fastdfs-nginx-module
  4. tar -zxf nginx-1.13.4.tar.gz
  5. cd nginx-1.13.4
  6. ./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/

没有报错则执行下一步：

  1. make
  2. make install

如下结果则表示安装成功

  1. [root@SUNQFASTDFS01 nginx-1.13.4]# /usr/local/nginx/sbin/nginx -V
  2. nginx version: nginx/1.13.4
  3. built by gcc 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC) 
  4. configure arguments: --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module/src/

2.8 配置client

  1. cd /etc/fdfs/
  2. cp client.conf.sample client.conf
  3. vim client.conf
  5. base_path=/opt/fastdfs              # 数据和日志文件存储根目录 
  6. tracker_server=172.30.47.156:22122  # tracker服务器IP和端口，有多个按行添加 
  7. http.tracker_server_port=8080       # 服务端IP和端口号
  9. [root@SUNQFASTDFS01 data]# ls /tmp/test01.png 
  10. /tmp/test01.png
  11. [root@SUNQFASTDFS01 data]# fdfs_upload_file /etc/fdfs/client.conf /tmp/test01.png 
  12. group1/M00/00/00/rB4vnFpUPN-Adut0AANMVnJruQg458.png

2.9 配置fastdfs-nginx-module和nginx

  1. cd /etc/fdfs/
  2. cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf .
  3. vim mod_fastdfs.conf

一般只需改动以下几个参数即可：

  1. base_path=/opt/fastdfs            # 保存日志目录
  2. tracker_server=172.30.47.156:22122  # tracker服务器IP和端口，有多个按行添加
  3. storage_server_port=23000         # storage服务器的端口号
  4. group_name=group1                 # 当前服务器的group名
  5. url_have_group_name = true        # 文件url中是否有group名
  6. store_path_count=1                # 存储路径个数，需要和store_path个数匹配
  7. store_path0=/opt/fastdfs          # 存储路径
  8. group_count = 0                   # 设置组的个数，设置为0则为单组
  10. cp /usr/local/fastdfs/conf/http.conf /usr/local/fastdfs/conf/mime.types /etc/fdfs/
  11. vim /usr/local/nginx/conf/nginx.conf

内容：

  1. # nginx.conf
  2. user  nobody;
  3. worker_processes  8;
  5. error_log  logs/info.log  info;
  7. #pid logs/nginx.pid;
  10. events {
  11.     worker_connections  1024;
  12. }
  15. http {
  16.     include       mime.types;
  17.     default_type  application/octet-stream;
  19.     #log_format main '$remote_addr - $remote_user [$time_local] "$request" '
  20.     # '$status $body_bytes_sent "$http_referer" '
  21.     # '"$http_user_agent" "$http_x_forwarded_for"';
  23.     #access_log logs/access.log main;
  25.     sendfile        on;
  26.     #tcp_nopush on;
  28.     #keepalive_timeout 0;
  29.     keepalive_timeout  65;
  31.     #设定请求缓冲 
  32.     server_names_hash_bucket_size 128;  
  33.     client_header_buffer_size 32k;  
  34.     large_client_header_buffers 4 32k;  
  35.     client_max_body_size 300m;  
  36.     tcp_nopush     on;  
  37.     tcp_nodelay on;  
  38.     server_tokens off;  
  39.     client_body_buffer_size 512k;  
  40.     proxy_connect_timeout   20;  
  41.     proxy_send_timeout      60;  
  42.     proxy_read_timeout      20;  
  43.     proxy_buffer_size       16k;  
  44.     proxy_buffers           4 64k;  
  45.     proxy_busy_buffers_size 128k;  
  46.     proxy_temp_file_write_size 128k;   
  47.     client_header_timeout  3m;  
  48.     client_body_timeout    3m;  
  49.     send_timeout           3m;  
  52.     gzip on; # 开启gzip，节省带宽 
  53.     gzip_min_length  1100;  
  54.     gzip_buffers     4 8k;  
  55.     gzip_types       text/plain text/css application/x-javascript image/bmp application/javascript;     
  57.     output_buffers   1 32k;  
  58.     postpone_output  1460;  
  60.     limit_rate_after 3m; # 限速模块，前3M下载时不限速 
  61.     limit_rate 512k; # 限速模块 
  63. include vhost/*.conf;
  65. }
  67. vim /usr/local/nginx/conf/vhost/storage.conf

内容：

  1. # storage.conf
  2. server {
  3.     listen       8080 ;
  4.     server_name  172.30.47.156 ;
  6.     location / {
  7.         root   html;
  8.         index  index.html index.htm;
  9.     }
  11.     location ~/group[0-9]/M00 {
  12.         alias   /opt/fastdfs/data/;
  13.         ngx_fastdfs_module;
  14.     }
  16. }

启动nginx：

  1. /usr/local/nginx/sbin/nginx

然后访问上文件中生成的字符串拼接的url：
http://172.30.47.156:8080/group1/M00/00/00/rB4vnFpUPN-Adut0AANMVnJruQg458.png

参考资料：
[1] http://www.ityouknow.com/fastdfs/2017/10/10/cluster-building-fastdfs.html
[2] http://www.cnblogs.com/sunmmi/p/5798803.html
[3] http://blog.csdn.net/u012453843/article/details/69055570

发表评论

表情：
评论列表 （有 0 条评论，281人围观）

还没有评论，来说两句吧...

相关阅读

    相关 centos7搭建sftp

           sftp是Secure File Transfer Protocol的缩写，安全[文件传送协议][Link 1]。可以为传输文件提供一种安全的网络的加密方法。sf

    灰太狼灰太狼/ 0 赞/ 213 阅读

    相关 Centos7 SVN搭建

    介绍         Subversion（SVN）是一个开源的版本控制系统，也就是说Subversion管理着随时间改变的数据。         这些数据放置在一个中央

    迷南。迷南。/ 0 赞/ 339 阅读