FastDFS互备原理

偏执的太偏执、 2023-01-23 05:52 67阅读 0赞

## FastDFS ##

FastDFS分布式文件管理系统，是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了**冗余备份**、**负载均衡**、**线性扩容等机制**，并注重**高可用**、**高性能**等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS的组件包括Tracker server、Storage server 以及Client：

**Tracker server**：

作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些策略找到 Storage server提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。Tracker需要管理的信息也都放在内存中，并且里面所有的Tracker都是对等的（每个节点地位相等），很容易扩展。

**Storage server**：

作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上， Storageserver没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将 storage 称为存储服务器；实际是用来保存文件， Storage 分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。即上传一个文件到其中一个storage，那么同组内其他的storage会进行文件的同步。

**文件上传**：Client会先向Tracker询问存储地址，Tracker查询到存储地址后返回给Client，Client拿着地址直接和对应的Storage通讯，将文件上传至改Storage。storage会将他所挂载的所有数据存储目录的底下都创建2级子目录，每一级256个总共65536个，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据作为本地文件存储到该目录中。

**文件下载**：当客户端向Tracker发起下载请求时，并不会直接下载，而是先查询storage server（检测同步状态），返回storage server的ip和端口，然后客户端会带着文件信息（组名，路径，文件名），去访问相关的storage，然后下载文件。

tracker和storage之间使用http请求的方式进行心跳检测，tracker每30s向storage发送心跳检测，如果120s内的检测均没有收到回复的话认定该storage离线，那么在进行文件上传和下载时就不再考虑该storage；storage也会每隔30s主动向tracker发送心跳；当tracker接收到storage的心跳之后，认为该storage可用。

**Storage的数据同步**，使用binlog：

1.  Storage Server会为文件系统中的每一个Tracker启动一个线程  
    1）用于与Tracker之间通信。  
    2）实现心跳反馈机制，默认每30秒发送向Tracker发送一次心跳包，包含同组内其他Storage信息。  
    3）通过这一线程从Tracker中获取Storage列表信息
2.  Storage会为同组的每一个Storage开启一个线程  
    1）从Tracer获取到同组内其他Storage Server信息，根据binlog向这些Storage Server同步数据（阻塞方式）。  
    2）如果组内有三个Storage，那么每个Storage都会启动两个线程用于向其他Storage同步数据。  
    3）打开/data/sync的mark文件，读取目标Storage\_Server\_IP.mark文件，获取对应的binlog文件以及同步的offset。  
    4）在对应的binlog文件中找到offset对应的文件操作，如果这已操作是源操作（CADT），则将操作将数据向外同步。同步完成后更新mark文件的offset值

> 当Storaged server启动时会创建一个 base\_path/data/sync 同步目录，该目录中的文件都是和同组内的其它 Storaged server之间的同步信息。

mark内容如下：  
![在这里插入图片描述][20210713095641805.png]

1）这个storage server对10.10.10.208发起了数据同步  
2）数据同步的动作（增加，删除）依据binlog.000中的记录  
3）同步的进度是binlog.000的58（offset）  
4）扫描了1行数据  
5）同步了1行所记录的操作

要完成单组多storage只需要保证storage的组和traker的组是同一个，并且storage配置多个tracker地址即可

# storage.conf
    group_name = group1
    
    tracker_server = localServer:22122
    tracker_server = peerServer:22122
    
    # tracker.conf
    store_group = group1

[20210713095641805.png]: /images/20221004/96271eb458c64cbb80d1e061c8e93ceb.png