FastDFS浅析和架构图

缺乏、安全感 2022-06-04 00:39 182阅读 0赞

一:分布式文件系统FastDFS  
1:应用背景  
![这里写图片描述][SouthEast]  
说明  
1:弄两个Tomcat,上传Tomcat1提供服务,图片就放在Tomcat1中,上传成功后,刷新后,tomcat2就提供服务,但是图片在Tomcat1中,用户时看不到的客户再刷新下,图片又有了图片服务器,一旦上传图片成功,不能直接将图片转送到图片服务器中一般通过Tomcat1后台上传到图片服务器中,一个Tomcat支持极限500的并发  
2:图片服务器,一旦上传图片成功,不能直接将图片转送到图片服务器中,一般通过Tomcat1后台上传到图片服务器中,http服务器,直接通过http服务器访问图片,直接放到图片服务器是不合理的,商品图片过多(商品展示,商品描述),图片服务器容量有限  
2:FastDFS功能  
FastDFS是由国人余庆所开发，其项目地址：[https://github.com/happyfish100][https_github.com_happyfish100]  
FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。  
支持存储服务器在线扩容,支持相同的文件只保存一份,节约磁盘。  
FastDFS只能通过Client API访问，不支持POSIX访问方式。  
FastDFS适合中大型网站使用，用来存储资源文件(如：图片、文档、视频等)  
3:FastDFS架构  
![这里写图片描述][SouthEast 1]  
1:概述  
1:FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。  
2:Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。  
3:Storage server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。

2:服务端的两个角色  
1:Tracker 管理集群  
tracker 类似于注册中心,记录服务器的存储空间,状态,负载等,当上传和访问图片由tracker决定,tracker也可以实现集群。每个tracker节点地位平等  
2:Storage：实际保存文件  
Storage分为多个组，每个组之间保存的文件是不同的。每个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有主从的概念。  
4:文件上传流程  
1:流程图分析  
![这里写图片描述][SouthEast 2]

2:重要关键字  
1:组名  
文件上传后所在的storage组名称,在文件上传成功后storage服务器返回,需要客户端自行保存  
2:虚拟磁盘路径  
storage配置的虚拟路径，5与磁盘选项store\_path\*对应。如果配置了store\_path0则是M00，如果配置了store\_path1则是M01，以此类推。  
3: 数据两级目录  
storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。  
4:文件名  
与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名  
5:文件下载流程  
1:流程分析  
1:定时向tracker上传状态信息  
2:下载连接请求  
3:查询可用的storage(检查同步状态)  
4:返回信息(storage的ip和端口)  
5:file\_id(组名,路径,文件名)查找文件  
6:返回file\_content  
2:流程图  
![这里写图片描述][SouthEast 3]

[SouthEast]: /images/20220604/ce244a2295894cecb30092428dfad35a.png
[https_github.com_happyfish100]: https://github.com/happyfish100
[SouthEast 1]: /images/20220604/6a0c9e4e0c1640a49150af1203b80911.png
[SouthEast 2]: /images/20220604/70d2d5d171fd480a87fc065ea791ce6b.png
[SouthEast 3]: /images/20220604/4ad991268a554c3bb1d6a108e2d7758a.png