项目实践（二）云备份概述

野性酷女 2022-09-01 12:55 154阅读 0赞

### 项目简介： ###

*  搭载云备份服务器和客户端，实现客户端对主机上特定目录下的文件自动进行备份到云端
 *  服务器端对上传文件进行热点文件判断，对于非热点文件进行压缩存储节省磁盘空间
 *  支持通过浏览器进行查看和下载，并且下载支持断点续传的功能。
 *  整个传输过程支持ssl加密传输

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTMxNjEx_size_16_color_FFFFFF_t_70][]

### 概要设计： ###

客户端：windows客户端

*  功能需求：自动对指定目录下文件进行备份
 *  模块划分：

1.  目录监控模块：对指定目录下的文件进行判断哪些文件需要备份（新增文件，修改后文件）
2.  网路通信模块：实现文件上传到云端服务器备份
3.  数据管理模块：备份文件信息进行管理

服务端：linux服务器

*  功能需求：备份客户端上传文件，进行非热点压缩存储，支持浏览器访问
 *  模块划分

1.  网路通信模块：处理客户端请求（文件上传请求，文件列表查看请求，文件下载请求）
2.  文件压缩模块：文件热点判断，并对非热点文件的压缩/解压缩
3.  数据管理模块：备份文件信息进行管理

### 技术调研： ###

**客户端：**

*  目录监控：判断目录下哪些文件需要备份

1.  需要获取目录下的所有文件信息（c++17支持的filesystem遍历，监控api）
2.  根据文件信息判断是否需要备份（借助数据管理模块，首次启动全部备份）
3.  数据管理模块设计（文件名称----文件唯一标识（大小+时间））
4.  判断：判断读取到的文件是否存在，不存在则为新增进行备份，或者，通过唯一标识进行判断是否修改

*  网络传输备份：使用httplib库搭建http客户端实现文件上传
 *  数据管理：文件名称----文件唯一标识（大小+时间） 采用map（k-v键值对）

1.  内存中使用hash进行数据管理-unordered\_map
2.  持久化存储-文件 （序列化方式）

**服务端：**

*  网路通信：httplib库搭建服务器，通信接口的设计
 *  文件压缩：特定压缩库
 *  热点判断：一个文件一段时间没有被访问过，就是一个非热点文件 获取文件属性，与当前时间进行比对
 *  数据管理：

1.  源文件名称----压缩包名称
2.  内存中使用hash进行数据管理-unordered\_map
3.  持久化存储-文件 （序列化方式）

### 技术路线： ###

客户端：监控目录，对目录中需要备份的文件进行上传备份

*  目录监控：c++17下filesysytsem遍历目录

1.  获取历史备份信息
2.  遍历目录，逐个获取目录下文件信息（名称+大小+时间）
3.  判断是否需要备份（当前信息与历史信息比对）：不存在需要备份，不匹配也需要备份

*  文件备份：

1.  遍历需要备份的文件信息（获取文件路径）
2.  搭建http客户端，上传文件数据，备份到云端

--------------------

**客户端与服务端都存在的功能需求：**

1，目录遍历：

（1）客户端遍历检查需要备份的文件

（2）服务端遍历检查需要压缩的文件

2，数据管理模块中数据持久化存储与反序列化：

（1）客户端：文件名称+文件标识符（大小+时间）

（2）服务端：文件名称<-->压缩包名称

3，文件读写操作

4，字符串操作

--------------------

服务端：备份存储并非热点文件压缩存储，浏览器查看与下载

*  执行流1：搭建http服务器，应对客户端的请求业务

1.  实例化httplib::Server对象，搭建服务器
2.  完成对应三个客户端请求的业务处理接口

（1）文件上传

上传的文件数据备份存储到服务器中

服务端维护DataManger下.cfg配置文件，实现永久化存储（上传文件名--存储名（压缩包名））

（2）备份列表查看

根据获取备份信息中的上传文件名，组织html页面响应

（3）文件下载

判断文件有没有被压缩（上传文件名与实际存储文件名不一致）

没有被压缩，则直接读取文件数据作为正文进行响应

如果压缩，先解压，然后读取文件数据作为正文响应

*  执行流2：不断检测备份文件目录是否存在非热点文件，然后进行压缩存储

1.  获取目录下所有文件路径名称
2.  逐个遍历，获取文件时间属性（最后一次访问时间）
3.  通过时间属性判断该文件是否是非热点文件
4.  不是则获取下一个，是则进行压缩存储

（1）非热点文件检测 （2）压缩存储

*  **断点续传：**

1.  客户端需要保存自己当前下载的文件已经获取的数据位置和大小
2.  下次续传时，需要告诉服务器自己请求那一部分数据（区间数据）
3.  服务端根据请求范围，从文件指定位置取出区间范围的数据进行响应

*  关键问题：存在断点续传文件发生修改，无论请求部分数据，都重新传整体数据
 *  服务器“Accept-Ranges:bytes ”表示自己支持断点续传，加入ETag：文件唯一标识，下次断点续传客户端将这个ETag值通过if-Match:文件唯一标识 发送给服务器用于辨识文件是否发生了改变
 *  客户端在断点续传，通过字段If-Range：ETag值，询问客户端文件是否发生改变，如果没有改变则断点续传（通过Range：bytes=200-1000告诉服务器自己请求那一部分数据），如果改变则完整下载
 *  服务器根据断点续传请求中If-Range以及Range字段确定是否断点续传

1.  文件没有改变，可以续传，响应206表示部分传输，正文为部分数据
2.  文件发生改变，不可续传，响应200表示重新下载，正文为所有数据

*  **压缩存储**

1.  对指定目录进行遍历获取文件信息
2.  获取文件最后一次访问时间，与当前时间对比判断是否非热点文件
3.  如果非热点文件进行压缩存储，并删除源文件
4.  压缩存储后，修改备份文件信息（将存储文件名改为压缩包名称）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2MTMxNjEx_size_16_color_FFFFFF_t_70]: /images/20220829/ebb178215b44458aaa5d98b03185835b.png