键值数据库的设计实现总结(SDS)

落日映苍穹つ 2023-06-03 03:57 29阅读 0赞

写这个数据库也已经有段时间了，在我心中此项目的第一个版本算是完成了，所以做一下小结，更多的功能以后再继续迭代即可！

### 1. 引言 ###

#### 1.1 编写目的 ####

学习搭建rpc框架，自己阅读了部分redis实现源码，想实现一个加深印象，将学习的网络方面的知识学以致用。等等…

#### 1.2 项目概述 ####

客户端和服务器协议：Google Protocol buffer  
RPC部分实现的功能：序列化和反序列化，发送远程命令  
项目服务器使用Reactor模式设计的框架，为每一个连接设置了相应的读回调，写回调，每个连接套接字设置了EPOLLIN+非阻塞模式。实现了string和hash两种操作，并实现了save和bgsave两种持久化操作，bgsave操作通过创建新进程实现。项目中添加了最大堆定时器，为每个客户端设置了保活时间。当客户端产生一次活动时，会自动为该客户端延长时间，对于一些一直不活动的客户端，服务器会定时检查连接队列，并剔除闲置客户端。定时器通过统一事件源触发。  
客户端实现比较简单，使用readline进行命令行输入，并设置了检测命令的合法模块，检测客户端是否与服务器建立了连接，要是没建立连接，会尝试和服务器建立５次连接。直到建立连接成功。

#### 1.3 术语定义 ####

<table> 
 <thead> 
  <tr> 
   <th>术语名称</th> 
   <th>术语含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>GPB</td> 
   <td>Google Protocol Buffer</td> 
  </tr> 
  <tr> 
   <td>Server</td> 
   <td>服务器</td> 
  </tr> 
  <tr> 
   <td>Client</td> 
   <td>客户端</td> 
  </tr> 
 </tbody> 
</table>

#### 1.4 引用文档 ####

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>作者</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Redis设计与实现</td> 
   <td>黄建宏</td> 
  </tr> 
  <tr> 
   <td>Redis深度探险</td> 
   <td>钱文品</td> 
  </tr> 
  <tr> 
   <td>Google Protocol Buffer</td> 
   <td><a href="https://developers.google.com/protocol-buffers" rel="nofollow">Google Protocol Buffer</a></td> 
  </tr> 
  <tr> 
   <td>高性能服务器</td> 
   <td>游双</td> 
  </tr> 
 </tbody> 
</table>

### ２. 设计决策 ###

#### 2.1 设计目标 ####

##### 2.1.1 运行环境 #####

LInux Ubuntu18.10

##### 2.1.2 开发环境及工具 #####

vim+vimplus+gcc 编译器

##### 2.1.3 技术限制 #####

书读的有点少

#### 2.2 设计原则 ####

严格遵守需求规格说明书设计，使用一些面向对象语言中的一些设计模式例如工厂模式，减少代码的复用性。

### 3. 逻辑架构设计 ###

#### 3.1 设计决策 ####

Server设计领域模型如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70]  
client设计：

![在这里插入图片描述][20191005180215199.png]

#### 3.2 软件单元 ####

*  server端  
    直接看.cpp文件吧，类中的成员比较多，不好陈述，所以选择每个.cpp文件中的相关方法，将整个项目的功能实现加以描述。

**aeEventloop.cpp**  
![在这里插入图片描述][2019100518091652.png]  
第一个就不说了，见名知意！  
addServerEvent主要功能就是初始化时创建监听套接字，并设置好相应的回调函数。  
addTimerEvent该方法创建一个eventfd并设置好相应的回调函数。  
aeEventloop构造方法，创建了时间堆，创建了epoll检测引擎  
下面是析构函数  
aeProcessEvent该方法处理不同的事件，当aeEventloop将事件收集到vecotor中，该方法就会将其中的各种方法进行分类处理。  
initDataInfo初始化时间堆中的相关数据  
kickClient处理不活跃的客户端  
notifyToSave 通知保存  
setCallBack 设置回调函数  
start 开始启动服务例程

**aeEpoll.cpp**

![在这里插入图片描述][20191005182201708.png]  
很简单的操作，可以看懂！

**rpc.cpp**

![在这里插入图片描述][20191005182316250.png]  
反序列化，发送响应请求。

**aeEvent.cpp**

![在这里插入图片描述][20191005182456602.png]  
读回调，和写回调函数。

**timerHeap.cpp**

![在这里插入图片描述][20191005182621874.png]  
MyTimer 时间堆上的节点，TimerManager是时间堆管理器。  
detect\_timers检测到期时间，若有超时客户端，就执行回调函数处理。  
其它函数太鸡肋，不解释了。

**cmdProcess.cpp**

![在这里插入图片描述][20191005183040694.png]  
findCmd在进行发序列化之后，判查找命令是否存在。  
initCmdCb初始化命令回调函数，每个命令对应一个回调函数。  
initRedis 初始化数据库（就是从文件中将已经持久化的数据读出来）  
processMsg处理不同的命令请求  
sendMsg发送消息

**cmdSet.cpp**  
![在这里插入图片描述][20191005183500713.png]

addObjectToDb添加对象到数据库。  
append增加数据库  
countRedis获取当前数据库的数量  
expend扩大容纳数据库容器的容量  
findCmd 查找命令  
getDB获取指定数据库对象  
initCmdCb初始化命令集合  
initRedis初始化数据库  
redisCommandProc 数据库各种命令处理函数，根据命令的不同回调在命令集中找相应的回调函数  
cb 数据库各种命令对象对应的回调函数

**redisDb.cpp和redisDb.h**  
因为是键值数据库，所以对于大部分对象而言操作比较相似，所以利用C++多态机制实现了工厂模式，父类为抽象类dbObject，设置了许多虚方法，对于strings和hashSet都是继承了dbObject，redisDb通过hashmap管理dbObject，如图。键值为请求的key对象，key对象，成员是要访问对象的键值，类型，以及数据库编号三元组唯一确定对象在数据库中的值。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20191005185333574.png]

*  redisDb.cpp  
    ![在这里插入图片描述][20191005184214466.png]  
    getValue  
    getValues hash获取值，将以vector对象的形式返回。

该数据库管理对象的模型如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 2]

*  redisDb.h

![在这里插入图片描述][20191005184715905.png]

目前实现了两种类型的操作。  
![在这里插入图片描述][20191005184438558.png]  
抽象基类。  
![在这里插入图片描述][20191005184510624.png]

![在这里插入图片描述][20191005184546996.png]  
hash操作，setValue实现多参数设置。  
![在这里插入图片描述][20191005184647804.png]  
strings对象，内部数据。  
![在这里插入图片描述][20191005184614570.png]  
equalFunc和hashFunc设置hash函数。  
factory工厂根据不同提示，返回不同对象。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 3]  
**rdb.cpp**  
持久化功能  
下面是两大对象在文件中的存储格式：

*  hash  
    ![在这里插入图片描述][20191005190903221.png]
 *  string

![在这里插入图片描述][20191005191126967.png]

ctp存的是类型编号，数字编号之类，在初始化数据库的时候，都会通过正则表达式辨别。然后其他解析之类的函数就不作解释了！可以看源代码。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 4]  
**recoverDb.cpp**

恢复数据库，因为我将每个数据库单独存在一个文件中，0号数据存在.db\_0文件，后面以此类推，其中或有一个redis\_fileName文件，存放的是数据库文件名，在恢复的时候，先读取.redis\_fileName，将所有数据库文件名存在vector中，然后遍历vector再通过mmap映射将文件内容映射到string中，然后解析string就行。

![在这里插入图片描述][20191005191724556.png]  
![在这里插入图片描述][20191005191504661.png]

客户端设计比较简单，读者可自行研究！

#### 3.3 处理流程 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 5]

### 4 运行演示 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 6]  
[源代码][Link 1] 感谢star或者fork！本代码仅供阅读参考学习，在个人平台上运行的话可能得安装配置google protocol buffer！并且要考虑系统兼容性！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70]: /images/20230601/be3b7ba68e6341bb86a955d6bfcececc.png
[20191005180215199.png]: /images/20230601/ebf7a7edeac444a18ffce4fe754ec01a.png
[2019100518091652.png]: /images/20230601/7d9880d841024a6d9546ae87059c7874.png
[20191005182201708.png]: /images/20230601/0f2d4fbdb74e4522ab7e0c1ba534eb88.png
[20191005182316250.png]: /images/20230601/2847a847d26a4f3c835d82b3622db4de.png
[20191005182456602.png]: /images/20230601/358821429a0f42d0987ab6d268461453.png
[20191005182621874.png]: /images/20230601/41affc2d4c5b454cac6f2510bd4d3cca.png
[20191005183040694.png]: /images/20230601/ab245b8d04fa4a93b0fa29376e20aef9.png
[20191005183500713.png]: /images/20230601/13657697477f44d5a6bb22c97d38eb57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 1]: /images/20230601/b184a455c17e4460a7c3f68f5b5b6bb1.png
[20191005185333574.png]: /images/20230601/892aa5f3d174449a8eca0a9a45052082.png
[20191005184214466.png]: /images/20230601/8d2d671c3d174d76883054b6c8402692.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 2]: /images/20230601/e6e98ac7f302417bb71e6964c2810f7a.png
[20191005184715905.png]: /images/20230601/2d06df85aa0e40b28952a31d88cc355b.png
[20191005184438558.png]: /images/20230601/ad3d5fea7b1f46dba4530db52de851c4.png
[20191005184510624.png]: /images/20230601/ee91145dee834e809af8ceb910bab928.png
[20191005184546996.png]: /images/20230601/413fbefc3a5f4e7ea004b8c7a3a20b7b.png
[20191005184647804.png]: /images/20230601/d73f34c2e22741ca893382d555ae399c.png
[20191005184614570.png]: /images/20230601/9947aea8920f49dda0095d2e46bb3aba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 3]: /images/20230601/ccbb0141124d40f6899715f9d49133b3.png
[20191005190903221.png]: /images/20230601/aab08651388a4d7bb006a7f929e0460c.png
[20191005191126967.png]: /images/20230601/9f4c782d98474d2f9ebad65efe0dc826.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 4]: /images/20230601/c97af3de5be948f193a99191b24142a3.png
[20191005191724556.png]: /images/20230601/5c38040e4d6a4b01b189922e6f6131bc.png
[20191005191504661.png]: /images/20230601/5d1a18f9fb2e4e7f8c9b516a970f1db7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 5]: /images/20230601/34cbea893e294b1b8dacb364e944f675.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNjgxMjQx_size_16_color_FFFFFF_t_70 6]: /images/20230601/5bc962989a6f41e9b1ac9b029fc79b02.png
[Link 1]: https://github.com/Request2609/cacheDb/tree/master/cacheDb2.0