Redis - 事件&客户端&服务端

Myth丶恋晨 2022-12-23 03:23 321阅读 0赞

### 文章目录 ###

*  1. 文件事件
 *  2. 文件事件构成原理
 *  3. I/O多路复用的实现
 *  4. 一次完整的客户端与服务器连接事件示例
 *  5. 时间事件
 *  6. 时间事件的实现
 *  7. serverCron函数
 *  8. 事件的调度和执行规则
 *  9. 客户端
 *  10. 服务器
 *  11. 服务器初始化

Redis将事件分为两大类：文件事件与时间事件。文件事件即socket的读写事件，时间事件用于处理一些需要周期性执行的定时任务。

# 1. 文件事件 #

Redis基于Reactor模式开发了自己的网络事件处理器：这个处理器被称为文件事件处理器（file event handler）。

文件事件处理器使用I/O多路复用（multiplexing）程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器。

当被监听的套接字准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时，与操作相对应的文件事件就会产生，这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。

# 2. 文件事件构成原理 #

四个组成部分：套接字、I/O多路复用程序、文件事件分派器（dispatcher），以及事件处理器。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdHRsZXdoaXRldmc_size_16_color_FFFFFF_t_70_pic_center]

文件事件是对套接字操作的抽象，I/O多路复用程序负责监听多个套接字，并向文件事件分派器传送那些产生了事件的套接字。文件事件分派器接收I/O多路复用程序传来的套接字，并根据套接字产生的事件的类型，调用相应的事件处理器。服务器会为执行不同任务的套接字关联不同的事件处理器，这些处理器是一个个函数，它们定义了某个事件发生时，服务器应该执行的动作。

> 当上一个套接字产生的事件被处理完毕之后（该套接字为事件所关联的事件处理器执行完毕），I/O多路复用程序才会继续向文件事件分派器传送下一个套接字。  
> 如果一个套接字又可读又可写的话，那么服务器将先读套接字，后写套接字。

# 3. I/O多路复用的实现 #

Redis为每个I/O多路复用函数库都实现了相同的API，所以I/O多路复用程序的底层实现是可以互换的，这些互换的模型包括常见的select、epoll、evport和kqueue。  
Redis在编译阶段，会检查操作系统支持的I/O多路复用模型，并按照一定规则决定使用哪种模型。

> epoll是Linux内核为处理大量并发网络连接而提出的解决方案，能显著提升系统CPU利用率。epoll使用非常简单，总共只有3个API:epoll\_create函数创建一个epoll专用的文件描述符，用于后续epoll相关API调用；epoll\_ctl函数向epoll注册、修改或删除需要监控的事件；epoll\_wait函数会阻塞进程，直到监控的若干网络连接有事件发生。

# 4. 一次完整的客户端与服务器连接事件示例 #

> 当套接字变得可读时（客户端对套接字执行write操作，或者执行close操作），或者有新的可应答（acceptable）套接字出现时（客户端对服务器的监听套接字执行connect操作），套接字产生AE\_READABLE事件。  
> 当套接字变得可写时（客户端对套接字执行read操作），套接字产生AE\_WRITABLE事件。

假设一个Redis服务器正在运作，那么这个服务器的监听套接字的AE\_READABLE事件应该正处于监听状态之下，而该事件所对应的处理器为连接应答处理器。  
如果这时有一个Redis客户端向服务器发起连接，那么监听套接字将产生AE\_READABLE事件，触发连接应答处理器执行。  
处理器会对客户端的连接请求进行应答，然后创建客户端套接字，以及客户端状态，并将客户端套接字的AE\_READABLE事件与命令请求处理器进行关联，使得客户端可以向主服务器发送命令请求。  
之后，假设客户端向主服务器发送一个命令请求，那么客户端套接字将产生AE\_READABLE事件，引发命令请求处理器执行，处理器读取客户端的命令内容，然后传给相关程序去执行。  
执行命令将产生相应的命令回复，为了将这些命令回复传送回客户端，服务器会将客户端套接字的AE\_WRITABLE事件与命令回复处理器进行关联。  
当客户端尝试读取命令回复的时候，客户端套接字将产生AE\_WRITABLE事件，触发命令回复处理器执行，当命令回复处理器将命令回复全部写入到套接字之后，服务器就会解除客户端套接字的AE\_WRITABLE事件与命令回复处理器之间的关联。

# 5. 时间事件 #

*  定时事件：让一段程序在指定的时间之后执行一次。比如说，让程序X在当前时间的30毫秒之后执行一次。
 *  周期性事件：让一段程序每隔指定时间就执行一次。比如说，让程序Y每隔30毫秒就执行一次。

时间事件组成:

1.  id：服务器为时间事件创建的全局唯一ID（标识号）。ID号按从小到大的顺序递增，新事件的ID号比旧事件的ID号要大。
2.  when：毫秒精度的UNIX时间戳，记录了时间事件的到达（arrive）时间。
3.  timeProc：时间事件处理器，一个函数。当时间事件到达时，服务器就会调用相应的处理器来处理事件。

# 6. 时间事件的实现 #

服务器将所有时间事件都放在一个无序链表中，每当时间事件执行器运行时，它就遍历整个链表，查找所有已到达的时间事件，并调用相应的事件处理器。

> 正常模式下的Redis服务器只使用serverCron一个时间事件

# 7. serverCron函数 #

持续运行的Redis服务器需要定期对自身的资源和状态进行检查和调整，从而确保服务器可以长期、稳定地运行，这些定期操作由redis.c/serverCron函数负责执行，**清除超时客户端连接，以及处理数据库（清除数据库过期键等）。尝试进行AOF或RDB持久化操作。对从服务器进行定期同步。对集群进行定期同步和连接测试。**

> serverCron函数的执行时间不能过长，否则会导致服务器不能及时响应客户端的命令请求。

Redis服务器以周期性事件的方式来运行serverCron函数，在服务器运行期间，每隔一段时间，serverCron就会执行一次，直到服务器关闭为止。在Redis2.6版本，服务器默认规定serverCron每秒运行10次，平均每间隔100毫秒运行一次。这一属性可通过配置文件来进行配置。

# 8. 事件的调度和执行规则 #

*  对文件事件和时间事件的处理都是同步、有序、原子地执行的，服务器不会中途中断事件处理，也不会对事件进行抢占。
 *  时间事件的实际处理时间，通常会比时间事件设定的到达时间稍晚一些。
 *  因为文件事件是随机出现的，如果等待并处理完一次文件事件之后，仍未有任何时间事件到达，那么服务器将再次等待并处理文件事件。
 *  最大阻塞时间由到达时间最接近当前时间的时间事件决定，这个方法既可以避免服务器对时间事件进行频繁的轮询（忙等待）

# 9. 客户端 #

通过使用由I/O多路复用技术实现的文件事件处理器，Redis服务器使用**单线程单进程**的方式来处理命令请求，并与多个客户端进行网络通信。

输入缓冲区记录了客户端发送的命令请求，这个缓冲区的大小不能超过1GB。  
命令的参数和参数个数会被记录在客户端状态的argv和argc属性里面，而cmd属性则记录了客户端要执行命令的实现函数。

输出缓冲区限制值有两种，如果输出缓冲区的大小超过了服务器设置的硬性限制，那么客户端会被立即关闭；除此之外，如果客户端在一定时间内，一直超过服务器设置的软性限制，那么客户端也会被关闭。  
当一个客户端通过网络连接连上服务器时，服务器会为这个客户端创建相应的客户端状态。网络连接关闭、发送了不合协议格式的命令请求、成为CLIENT KILL命令的目标、空转时间超时、输出缓冲区的大小超出限制，以上这些原因都会造成客户端被关闭。

# 10. 服务器 #

主要看serverCron函数，Redis服务器中的serverCron函数默认每隔100毫秒执行一次，这个函数负责管理服务器的资源，并保持服务器自身的良好运转。

**更新服务器时间缓存**

serverCron函数默认会以每100毫秒一次的频率更新unixtime属性和mstime属性，这两个属性被当作Redis系统使用的时间戳。所以精度不是特别高。

**更新LRU时钟**

服务器状态中的lruclock属性保存了服务器的LRU时钟，这个属性和上面介绍的unixtime属性、mstime属性一样，都是服务器时间缓存的一种。  
每个Redis对象都会有一个lru属性，这个lru属性保存了对象最后一次被命令访问的时间。

**更新服务器每秒执行命令次数**  
**更新服务器内存峰值记录**  
**处理SIGTERM信号**

每次serverCron函数运行时，程序都会对服务器状态的shutdown\_asap属性进行检查，并根据属性的值决定是否关闭服务器。

**管理客户端资源**

如果客户端与服务器之间的连接已经超时，那么程序释放这个客户端。

如果客户端在上一次执行命令请求之后，输入缓冲区的大小超过了一定的长度，那么程序会释放客户端当前的输入缓冲区，并重新创建一个默认大小的输入缓冲区，从而防止客户端的输入缓冲区耗费了过多的内存。

**管理数据库资源**  
对服务器中的一部分数据库进行检查，删除其中的过期键，并在有需要时，对字典进行收缩操作。

**执行被延迟的BGREWRITEAOF**

每次serverCron函数执行时，函数都会检查BGSAVE命令或者BGREWRITEAOF命令是否正在执行，如果这两个命令都没在执行，并且aof\_rewrite\_scheduled属性的值为1，那么服务器就会执行之前被推延的BGREWRITEAOF命令。

**检查持久化操作的运行状态**

服务器状态使用rdb\_child\_pid属性和aof\_child\_pid属性记录执行BGSAVE命令和BGREWRITEAOF命令的子进程的ID，这两个属性也可以用于检查BGSAVE命令或者BGREWRITEAOF命令是否正在执行。  
通过检查以上两个属性，来判断新的RDB文件是否已经生成完毕AOF文件已经重写完毕。服务器需要进行相应命令的后续操作，比如用新的RDB文件替换现有的RDB文件，或者用重写后的AOF文件替换现有的AOF文件。

**将AOF缓冲区中的内容写入AOF文件**  
如果服务器开启了AOF持久化功能，并且AOF缓冲区里面还有待写入的数据，那么serverCron函数会调用相应的程序，将AOF缓冲区中的内容写入到AOF文件里面。

**关闭异步客户端**  
**增加cronloops计数器的值**  
cronloops属性目前在服务器中的唯一作用，就是在复制模块中实现“每执行serverCron函数N次就执行一次指定代码”的功能。

# 11. 服务器初始化 #

初始化服务器的第一步就是创建一个struct redisServer类型的实例变量server作为服务器的状态，并为结构中的各个属性设置默认值。

在启动服务器时，用户可以通过给定配置参数或者指定配置文件来修改服务器的默认配置。

在完成了对服务器状态server变量的初始化之后，服务器需要载入RDB文件或者AOF文件，并根据文件记录的内容来还原服务器的数据库状态。

最后，执行服务器的事件循环（loop）。

归纳就是：  
1）初始化服务器状态；2）载入服务器配置；3）初始化服务器数据结构；4）还原数据库状态；5）执行事件循环。

--------------------

*读书笔记 - 《Redis 设计与实现》*

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdHRsZXdoaXRldmc_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/0edfb7d2f6844d09933237f9706ff326.png