Redis的线程模型—文件事件处理器的详解

刺骨的言语ヽ痛彻心扉 2022-08-28 12:52 185阅读 0赞

> 详细介绍了单线程Reactor模式的概念，以及Redis的线程模型—文件事件处理器的实现。

### 文章目录 ###

*  1 Reactor模式
 *  2 文件事件处理器
 *   *  2.1 基本概念
     *  2.2 通信流程

Redis的线程模型是基于非常经典的单线程Reactor模式（netty架构也是基于Reactor模式）开发出的高效事件驱动模型，也称为异步阻塞IO或者IO多路复用。关于Reactor模型我们在此前就讲过了： [Java NIO Reactor网络编程模型的深度理解][Java NIO Reactor]。

**Redis对于单线程Reactor模式的具体的实现就是Redis中的文件事件处理器（file event handler，FEH）。**

# 1 Reactor模式 #

关于Reactor模型我们在此前就讲过了：[Java NIO Reactor网络编程模型的深度理解][Java NIO Reactor]。

在传统阻塞 IO 模型中，每个连接都需要独立线程处理，当并发数大时，创建线程数多，占用资源；采用阻塞 IO 模型，连接建立后，若当前线程没有数据可读，线程会阻塞在读操作上，造成资源浪费

针对传统阻塞 IO 模型的两个问题，Reactor 模型基于池化思想，避免为每个连接创建线程，连接完成后将业务处理交给线程池处理（多线程Reactor的思路）；基于 IO 复用模型，多个连接共用同一个阻塞对象Reactor。Reactor遍历到有新数据可以处理时，操作系统会通知程序，线程跳出阻塞状态，进行业务逻辑处理。

**IO多路复用**：多路指的是多个socket连接，复用指的是复用一个线程，采用多路I/O复用技术可以让单个线程高效的处理多个连接请求（减少线程资源的消耗以及等待网络IO时间的消耗）。多路复用主要有三种技术：select，poll，epoll。epoll是最新的也是目前最好的多路复用技术。

**下面是单线程Reactor模式：**

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5YiYSmF2YQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

**三个角色：**

1.  Reactor：专门用于监听和响应各种IO事件，比如连接建立就绪(ACCEPT)、读就绪(READ)、写就绪(WRITE)等，当检测到一个新的事件到来时，将其发送给相应的Handler去处理。
2.  Handler：专门用于处理特定的事件，比如读取数据，业务逻辑执行，写出响应等。
3.  Acceptor：专门用于处理建立连接事件，可以看做是一个特殊的Handler。

**总体流程为：**

1.  服务端的Reactor 线程对象通过循环 select调用（IO 多路复用）监听各种IO事件，还会注册一个accepter事件处理器到Reactor中，accepter专用于处理建立连接事件。
2.  客户端首先发起一个建立连接的请求，Reactor监听到ACCEPT事件的到来后将该ACCEPT事件分派给accepter组件，accepter通过accept()方法与客户端建立对应的连接(SocketChannel)，然后将该连接所关注的READ事件以及对应的READ事件处理器注册到Reactor中，这样Reactor就会监听该连接的READ事件。
3.  当Reactor监听到该连接有读或者写事件发生时，将相关的事件派发给对应的处理器进行处理。比如，读处理器会通过SocketChannel的read()方法直接读取到数据，随后可进行各种业务处理，之后需要向客户端发送数据时，也可以注册该连接的WRITE事件和其对应的处理器，当channel可写时，通过SocketChannel的wtite()方法写数据。
4.  每当处理完所有就绪的IO事件后，Reactor线程会再次执行select()操作阻塞等待新的事件就绪并将其分派给对应处理器进行处理。

**单线程Reactor模型中，所有的操作都在一个线程中处理，如果某个 handler 阻塞时，会导致其他所有的 client 的 handler 都得不到执行，更严重的是会导致整个服务不能接收新的 client 请求(因为 acceptor 也被阻塞了)，因为有这么多的缺陷，因此单线程Reactor 模型用的比较少，但是却很适合Redis的网络模型，因为Redis要求保证每个操作的原子性。**

# 2 文件事件处理器 #

**Redis对于Reactor模型的实现为文件事件处理器，并且采用单线程Reactor模型。**

## 2.1 基本概念 ##

**文件事件处理器大概由四个部分组成：多个Socket（连接）、IO多路复用程序（类似于Java NIO中的Selector）、文件事件分派器、事件处理器。**

**Socket**可以被看作一个客户端和Redis服务器的连接通道，客户端和Redis服务器通过Socket互相传递数据。一个服务器通常会连接多个socket（客户端），多个socket可能并发产生不同操作，每个操作对应不同文件事件。

**Redis的I/O 多路复用程序**使用IO多路复用技术（类比于Java NIO 中的 Selector），它是是通过包装select、epoll、evport和kqueue这些I/O多路复用函数库来实现的。只需要一个线程就可以监听多个客户端Socket（将socket的fd注册到epoll函数即可实现监听），相比于阻塞IO的一个Socket对应一个线程，降低了资源消耗。

**文件事件**就是对socket操作的抽象，当被监听的Socket准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时，与操作相对应的文件事件就会产生。由于会监听多个socket，因此尽管文件事件可能并发出现，但 I/O 多路复用程序会将所有产生事件的socket放入同一个队列，通过该队列以有序、同步且每次一个socket的方式向文件事件分派器传送socket。虽然多个客户端发送的命令的执行顺序是不确定的，但一定不会有两条命令被同时执行，不会产生并行问题。

**I/O 多路复用程序可以监听socket的AE\_READABLE事件和AE\_WRITABLE事件：**

1.  当Socket变得可读时（客户端对Socket执行write操作，或者执行close操作），或者有新的可应答（acceptable）Socket出现时（客户端对服务器的监听Socket执行connect连接操作），Socket产生AE\_READABLE 事件。
2.  当Socket变得可写时（客户端对Socket执行read操作），Socket产生AE\_WRITABLE事件。

I/O多路复用程序允许服务器同时监听Socket的AE\_READABLE事件和AE\_WRITABLE事件，如果一个Socket同时产生了这两种事件，那么文件事件分派器会优先处理AE\_READABLE事件，等到AE\_READABLE事件处理完之后，才处理AE\_WRITABLE 事件。这也就是说，如果一个Socket又可读又可写的话，那么服务器将先读Socket，后写Socket。

**文件事件分派器**从队列中接收 I/O 多路复用程序传来的socket，并根据socket产生的事件类型，调用相应的事件处理器。当上一个socket产生的事件被对应事件处理器执行完后，文件事件分派器才会向队列拉取下一个要处理的socket，保证socket操作一定不会并发的执行，保证线程安全。

**服务器会为执行不同任务的Socket关联不同的事件处理器，这些处理器实际上就是一个个函数，它们定义了某个事件发生时，服务器应该执行的某些动作，常见处理器：**

1.  客户端请求与Redis服务器建立连接时，为了对连接服务器的各个客户端进行应答，需要将socket映射到连接应答处理器。
2.  客户端向Redis服务器发送命令时，为了接收客户端传来的命令请求，就需要将socket映射到命令请求处理器。
3.  客户端从Redis服务器读取结果数据时，为了向客户端返回命令的执行结果，就需要将socket映射到命令回复处理器。
4.  当主服务器和从服务器进行复制操作时， 主从服务器都需要映射到特别为复制功能编写的复制处理器。

## 2.2 通信流程 ##

**下面是客户端和redis通过文件事件处理器进行通信的大概流程：**

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5YiYSmF2YQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]

**下面是一次完整的客户端与服务器连接和一次通信流程示例：**

1.  当Redis服务器进行启动初始化的时候，程序会将连接应答处理器和服务器连接监听Socket（Server Socket）的AE\_READABLE事件关联起来。
2.  当有客户端连接服务器监听Socket的时候，Socket就会产生AE\_READABLE 事件，引发连接应答处理器执行， 并执行相应的Socket应答操作：创建客户端对应的Socket，同时将这个客户端Socket的AE\_READABLE事件和命令请求处理器关联，使得客户端可以向主服务器发送命令请求，到此客户端到服务器的Socket连接建立完毕。
3.  客户端向Redis服务器发送一个命令请求（无论是读命令还是写命令），那么客户端Socket将产生 AE\_READABLE事件，引发命令请求处理器执行，处理器读取客户端的命令内容，然后对命令进行执行。
4.  命令执行将会产生命令回复（结果），为了将这些命令回复传送回客户端，当Redis服务器准备好给客户端的响应数据后，服务器会将客户端Socket的AE\_WRITABLE事件与命令回复处理器进行关联：当客户端尝试读取命令回复的时候，客户端Socket将产生AE\_WRITABLE事件， 触发命令回复处理器执行，将命令回复（结果）数据写入Socket，这样一来客户端就可以读取结果。
5.  当命令回复处理器将命令回复全部写入到Socket之后，服务器就会解除客户端Socket的AE\_WRITABLE事件与命令回复处理器之间的关联。

**文件事件处理器的整个处理过程都是单线程进行的，这个过程也就是Redis处理网络请求、执行客户端命令的过程，我们一般说的Redis是单线程的，就是由于文件事件处理器（file event handler）是单线程方式运行的，我们把该线程称为主线程，实际上，Redis内部还有许多其他辅助线程，但是不会用于处理客户端请求。**

从上面的流程可以看到，虽然文件事件处理器是单线程运行的，但通过**使用 I/O 多路复用程序**，使用一个线程就可以同时监听多个Socket（连接），既实现了高性能的网络通信模型，又可以很好地与 Redis 服务器中其他同样以单线程方式运行的模块进行对接，这保持了 Redis 内部单线程设计的简单性。

另外，可以看到**一条命令的的读取和返回都是异步的**，一个命令的读取和返回之间还能够执行其他的命令，这样的拆分可以防止某一个客户端的IO准备过程过慢而阻塞其他客户端的操作。

Redis中还有一种**时间事件**，主要用于定期更新服务器的各类统计信息，比如时间、内存占用、数据库占用情况等；清理数据库中的过期键值对；对不合理的数据库进行大小调整；关闭和清理连接失效的客户端；尝试进行 AOF 或 RDB 持久化操作；如果服务器是主节点的话，对附属节点进行定期同步；如果处于集群模式的话，对集群进行定期同步和连接测试。

**相关文章：**

1.  https://redis.io/topics/data-types
2.  https://redis.io/topics/data-types-intro

> 如有需要交流，或者文章有误，请直接留言。另外希望点赞、收藏、关注，我将不间断更新各种Java学习博客！

[Java NIO Reactor]: https://blog.csdn.net/weixin_43767015/article/details/120303920
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5YiYSmF2YQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220828/911b350db99548839c8435b97dd2ef2c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5YiYSmF2YQ_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center 1]: /images/20220828/8995ee1c0a0541e9a370fc9c07b1dd3d.png