Unix/Linux编程：服务器模型Reactor和Proactor

布满荆棘的人生 2022-09-12 05:52 157阅读 0赞

网络IO，会涉及到两个系统对象，一个是用户空间调用IO的进程或者线程，另一个是内核空间的内核系统，比如发生IO操作read时，它会经历两个阶段

*  等待数据准备就绪
 *  将数据从内核拷贝到进行或者线程中

因为在以上两个阶段各有不同的情况，所以出现了多种网络IO模型

# 服务器模型Reactor和Proactor #

对高并发编程，网络连接上的消息处理，可以分为两个阶段：

*  等待消息准备好
 *  消息处理

当使用默认的阻塞套接字时（例如上面提到的 1 个线程捆绑处理 1 个连接），往往是把这两个阶段合二为一，**这样操作套接字的代码所在的线程就得睡眠等待消息准备好，这导致了高并发线程下会频繁的睡眠，唤醒，从而影响了CPU的使用效率**

高并发编程方法当然就是把两个阶段分开处理：

*  即，**等待消息准备好的代码段与处理消息的代码段是分离的**。
 *  当然，这也要求套接字必须是非阻塞的，否则，处理消息的代码段很容易导致条件不满足时，所在线程又进入了睡眠等待阶段

那么，问题来了，**等待消息准备好**的这个阶段怎么实现？它毕竟耗时等待，这意味着线程还是要睡眠的。

*  解决方法是：**线程主动查询，或者让一个线程为所有连接而等待！这就是IO多路复用**

多路复用就是**处理等待消息准备好的这件事，但它可以同时处理多个连接**！它也可能“”等待“，所以它也会导致线程睡眠。然而，这也不要紧，因为它一对多，可以监控所有连接。这样，当我们的线程被唤醒执行时，就一定是由一些连接准备好被我们的代码执行了。

作为一个高性能服务器通常需要考虑处理三类事件：**IO事件、定时事件、信号**。两种高效的事件处理模型：Reactor 和 Proactor。

## Reactor 模型 ##

首先来回想一下普通函数调用的机制：

*  程序调用某函数
 *  函数执行
 *  程序等待
 *  函数将结果和控制权返回给程序
 *  程序继续处理。

Reactor 释义“反应堆”，是一种事件驱动机制。和普通函数调用的不同之处在于：**应用程序不是主动地调用某个API完成处理，而是恰恰相反，Reactor 逆置了事件处理流程，应用程序需要提供相应的接口并注册到Reactor上，如果相应的事件发生，Reactor将主动调用应用程序注册的接口，这些接口又称为“回调函数”**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_14_color_FFFFFF_t_70_g_se_x_16][]  
Reactor 模式是处理并发IO比较常见的一种模式，用于同步IO，中心思想是将所有要处理的IO事件注册到一种中心IO多路复用器上，同时主线程/进程阻塞到多路复用器上；一旦有IO事件到来或者是准备就绪(文件描述符或 socket 可读、写)，多路复用器返回将事件注册的相应IO事件分发到对应的处理器中。

Reactor模型有三个重要的组件：

*  多路复用器：由操作系统提供，在Linux上一般是select、poll、epoll等系统调用
 *  事件分发器：将多路复用器中返回的就绪事件分到对应的处理函数中
 *  事件处理器：否则处理特定事件的处理函数  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_16_color_FFFFFF_t_70_g_se_x_16]

具体流程如下：

*  注册读就绪事件和相应的事件处理器
 *  事件分离器等待事件
 *  事件到来，激活分离器，分离器调用事件对应的处理器

Reactor 模式是编写高性能网络服务器的必备技术之一，它具有如下的优点：

*  响应快，不必为单个同步时间所阻塞，虽然Reactor 本身依然是同步的
 *  编程相对比较简单，可以最大程序的避免复杂的多线程以及同步问题，并且避免了多线程/进程的切换开销
 *  可扩展性，可以方便的通过增加Reactor实例个数来重复利用CPU资源
 *  可复用性，reactor 框架本身与具体事件处理逻辑无关，具有很高的复用性；

Reactor模型开发效率比之间使用IO复用要高，它通常是单线程的，设计目标是希望单线程使用一颗CPU的全部资源，但也有附带优点，即每个事件处理中很多时候可以不考虑共享资源的互斥访问。可是缺点也是很明显的，现在的硬件发展，已经不再遵循摩尔定律，CPU的频率受制于材料的限制不再有大的提升，而改为从核数的增加上提升能力，当程序需要使用多核资源时，Reactor 模型就会悲剧，为什么呢？

如果程序业务很简单，比如只是简单的访问了一些提供了并发访问的服务器，就可以直接开启多个反应堆，每个反应堆对应一颗CPU信号，这些反应堆上跑的请求互不相关，这是完全可以利用多核的。例如 Nginx 这样的 http 静态服务器。

## Proactor 模型 ##

下图是Proactor模式的工作流程（以异步IO函数aio\_read和aio\_write函数为例）：

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_16_color_FFFFFF_t_70_g_se_x_16 1]

具体流程如下：

*  处理器发起异步操作，并关注IO完成事件
 *  事件分离器等待操作完成事件
 *  分离器等待过程中，内核并行执行实际的IO操作，并将结果存入用户自定义缓存区，最后通知事件分离器读操作完成
 *  I/O 完成后，通过事件分离器呼唤处理器
 *  事件处理器处理用户自定义缓冲区中的数据

从上面的处理流程中，我们可以发现proactor模型最大的特点就是proactor使用异步IO。所有的IO操作都交给系统提供的异步IO接口去执行。工作线程仅仅负责业务逻辑。在Proactor中，用户函数启动一个异步的文件操作。同时将这个操作注册到多路复用器上，多路复用器并不关系文件是否可读或者可写而是关系这个异步读操作是否完成。异步操作是操作系统完成，用户程序不需要关闭。多路复用器等待直到有完成通知到来。当操作系统完成了读文件操作—将读取到的数据复制到了用户先前提供的缓冲区之后，通知多路复用器相关操作已经完成。多路复用器在调用相应的处理程序，处理数据。

Proactor增加了编程的复杂度，但给工作线程带来了更高的效率。Proactor可以周期系统态将读写优化，利用IO并行能力，提供一个高性能单线程模型。。在 windows 上，由于没有 epoll 这样的机制，因此提供了 IOCP 来支持高并发， 由于操作系统做了较好的优化，windows 较常采用 Proactor 的模型利用完成端口来实现服务器。在 linux 上，在2.6 内核出现了 aio 接口，但aio实际效率并不理想，它的出现，主要是解决poll性能不佳的问题，但实际上经过测试，epoll的性能高于poll+aio，并且aio不能处理accept，因此linux主要还是以Reactor模型为主。

在不适用操作系统提供的异步IO接口的情况下，还可以使用Reactor来模型Proactor，差别是：使用异步接口可以利用系统提供的读写并行能力，而在模拟的情况下，这需要在用户态实现。具体的做法只需要这样：

*  注册读事件（同时再提供一段缓冲区）
 *  事件分离器等待可读事件
 *  事件到来，激活分离器，分离器（立即读数据，写缓冲区）调用事件处理器
 *  事件处理器处理数据，删除事件(需要再用异步接口注册)

我们知道，Boost.asio 库采用的即为 Proactor 模型。不过 Boost.asio 库在 Linux 平台采用epoll 实现的 Reactor 来模拟 Proactor，并且另外开了一个线程来完成读写调度。

> 同步 I/O 模拟 Proactor 模型

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]

*  主线程往epoll内核事件表中注册socket上的读就绪事件
 *  主线程调用epoll\_wait等待socket上有数据可读
 *  当socket上有事件可读时，epoll\_wait通知主线程。主线程从socket循环读取书籍，直到没有更多的数据可读，然后将读取到的数据封装成一个请求对象并插入请求队列
 *  睡眠在请求队列上的某个工作线程被唤醒，它获得请求对象并处理客户请求，然后往 epoll 内核事件表中注册 socket 上的写就绪事件。
 *  主线程调用 epoll\_wait 等待 socket 可写。
 *  当 socket 可写时，epoll\_wait 通知主线程。主线程往 socket 上写入服务器处理客户请求的结果。

两个模式的相同点，都是对某个 IO 事件的事件通知(即告诉某个模块，这个 IO 操作可以进行或已经完成)。在结构上两者也有相同点：demultiplexor 负责提交 IO 操作(异步)、查询设备是否可操作(同步)，然后当条件满足时，就回调注册处理函数。

不同点在于，异步情况下(Proactor)，当回调注册的处理函数时，表示 IO 操作已经完成；同步情况下(Reactor)，回调注册的处理函数时，表示 IO 设备可以进行某个操作(canread or can write)，注册的处理函数这个时候开始提交操作。

# 其他 #

> **Reactor模式要求主IO处理线程只负责监听文件描述符或socket上是否有事件发生，如果有立刻通知逻辑单元进行读写数据等指定的操作。IO处理线程不做其他工作，只监听指定事件。Reactor模式的工作流程（以epoll\_wait IO 复用函数为例）**

![在这里插入图片描述][d7926f74a4d7407fb477ffdb8ea78cac.png]

> **Proactor模式将所有的IO操作都交给主线程和内核处理，包括监听和数据读写。工作线程仅负责业务逻辑，不关系IO操作何时进行和如何进行**。  
> ![在这里插入图片描述][70de0cd50c064aeaa1348f1ca1e78789.png]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f892236b198f49b1a62d6c5ff847559a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/1c10394c1f014105a6ad08790fe38bb5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_16_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/0eb7f677dcb24374a95ac6f366fe48a4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/5e3bbbb0eba94d659b1460037ca8a278.png
[d7926f74a4d7407fb477ffdb8ea78cac.png]: /images/20220828/8652c9897f70493499ac584cb20c1eca.png
[70de0cd50c064aeaa1348f1ca1e78789.png]: /images/20220828/91b33036478746b6a74cb56404c0b08f.png