Redis:IO多路复用深度解析

短命女 2024-03-17 15:53 45阅读 0赞

#### 目录 ####

*  一、Multiplexing（IO多路复用）
 *   *  1.是什么
     *  2.能干嘛
     *  3.Reactor设计模式
     *  4.select, poll, epoll 都是I/O多路复用的具体的实现
     *   *  4.1 select方法
         *  4.2 poll方法
         *  4.3 epoll方法
         *  4.4 三个方法对比
     *  5.5种 I/O 模型总结
     *  6.为什么3个都保有

## 一、Multiplexing（IO多路复用） ##

IO multiplexing就是我们说的select，poll，epoll，有些地方也称这种IO方式为event driven IO事件驱动IO。就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。可以基于一个阻塞对象，同时在多个描述符上等待就绪，而不是使用多个线程(每个文件描述符一个线程，每次new一个线程)，这样可以大大节省系统资源。所以，I/O 多路复用的特点是通过一种机制一个进程能同时等待多个文件描述符而这些文件描述符（套接字描述符）其中的任意一个进入读就绪状态，select()函数就可以返回。  
![在这里插入图片描述][9364db665a9948daa35e84ee53c0ae2f.png]

### 1.是什么 ###

**词牌**  
![在这里插入图片描述][2a169a0692fc4a939085adee6739bd4f.png]  
**模型**  
I/O多路复用在英文中其实叫 I/O multiplexing  
![在这里插入图片描述][aba1fb1af22143c5b02309c5030752ef.png]  
多个Sock复用一根网线这个功能是在内核＋驱动层实现的  
I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态来同时管理多个I/O流. 目的是尽量多的提高服务器的吞吐能力。  
![在这里插入图片描述][fa7122d8689746c995bbf445f5555076.png]  
大家都用过nginx，nginx使用epoll接收请求，ngnix会有很多链接进来， epoll会把他们都监视起来，然后像拨开关一样，谁有数据就拨向谁，然后调用相应的代码处理。redis类似同理  
**FileDescriptor**  
文件描述符（File descriptor）是计算机科学中的一个术语，是一个用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一个非负整数。实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。在程序设计中，一些涉及底层的程序编写往往会围绕着文件描述符展开。但是文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。  
![在这里插入图片描述][530ea39b500e40b5af6d97238a06584c.png]

> 模拟一个tcp服务器处理30个客户socket。  
> 假设你是一个监考老师，让30个学生解答一道竞赛考题，然后负责验收学生答卷，你有下面几个选择：

> 第一种选择：按顺序逐个验收，先验收A，然后是B，之后是C、D。。。这中间如果有一个学生卡住，全班都会被耽误,你用循环挨个处理socket，根本不具有并发能力。

> 第二种选择：你创建30个分身线程，每个分身线程检查一个学生的答案是否正确。 这种类似于为每一个用户创建一个进程或者线程处理连接。

> 第三种选择，你站在讲台上等，谁解答完谁举手。这时C、D举手，表示他们解答问题完毕，你下去依次检查C、D的答案，然后继续回到讲台上等。此时E、A又举手，然后去处理E和A。。。这种就是IO复用模型。Linux下的select、poll和epoll就是干这个的。

> 将用户socket对应的fd注册进epoll，然后epoll帮你监听哪些socket上有消息到达，这样就避免了大量的无用操作。此时的socket应该采用非阻塞模式。这样，整个过程只在调用select、poll、epoll这些调用的时候才会阻塞，收发客户消息是不会阻塞的，整个进程或者线程就被充分利用起来，这就是事件驱动，所谓的reactor反应模式。

### 2.能干嘛 ###

Redis单线程如何处理那么多并发客户端连接，为什么单线程，为什么快

**Redis的IO多路复用**  
Redis利用epoll来实现IO多路复用，将连接信息和事件放到队列中，一次放到文件事件分派器，事件分派器将事件分发给事件处理器。  
![在这里插入图片描述][a7908e854bd245f092015f0d6e545a42.png]

*  Redis 是跑在单线程中的，所有的操作都是按照顺序线性执行的，但是由于读写操作等待用户输入或输出都是阻塞的，所以 I/O 操作在一般情况下往往不能直接返回，这会导致某一文件的 I/O 阻塞导致整个进程无法对其它客户提供服务，而 I/O 多路复用就是为了解决这个问题而出现
 *  所谓 I/O 多路复用机制，就是说通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或写就绪），能够通知程序进行相应的读写操作。这种机制的使用需要 select 、 poll 、 epoll 来配合。多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象上等待，无需阻塞等待所有连接。当某条连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理。
 *  Redis 服务采用 Reactor 的方式来实现文件事件处理器（每一个网络连接其实都对应一个文件描述符）  
    Redis基于Reactor模式开发了网络事件处理器，这个处理器被称为文件事件处理器。它的组成结构为4部分：
    
     *  多个套接字、
     *  IO多路复用程序、
     *  文件事件分派器、
     *  事件处理器。

**因为文件事件分派器队列的消费是单线程的，所以Redis才叫单线程模型**

### 3.Reactor设计模式 ###

**是什么**  
基于 I/O 复用模型：多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象上等待，无需阻塞等待所有连接。当某条连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理。  
Reactor 模式，是指通过一个或多个输入同时传递给服务处理器的服务请求的事件驱动处理模式。服务端程序处理传入多路请求，并将它们同步分派给请求对应的处理线程，Reactor 模式也叫 Dispatcher 模式。即 I/O 多了复用统一监听事件，收到事件后分发(Dispatch 给某进程)，是编写高性能网络服务器的必备技术。  
![在这里插入图片描述][7ff87441e8f34af0b2d3b650448d0bfc.png]  
**redis为什么是单线程**  
![在这里插入图片描述][4723f38b335c4b139adf64848d88ebd2.png]  
Redis 服务采用 Reactor 的方式来实现文件事件处理器（每一个网络连接其实都对应一个文件描述符）

### 4.select, poll, epoll 都是I/O多路复用的具体的实现 ###

所谓 I/O 多路复用机制指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程，就是说通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或写就绪），能够通知程序进行相应的读写操作。这种机制的使用需要 select 、 poll 、 epoll 来配合。  
多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象上等待，无需阻塞等待所有连接。  
当某条连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理。

#### 4.1 select方法 ####

**Linux官网或者man**  
https://man7.org/linux/man-pages/man2/select.2.html  
select是第一个实现 (1983 左右在BSD里面实现)  
![在这里插入图片描述][c58923d18b194b989fc47a9ef3d6989e.png]  
select 函数监视的文件描述符分3类，分别是readfds、writefds和exceptfds，将用户传入的数组拷贝到内核空间  
调用后select函数会阻塞，直到有描述符就绪（有数据 可读、可写、或者有except）或超时（timeout指定等待时间，如果立即返回设为null即可），函数返回。  
当select函数返回后，可以通过遍历fdset，来找到就绪的描述符。  
**C语言代码**  
![在这里插入图片描述][005331362fa44170b9393400927c3aaf.png]  
![在这里插入图片描述][51b5d9d309fd4a2abb36b4e5a2958cee.png]  
![在这里插入图片描述][de4358fe0870449d9f26d5e7bbf4052e.png]  
**优点**  
select 其实就是把NIO中用户态要遍历的fd数组(我们的每一个socket链接，安装进ArrayList里面的那个)拷贝到了内核态，让内核态来遍历，因为用户态判断socket是否有数据还是要调用内核态的，所有拷贝到内核态后，这样遍历判断的时候就不用一直用户态和内核态频繁切换了  
从代码中可以看出，select系统调用后，返回了一个置位后的&rset，这样用户态只需进行很简单的二进制比较，就能很快知道哪些socket需要read数据，有效提高了效率

![在这里插入图片描述][7bb45bed7176406ca87442530c6cf601.png]  
**问题**

*  1、bitmap最大1024位，一个进程最多只能处理1024个客户端
 *  2、&rset不可重用，每次socket有数据就相应的位会被置位
 *  3、文件描述符数组拷贝到了内核态(只不过无系统调用切换上下文的开销。（内核层可优化为异步事件通知）)，仍然有开销。select 调用需要传入 fd 数组，需要拷贝一份到内核，高并发场景下这样的拷贝消耗的资源是惊人的。（可优化为不复制）
 *  4、select并没有通知用户态哪一个socket有数据，仍然需要O(n)的遍历。select 仅仅返回可读文件描述符的个数，具体哪个可读还是要用户自己遍历。（可优化为只返回给用户就绪的文件描述符，无需用户做无效的遍历）

**select小结论**  
select方式，既做到了一个线程处理多个客户端连接（文件描述符），又减少了系统调用的开销（多个文件描述符只有一次 select 的系统调用 + N次就绪状态的文件描述符的 read 系统调用

#### 4.2 poll方法 ####

**Linux官网或者man**  
https://man7.org/linux/man-pages/man2/poll.2.html  
1997年实现了poll  
![在这里插入图片描述][e7275e4750b04d5cb5dcd94d16f63e8a.png]  
**C语言代码**  
![在这里插入图片描述][61de745fd31f4327ac2d9e271126c955.png]  
![在这里插入图片描述][55c1fdb81bef420bb2633d673bf5e397.png]  
**优点**  
1、poll使用pollfd数组来代替select中的bitmap，数组没有1024的限制，可以一次管理更多的client。它和 select 的主要区别就是，去掉了 select 只能监听 1024 个文件描述符的限制。  
2、当pollfds数组中有事件发生，相应的revents置位为1，遍历的时候又置位回零，实现了pollfd数组的重用  
**问题**  
poll 解决了select缺点中的前两条，其本质原理还是select的方法，还存在select中原来的问题  
1、pollfds数组拷贝到了内核态，仍然有开销  
2、poll并没有通知用户态哪一个socket有数据，仍然需要O(n)的遍历

#### 4.3 epoll方法 ####

**Linux官网或者man**  
https://man7.org/linux/man-pages/man7/epoll.7.html  
在2002年被大神 Davide Libenzi (戴维德·利本兹)发明出来了  
**三步调用**  
**epoll\_create**  
创建一个 epoll 句柄  
![在这里插入图片描述][5f21db08a85f45719583b8f65e70dee4.png]

**epoll\_ctl**  
向内核添加、修改或删除要监控的文件描述符  
![在这里插入图片描述][f9758cec73bb43e8986b81383e7f7892.png]  
**epoll\_wait**  
类似发起了select()  
![在这里插入图片描述][26ae181f35634003abaa446edea5dfa9.png]  
**C语言代码**  
![在这里插入图片描述][b703a771654b4be3a9a9148ae3e33428.png]  
![在这里插入图片描述][c5be06e28d4f4fcf8fa73327a1ea66ec.png]  
**事件通知机制**  
1、当有网卡上有数据到达了，首先会放到DMA（内存中的一个buffer，网卡可以直接访问这个数据区域）中  
2、网卡向cpu发起中断，让cpu先处理网卡的事  
3、中断号在内存中会绑定一个回调，哪个socket中有数据，回调函数就把哪个socket放入就绪链表中  
**结论**  
多路复用快的原因在于，操作系统提供了这样的系统调用，使得原来的 while 循环里多次系统调用，  
变成了一次系统调用 + 内核层遍历这些文件描述符。  
epoll是现在最先进的IO多路复用器，Redis、Nginx，linux中的Java NIO都使用的是epoll。  
这里“多路”指的是多个网络连接，“复用”指的是复用同一个线程。  
1、一个socket的生命周期中只有一次从用户态拷贝到内核态的过程，开销小  
2、使用event事件通知机制，每次socket中有数据会主动通知内核，并加入到就绪链表中，不需要遍历所有的socket

在多路复用IO模型中，会有一个内核线程不断地去轮询多个 socket 的状态，只有当真正读写事件发送时，才真正调用实际的IO读写操作。因为在多路复用IO模型中，只需要使用一个线程就可以管理多个socket，系统不需要建立新的进程或者线程，也不必维护这些线程和进程，并且只有真正有读写事件进行时，才会使用IO资源，所以它大大减少来资源占用。多路I/O复用模型是利用 select、poll、epoll 可以同时监察多个流的 I/O 事件的能力，在空闲的时候，会把当前线程阻塞掉，当有一个或多个流有 I/O 事件时，就从阻塞态中唤醒，于是程序就会轮询一遍所有的流（epoll 是只轮询那些真正发出了事件的流），并且只依次顺序的处理就绪的流，这种做法就避免了大量的无用操作。 采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求（尽量减少网络 IO 的时间消耗），且 Redis 在内存中操作数据的速度非常快，也就是说内存内的操作不会成为影响Redis性能的瓶颈

#### 4.4 三个方法对比 ####

![在这里插入图片描述][7f8628a43fe4423fa8c728191514c118.png]

### 5.5种 I/O 模型总结 ###

多路复用快的原因在于，操作系统提供了这样的系统调用，使得原来的 while 循环里多次系统调用，  
变成了一次系统调用 + 内核层遍历这些文件描述符。

所谓 I/O 多路复用机制，就是说通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或写就绪），能够通知程序进行相应的读写操作。这种机制的使用需要 select 、 poll 、 epoll 来配合。多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象上等待，无需阻塞等待所有连接。当某条连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理；  
所谓 I/O 多路复用机制，就是说通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或写就绪），能够通知程序进行相应的读写操作。这种机制的使用需要 select 、 poll 、 epoll 来配合。多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象上等待，无需阻塞等待所有连接。当某条连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理；

![在这里插入图片描述][83042127431a4ebbb78fe456b44b9195.png]

### 6.为什么3个都保有 ###

![在这里插入图片描述][c9fd44bc11e445ed8fd79160e98169db.png]

[9364db665a9948daa35e84ee53c0ae2f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/cd7936df082c41d096e6e5dc12fff3bb.png
[2a169a0692fc4a939085adee6739bd4f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/6154b74e755140b8a0eb4f5b990fb6ae.png
[aba1fb1af22143c5b02309c5030752ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4ce76ccba6a0442098c90d7a8c510822.png
[fa7122d8689746c995bbf445f5555076.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c15b1a595c524f81bcd7dab195900509.png
[530ea39b500e40b5af6d97238a06584c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/63f1eeccf1f64d55beeb06df47157d0b.png
[a7908e854bd245f092015f0d6e545a42.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/73316733d8fe4abb9243a95462fc6c6e.png
[7ff87441e8f34af0b2d3b650448d0bfc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/154697699b974d6a867aa6723ae15ad7.png
[4723f38b335c4b139adf64848d88ebd2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/966d506e21d9469bb85274ee483c1d3e.png
[c58923d18b194b989fc47a9ef3d6989e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4acc5192becb44e28a5faa971af2f59a.png
[005331362fa44170b9393400927c3aaf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/14231384563640b885b0fd69c06d48ea.png
[51b5d9d309fd4a2abb36b4e5a2958cee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a8057c0928074816a02ebf71d2d8b289.png
[de4358fe0870449d9f26d5e7bbf4052e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a5208fb37eae40c79488f16f427b1883.png
[7bb45bed7176406ca87442530c6cf601.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/6fe2308ea9484c6a8a9ffe466c92ebd1.png
[e7275e4750b04d5cb5dcd94d16f63e8a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/f8ae9b1342b34d109c2db1ef4de2bfbf.png
[61de745fd31f4327ac2d9e271126c955.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/824e4c897bb746b1a19ff9ebdcd4964b.png
[55c1fdb81bef420bb2633d673bf5e397.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/451f16add49a4e868383b920e5109fa7.png
[5f21db08a85f45719583b8f65e70dee4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/1b801ec6e0a84ba587788e572a02d6c3.png
[f9758cec73bb43e8986b81383e7f7892.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c4de7ea31ffb4ea1b040b50bc4b4daf9.png
[26ae181f35634003abaa446edea5dfa9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/d2e27429000c4588903b4f79d0bc5488.png
[b703a771654b4be3a9a9148ae3e33428.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/1f872d1b9edb4ae38c18efd67d2d4508.png
[c5be06e28d4f4fcf8fa73327a1ea66ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/91f6181cdbb842d5aa30f4544cc8b711.png
[7f8628a43fe4423fa8c728191514c118.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/1183ed75095a45f69be4ac6335ce2b80.png
[83042127431a4ebbb78fe456b44b9195.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/bf68cfdd0cf54a47be3de12d925f1541.png
[c9fd44bc11e445ed8fd79160e98169db.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/44f001c13c984359b8a717ea6610e220.png