Linux中的I/O模型概念

你的名字 2022-04-15 01:22 91阅读 0赞

### I/O模型 ###

#### 同步、异步、阻塞、非阻塞 ####

同步与异步：描述的是用户线程与内核的交互方式，同步指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行；而异步是指用户线程发起IO请求后仍然继续执行，当内核IO操作完成后会通知用户线程，或者调用用户线程注册的回调函数。

阻塞与非阻塞：描述是用户线程调用内核IO操作的方式，阻塞是指IO操作需要彻底完成后才返回到用户空间；而非阻塞是指IO操作被调用后立即返回给用户一个状态值，无需等到IO操作彻底完成。

#### Linux IO模型 ####

linux系统IO分为内核准备数据和将数据从内核拷贝到用户空间两个阶段。

网络IO的本质就是socket的读取，socket在linux系统被抽象为流，IO可以理解为对流的操作。对于一次IO访问（以read为例），数据会先被拷贝到操作系统内核的缓冲区，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间中。所以说，当一个read操作发生时，它会经历两个阶段：

第一个阶段：等待数据准备。

第二个阶段：将数据从内核拷贝到进程中（把数据从内核空间拷贝到用户空间）

对于socket流而言：

第一步：通常涉及等待网络上的数据分组到达，然后复制到内核的某个缓冲区。

第二步：把数据从内核缓冲区复制到应用进程缓冲区。

当然，如果内核空间的缓冲区中已经有数据了，那么就可以省略第一步。至于为什么不能直接让磁盘控制器把数据送到应用程序的地址空间中呢？最简单的一个原因就是应用程序不能直接操作底层硬件。

网络应用需要处理的无非就是两大类问题，网络IO，数据计算。相对于后者，网络IO的延迟，给应用带来的性能瓶颈大于后者。网络IO的模型大致分为如下五种：

阻塞IO
    非阻塞IO
    多路复用IO
    信号驱动IO
    异步IO

前四种都是同步，只有最后一种是异步IO

#### select、poll、epoll简介 ####

epoll跟select都能提供多路I/O复用的解决方案；  
select，pselect，poll，epoll本质上都是同步I/O；  
因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的

与多进程和多线程技术相比，I/O多路复用技术的最大优势是系统开销小，系统不必创建进程、线程，也不必维护这些进程/线程，从而大大减小了系统的开销

##### select #####

select 函数监视的文件描述符分3类，分别是writefds、readfds和exceptfds；
    调用后select函数会阻塞，直到有描述符就绪或者超时，函数返回；
    当select函数返回后，可以通过遍历fdset，来找到就绪的描述符。
    
    select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点；
    select的一个缺点在于单个进程能够监视的文件描述符的数量存在最大限制，在Linux上一般为1024；
    select本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理；

缺点：  
select最大的缺陷就是单个进程所打开的FD是有一定限制的，它由FD\_SETSIZE设置，默认值是1024；  
对socket进行扫描时是线性扫描，即采用轮询的方法，效率较低；  
需要维护一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大；

##### poll #####

poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。

它没有最大连接数的限制，原因是它是基于链表来存储的，但是同样有缺点：  
大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义；  
poll还有一个特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd；

从上面看，select和poll都需要在返回后，通过遍历文件描述符来获取已经就绪的socket。事实上，同时连接的大量客户端在一时刻可能只有很少的处于就绪状态，因此随着监视的描述符数量的增长，其效率也会线性下降。

##### epoll #####

相对于select和poll来说，epoll更加灵活，没有描述符限制。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的copy只需一次。

epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就绪态，并且只会通知一次。还有一个特点是，epoll使用“事件”的就绪通知方式，通过epoll\_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll\_wait便可以收到通知；

优点：

没有最大并发连接的限制，能打开的FD的上限远大于1024（1G的内存上能监听约10万个端口）；
    效率提升，不是轮询的方式，不会随着FD数目的增加效率下降。只有活跃可用的FD才会调用callback函数；即Epoll最大的优点就在于它只管你“活跃”的连接，而跟连接总数无关，因此在实际的网络环境中，Epoll的效率就会远远高于select和poll。
    内存拷贝，利用mmap()文件映射内存加速与内核空间的消息传递；即epoll使用mmap减少复制开销

在select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll\_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll\_wait()时便得到通知。

参考：  
[https://www.cnblogs.com/dongguacai/p/5770287.html][https_www.cnblogs.com_dongguacai_p_5770287.html]  
[https://www.jianshu.com/p/dfd940e7fca2][https_www.jianshu.com_p_dfd940e7fca2]  
[https://www.cnblogs.com/lianzhilei/p/6029100.html][https_www.cnblogs.com_lianzhilei_p_6029100.html]

[https_www.cnblogs.com_dongguacai_p_5770287.html]: https://www.cnblogs.com/dongguacai/p/5770287.html
[https_www.jianshu.com_p_dfd940e7fca2]: https://www.jianshu.com/p/dfd940e7fca2
[https_www.cnblogs.com_lianzhilei_p_6029100.html]: https://www.cnblogs.com/lianzhilei/p/6029100.html