【IO】IO多路复用实现：select、poll、epoll（转）

缺乏、安全感 2022-12-31 02:25 169阅读 0赞

> 原文链接：[https://blog.csdn.net/qq\_16399991/article/details/100377183?utm\_source=app][https_blog.csdn.net_qq_16399991_article_details_100377183_utm_source_app]

select，poll，epoll 都是IO多路复用的实现方式。I/O多路复用就是通过一种机制，**一个进程可以监视多个描述符**，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是**同步I/O**，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。（这里啰嗦下）

## 1.select ##

int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

select 函数监视的文件描述符分3类，分别是writefds、readfds、和exceptfds。调用后select函数会阻塞，直到有描述副就绪（有数据 可读、可写、或者有except），或者超时（timeout指定等待时间，如果立即返回设为null即可），函数返回。当select函数返回后，可以通过**遍历fdset**，来找到就绪的描述符。

select目前几乎在所有的平台上支持，其良好跨平台支持也是它的一个优点。select的一 个缺点在于单个进程能够监视的文件描述符的**数量存在最大限制**，在Linux上一般为1024，可以通过修改宏定义甚至重新编译内核的方式提升这一限制，但 是这样也会造成效率的降低。

## 2.poll ##

int poll (struct pollfd *fds, unsigned int nfds, int timeout);

不同与select使用三个位图来表示三个fdset的方式，poll使用一个 pollfd的指针实现。

struct pollfd {
        
        int fd; /* file descriptor */
        short events; /* requested events to watch */
        short revents; /* returned events witnessed */
    };

pollfd结构包含了要监视的event和发生的event，不再使用select“参数-值”传递的方式。同时，pollfd并没有最大数量限制（但是数量过大后性能也是会下降）。 和select函数一样，poll返回后，需要**轮询pollfd**来获取就绪的描述符。

> 从上面看，select和poll都需要在返回后，**通过遍历文件描述符来获取已经就绪的socket**。事实上，同时连接的大量客户端在一时刻可能只有很少的处于就绪状态，因此随着监视的描述符数量的增长，其效率也会线性下降。

## 3.epoll ##

epoll是在2.6内核中提出的，是之前的select和poll的增强版本。相对于select和poll来说，epoll更加灵活，没有描述符限制。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的copy只需一次。

### 3.1 epoll操作过程 ###

epoll操作过程需要三个接口，分别如下：

// 创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大
    int epoll_create(int size)；
    // 向 epoll 对象中添加文件描述符，及监听的事件
    int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)；
    // 返回准备好的描述符事件个数
    int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

**1. int epoll\_create(int size);**

创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大，这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值，参数size并不是限制了epoll所能监听的描述符最大个数，只是对内核初始分配内部数据结构的一个建议。

当创建好epoll句柄后，它就会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。

**2. int epoll\_ctl(int epfd, int op, int fd, struct epoll\_event \*event)；**

函数是对指定描述符fd执行op操作。

*  epfd：是epoll\_create()的返回值。
 *  op：表示op操作，用三个宏来表示：添加EPOLL\_CTL\_ADD，删除EPOLL\_CTL\_DEL，修改EPOLL\_CTL\_MOD。分别添加、删除和修改对fd的监听事件。
 *  fd：是需要监听的fd（文件描述符）
 *  epoll\_event：是告诉内核需要监听什么事，struct epoll\_event结构如下：

struct epoll_event {
        
      __uint32_t events;  /* Epoll events */
      epoll_data_t data;  /* User data variable */
    };
     
    //events可以是以下几个宏的集合：
    EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
    EPOLLOUT：表示对应的文件描述符可以写；
    EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
    EPOLLERR：表示对应的文件描述符发生错误；
    EPOLLHUP：表示对应的文件描述符被挂断；
    EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
    EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

**3. int epoll\_wait(int epfd, struct epoll\_event \* events, int maxevents, int timeout);**

等待epfd上的io事件，最多返回maxevents个事件。

参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个maxevents的值不能大于创建epoll\_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。

### 3.2 工作模式 ###

epoll对文件描述符的操作有两种模式：**LT（level trigger）和ET（edge trigger）**。LT模式是默认模式，LT模式与ET模式的区别如下：

*  LT模式：当epoll\_wait检测到描述符事件发生并将此事件通知应用程序，`应用程序可以不立即处理该事件`。下次调用epoll\_wait时，会再次响应应用程序并通知此事件。
 *  ET模式：当epoll\_wait检测到描述符事件发生并将此事件通知应用程序，`应用程序必须立即处理该事件`。如果不处理，下次调用epoll\_wait时，不会再次响应应用程序并通知此事件。

**1.LT模式**

LT(level triggered)是缺省的工作方式，并且同时支持block和no-block socket.在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你的。

**2.ET模式**

ET(edge-triggered)是高速工作方式，只支持no-block socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了(比如，你在发送，接收或者接收请求，或者发送接收的数据少于一定量时导致了一个EWOULDBLOCK 错误）。但是请注意，如果一直不对这个fd作IO操作(从而导致它再次变成未就绪)，内核不会发送更多的通知(only once)

ET模式在很大程度上减少了epoll事件被重复触发的次数，因此效率要比LT模式高。epoll工作在ET模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。

**3.总结**

假如有这样一个例子：

1.  我们已经把一个用来从管道中读取数据的文件句柄(RFD)添加到epoll描述符
2.  这个时候从管道的另一端被写入了2KB的数据
3.  调用epoll\_wait(2)，并且它会返回RFD，说明它已经准备好读取操作
4.  然后我们读取了1KB的数据
5.  调用epoll\_wait(2)…

==> LT模式：如果是LT模式，那么在第5步调用epoll\_wait(2)之后，仍然能受到通知。

==> ET模式：

如果我们在第1步将RFD添加到epoll描述符的时候使用了EPOLLET标志，那么在第5步调用epoll\_wait(2)之后将有可能会挂起，因为剩余的数据还存在于文件的输入缓冲区内，而且数据发出端还在等待一个针对已经发出数据的反馈信息。只有在监视的文件句柄上发生了某个事件的时候 ET 工作模式才会汇报事件。因此在第5步的时候，调用者可能会放弃等待仍在存在于文件输入缓冲区内的剩余数据。

当使用epoll的ET模型来工作时，当产生了一个EPOLLIN事件后，读数据的时候需要考虑的是当recv()返回的大小如果等于请求的大小，那么很有可能是缓冲区还有数据未读完，也意味着该次事件还没有处理完，所以还需要再次读取：

while(rs){
        
      buflen = recv(activeevents[i].data.fd, buf, sizeof(buf), 0);
      if(buflen < 0){
        
        // 由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可读
        // 在这里就当作是该次事件已处理处.
        if(errno == EAGAIN){
        
            break;
        }
        else{
        
            return;
        }
      }
      else if(buflen == 0){
        
         // 这里表示对端的socket已正常关闭.
      }
     
     if(buflen == sizeof(buf){
        
          rs = 1;   // 需要再次读取
     }
     else{
        
          rs = 0;
     }
    }

**Linux中的EAGAIN含义**

Linux环境下开发经常会碰到很多错误(设置errno)，其中EAGAIN是其中比较常见的一个错误(比如用在非阻塞操作中)。  
从字面上来看，是提示再试一次。这个错误经常出现在当应用程序进行一些非阻塞(non-blocking)操作(对文件或socket)的时候。

例如，以 O\_NONBLOCK的标志打开文件/socket/FIFO，如果你连续做read操作而没有数据可读。此时程序不会阻塞起来等待数据准备就绪返回，read函数会返回一个错误EAGAIN，提示你的应用程序现在没有数据可读请稍后再试。  
又例如，当一个系统调用(比如fork)因为没有足够的资源(比如虚拟内存)而执行失败，返回EAGAIN提示其再调用一次(也许下次就能成功)。

### 3.3 代码演示 ###

下面是一段不完整的代码且格式不对，意在表述上面的过程，去掉了一些模板代码。

#define IPADDRESS   "127.0.0.1"
    #define PORT        8787
    #define MAXSIZE     1024
    #define LISTENQ     5
    #define FDSIZE      1000
    #define EPOLLEVENTS 100
     
    listenfd = socket_bind(IPADDRESS,PORT);
     
    struct epoll_event events[EPOLLEVENTS];
     
    //创建一个描述符
    epollfd = epoll_create(FDSIZE);
     
    //添加监听描述符事件
    add_event(epollfd,listenfd,EPOLLIN);
     
    //循环等待
    for ( ; ; ){
        
        //该函数返回已经准备好的描述符事件数目
        ret = epoll_wait(epollfd,events,EPOLLEVENTS,-1);
        //处理接收到的连接
        handle_events(epollfd,events,ret,listenfd,buf);
    }
     
    //事件处理函数
    static void handle_events(int epollfd,struct epoll_event *events,int num,int listenfd,char *buf)
    {
        
         int i;
         int fd;
         //进行遍历;这里只要遍历已经准备好的io事件。num并不是当初epoll_create时的FDSIZE。
         for (i = 0;i < num;i++)
         {
        
             fd = events[i].data.fd;
            //根据描述符的类型和事件类型进行处理
             if ((fd == listenfd) &&(events[i].events & EPOLLIN))
                handle_accpet(epollfd,listenfd);
             else if (events[i].events & EPOLLIN)
                do_read(epollfd,fd,buf);
             else if (events[i].events & EPOLLOUT)
                do_write(epollfd,fd,buf);
         }
    }
     
    //添加事件
    static void add_event(int epollfd,int fd,int state){
        
        struct epoll_event ev;
        ev.events = state;
        ev.data.fd = fd;
        epoll_ctl(epollfd,EPOLL_CTL_ADD,fd,&ev);
    }
     
    //处理接收到的连接
    static void handle_accpet(int epollfd,int listenfd){
        
         int clifd;     
         struct sockaddr_in cliaddr;     
         socklen_t  cliaddrlen;     
         clifd = accept(listenfd,(struct sockaddr*)&cliaddr,&cliaddrlen);     
         if (clifd == -1)         
         perror("accpet error:");     
         else {
                 
             printf("accept a new client: %s:%d\n",inet_ntoa(cliaddr.sin_addr),cliaddr.sin_port);                       //添加一个客户描述符和事件         
             add_event(epollfd,clifd,EPOLLIN);     
         } 
    }
     
    //读处理
    static void do_read(int epollfd,int fd,char *buf){
        
        int nread;
        nread = read(fd,buf,MAXSIZE);
        if (nread == -1)     {
                 
            perror("read error:");         
            close(fd); //记住close fd        
            delete_event(epollfd,fd,EPOLLIN); //删除监听 
        }
        else if (nread == 0)     {
                 
            fprintf(stderr,"client close.\n");
            close(fd); //记住close fd       
            delete_event(epollfd,fd,EPOLLIN); //删除监听 
        }     
        else {
                 
            printf("read message is : %s",buf);        
            //修改描述符对应的事件，由读改为写         
            modify_event(epollfd,fd,EPOLLOUT);     
        } 
    }
     
    //写处理
    static void do_write(int epollfd,int fd,char *buf) {
             
        int nwrite;     
        nwrite = write(fd,buf,strlen(buf));     
        if (nwrite == -1){
                 
            perror("write error:");        
            close(fd);   //记住close fd       
            delete_event(epollfd,fd,EPOLLOUT);  //删除监听    
        }else{
        
            modify_event(epollfd,fd,EPOLLIN); 
        }    
        memset(buf,0,MAXSIZE); 
    }
     
    //删除事件
    static void delete_event(int epollfd,int fd,int state) {
        
        struct epoll_event ev;
        ev.events = state;
        ev.data.fd = fd;
        epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,&ev);
    }
     
    //修改事件
    static void modify_event(int epollfd,int fd,int state){
             
        struct epoll_event ev;
        ev.events = state;
        ev.data.fd = fd;
        epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&ev);
    }
     
    //注：另外一端我就省了

## 总结 ##

在 select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而**epoll事先通过epoll\_ctl()来注册一 个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll\_wait() 时便得到通知**。(`此处去掉了遍历文件描述符，而是通过监听回调的的机制`这正是epoll的魅力所在)

epoll的优点主要是一下几个方面：

1.  监视的描述符数量不受限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048。举个例子，在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看，一般来说这个数目和系统内存关系很大。  
    select的最大缺点就是进程打开的fd是有数量限制的。这对于连接数量比较大的服务器来说根本不能满足。虽然也可以选择多进程的解决方案( Apache就是这样实现的)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。
2.  IO的效率不会随着监视fd的数量的增长而下降。epoll不同于select和poll**轮询**的方式，而是通过每个fd定义的**回调函数**来实现的。只有就绪的fd才会执行回调函数。

> PS：如果没有大量的idle -connection或者dead-connection，epoll的效率并不会比select/poll高很多，但是当遇到大量的idle- connection，就会发现epoll的效率大大高于select/poll。

<table> 
 <thead> 
  <tr> 
   <th align="left">IO模型</th> 
   <th align="left">相对性能</th> 
   <th align="left">关键思路</th> 
   <th align="left">操作系统</th> 
   <th align="left">Java支持</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">select</td> 
   <td align="left">较高</td> 
   <td align="left">Reactor</td> 
   <td align="left">Windows/Linux</td> 
   <td align="left">支持 Reactor 模式（反应器模式）。Linux 操作系统的 Kernels 2.4 内核版本之前<br>默认使用 select；而目前 windows 下对同步IO的支持，都是 select 模型</td> 
  </tr> 
  <tr> 
   <td align="left">poll</td> 
   <td align="left">较高</td> 
   <td align="left">Reactor</td> 
   <td align="left">Linux</td> 
   <td align="left">Linux 下的 Java NIO 框架，Linux Kernels 2.6 内核版本之前使用 poll 进行支持。<br>也是使用的 Reactor 模式</td> 
  </tr> 
  <tr> 
   <td align="left">epoll</td> 
   <td align="left">高</td> 
   <td align="left">Reactor/Proactor</td> 
   <td align="left">Linux</td> 
   <td align="left">Linux Kernels 2.6 内核版本及以后使用 epoll 进行支持；Linux Kernels 2.6 内核版本<br>之前使用 poll 进行支持；另外一定注意，由于 Linux 下没有 windows 的 IOCP 技术<br>提供这正的异步IO支持，所以 Linux 下使用 epoll 模拟异步IO</td> 
  </tr> 
  <tr> 
   <td align="left">kqueue</td> 
   <td align="left">高</td> 
   <td align="left">Proactor</td> 
   <td align="left">Linux</td> 
   <td align="left">目前 Java 版本不支持</td> 
  </tr> 
 </tbody> 
</table>

[https_blog.csdn.net_qq_16399991_article_details_100377183_utm_source_app]: https://blog.csdn.net/qq_16399991/article/details/100377183?utm_source=app