Linux系统下fd分配的方法

ゝ一纸荒年。 2022-01-28 12:17 257阅读 0赞

最近几天在公司里写网络通讯的代码比较多，自然就会涉及到IO事件监测方法的问题。我惊奇的发现select轮训的方法在那里居然还大行其道。我告诉他们现在无论在 **Linux**系统下，还是windows系统下，select都应该被废弃不用了，其原因是在两个平台上select的系统调用都有一个可以说是致命的坑。

在windows上面单个fd\_set中容纳的socket handle个数不能超过FD\_SETSIZE(在win32 winsock2.h里其定义为64，以VS2010版本为准)，并且fd\_set结构使用一个数组来容纳这些socket handle的，每次FD\_SET宏都是向这个数组中放入一个socket handle，并且此过程中是限定了不能超过FD\_SETSIZE，具体请自己查看winsock2.h中FD\_SET宏的定义。

此处的问题是

若本身fd\_set中的socket handle已经达到FD\_SETSIZE个，那么后续的FD\_SET操作实际上是没有效果的，对应socket handle的IO事件将被遗漏！！！

而在Linux系统下面，该问题其实也是处在fd\_set的结构和FD\_SET宏上。此时fd\_set结构是使用bit位序列来记录每一个待检测IO事件的fd。记录的方式稍微复杂，如下

**/usr/include/sys/select.h中**

<table style="border-style:solid;width:612px;"> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 typedef long int __fd_mask; 
    </div> 
    <div>
      2 #define __NFDBITS &nbsp; &nbsp;(8 * sizeof (__fd_mask)) 
    </div> 
    <div>
      3 #define &nbsp; &nbsp;__FDELT(d) &nbsp; &nbsp;((d) / __NFDBITS) 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 #define &nbsp; &nbsp;__FDMASK(d) &nbsp; &nbsp;((__fd_mask) 1 &lt;&lt; ((d) % __NFDBITS)) 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 typedef struct 
    </div> 
    <div>
      8 &nbsp; { 
    </div> 
    <div>
      9 &nbsp; &nbsp; /* XPG4.2 requires this member name. &nbsp;Otherwise avoid the name 
    </div> 
    <div>
      10 &nbsp; &nbsp; &nbsp; &nbsp;from the global namespace. &nbsp;*/ 
    </div> 
    <div>
      11 #ifdef __USE_XOPEN 
    </div> 
    <div>
      12 &nbsp; &nbsp; __fd_mask fds_bits[__FD_SETSIZE / __NFDBITS]; 
    </div> 
    <div>
      13 # define __FDS_BITS(set) ((set)-&gt;fds_bits) 
    </div> 
    <div>
      14 #else 
    </div> 
    <div>
      15 &nbsp; &nbsp; __fd_mask __fds_bits[__FD_SETSIZE / __NFDBITS]; 
    </div> 
    <div>
      16 # define __FDS_BITS(set) ((set)-&gt;__fds_bits) 
    </div> 
    <div>
      17 #endif 
    </div> 
    <div>
      18 &nbsp; } fd_set; 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 #define &nbsp; &nbsp;FD_SET(fd, fdsetp) &nbsp; &nbsp;__FD_SET (fd, fdsetp) 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

**/usr/include/bits/select.h中**

1 \# define \_\_FD\_SET(d, set) (\_\_FDS\_BITS (set)\[\_\_FDELT (d)\] |= \_\_FDMASK (d))

可以看出，在上面的过程，实际上每个bit在fd\_set的bit序列中的位置对应于fd的值。而fd\_set结构中bit位个数是\_\_FD\_SETSIZE定义的，\_\_FD\_SETSIZE在/usr/include/bits/typesize.h(包含关系如下sys/socket.h -> bits/types.h -> bits/typesizes.h)中被定义为1024。

现在的问题是，当fd>=1024时，FD\_SET宏实际上会引起内存写越界。而实际上在man select中对已也有明确的说明，如下

NOTES

An fd\_set is a fixed size buffer. Executing FD\_CLR() or FD\_SET() with a value of fd that is negative or is equal to or

larger than FD\_SETSIZE will result in undefined behavior. Moreover, POSIX requires fd to be a valid file descriptor.

这一点包括之前的我，是很多人没有注意到的，并且云风大神有篇博文《一起 select 引起的崩溃》也描述了这个问题。

可以看出在Linux系统select也是不安全的，若想使用，得小心翼翼的确认fd是否达到1024，但这很难做到，不然还是老老实实的用poll或epoll吧。

扯得有点远了，但也引出了本片 **文章**要叙述的主题，就是Linux系统下fd值是怎么分配确定，大家都知道fd是int类型，但其值是怎么增长的，在下面的内容中我对此进行了一点分析，以2.6.30版本的kernel为例，欢迎拍砖。 　首先得知道是哪个函数进行fd分配，对此我以pipe为例，它是分配fd的一个典型的syscall，在fs/pipe.c中定义了pipe和pipe2的syscall实现，如下

<table style="border-style:solid;width:612px;font-size:12px;"> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 SYSCALL_DEFINE2(pipe2, int __user *, fildes, int, flags) 
    </div> 
    <div>
      2 { 
    </div> 
    <div>
      3 &nbsp; &nbsp; int fd[2]; 
    </div> 
    <div>
      4 &nbsp; &nbsp; int error; 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 &nbsp; &nbsp; error = do_pipe_flags(fd, flags); 
    </div> 
    <div>
      7 &nbsp; &nbsp; if (!error) { 
    </div> 
    <div>
      8 &nbsp; &nbsp; &nbsp; &nbsp; if (copy_to_user(fildes, fd, sizeof(fd))) { 
    </div> 
    <div>
      9 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; sys_close(fd[0]); 
    </div> 
    <div>
      10 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; sys_close(fd[1]); 
    </div> 
    <div>
      11 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; error = -EFAULT; 
    </div> 
    <div>
      12 &nbsp; &nbsp; &nbsp; &nbsp; } 
    </div> 
    <div>
      13 &nbsp; &nbsp; } 
    </div> 
    <div>
      14 &nbsp; &nbsp; return error; 
    </div> 
    <div>
      15 } 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 SYSCALL_DEFINE1(pipe, int __user *, fildes) 
    </div> 
    <div>
      18 { 
    </div> 
    <div>
      19 &nbsp; &nbsp; return sys_pipe2(fildes, 0); 
    </div> 
    <div>
      20 } 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

进一步分析do\_pipe\_flags()实现，发现其使用get\_unused\_fd\_flags(flags)来分配fd的，它是一个宏

\#define get\_unused\_fd\_flags(flags) alloc\_fd(0, (flags))，位于include/linux/fs.h中

好了咱们找到了主角了，就是alloc\_fd()，它就是内核章实际执行fd分配的函数。其位于fs/file.c，实现也很简单，如下

<table style="border-style:solid;width:612px;font-size:12px;"> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 int alloc_fd(unsigned start, unsigned flags) 
    </div> 
    <div>
      2 { 
    </div> 
    <div>
      3 &nbsp; &nbsp; struct files_struct *files = current-&gt;files; 
    </div> 
    <div>
      4 &nbsp; &nbsp; unsigned int fd; 
    </div> 
    <div>
      5 &nbsp; &nbsp; int error; 
    </div> 
    <div>
      6 &nbsp; &nbsp; struct fdtable *fdt; 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 &nbsp; &nbsp; spin_lock(&amp;files-&gt;file_lock); 
    </div> 
    <div>
      9 repeat: 
    </div> 
    <div>
      10 &nbsp; &nbsp; fdt = files_fdtable(files); 
    </div> 
    <div>
      11 &nbsp; &nbsp; fd = start; 
    </div> 
    <div>
      12 &nbsp; &nbsp; if (fd &lt; files-&gt;next_fd) 
    </div> 
    <div>
      13 &nbsp; &nbsp; &nbsp; &nbsp; fd = files-&gt;next_fd; 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 &nbsp; &nbsp; if (fd &lt; fdt-&gt;max_fds) 
    </div> 
    <div>
      16 &nbsp; &nbsp; &nbsp; &nbsp; fd = find_next_zero_bit(fdt-&gt;open_fds-&gt;fds_bits, 
    </div> 
    <div>
      17 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;fdt-&gt;max_fds, fd); 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 &nbsp; &nbsp; error = expand_files(files, fd); 
    </div> 
    <div>
      20 &nbsp; &nbsp; if (error &lt; 0) 
    </div> 
    <div>
      21 &nbsp; &nbsp; &nbsp; &nbsp; goto out; 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 &nbsp; &nbsp; /* 
    </div> 
    <div>
      24 &nbsp; &nbsp; &nbsp;* If we needed to expand the fs array we 
    </div> 
    <div>
      25 &nbsp; &nbsp; &nbsp;* might have blocked - try again. 
    </div> 
    <div>
      26 &nbsp; &nbsp; &nbsp;*/ 
    </div> 
    <div>
      27 &nbsp; &nbsp; if (error) 
    </div> 
    <div>
      28 &nbsp; &nbsp; &nbsp; &nbsp; goto repeat; 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 &nbsp; &nbsp; if (start &lt;= files-&gt;next_fd) 
    </div> 
    <div>
      31 &nbsp; &nbsp; &nbsp; &nbsp; files-&gt;next_fd = fd + 1; 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 &nbsp; &nbsp; FD_SET(fd, fdt-&gt;open_fds); 
    </div> 
    <div>
      34 &nbsp; &nbsp; if (flags &amp; O_CLOEXEC) 
    </div> 
    <div>
      35 &nbsp; &nbsp; &nbsp; &nbsp; FD_SET(fd, fdt-&gt;close_on_exec); 
    </div> 
    <div>
      36 &nbsp; &nbsp; else 
    </div> 
    <div>
      37 &nbsp; &nbsp; &nbsp; &nbsp; FD_CLR(fd, fdt-&gt;close_on_exec); 
    </div> 
    <div>
      38 &nbsp; &nbsp; error = fd; 
    </div> 
    <div>
      39 #if 1 
    </div> 
    <div>
      40 &nbsp; &nbsp; /* Sanity check */ 
    </div> 
    <div>
      41 &nbsp; &nbsp; if (rcu_dereference(fdt-&gt;fd[fd]) != NULL) { 
    </div> 
    <div>
      42 &nbsp; &nbsp; &nbsp; &nbsp; printk(KERN_WARNING "alloc_fd: slot %d not NULL!\n", fd); 
    </div> 
    <div>
      43 &nbsp; &nbsp; &nbsp; &nbsp; rcu_assign_pointer(fdt-&gt;fd[fd], NULL); 
    </div> 
    <div>
      44 &nbsp; &nbsp; } 
    </div> 
    <div>
      45 #endif 
    </div> 
    <div>
      46 
    </div> 
    <div>
      47 out: 
    </div> 
    <div>
      48 &nbsp; &nbsp; spin_unlock(&amp;files-&gt;file_lock); 
    </div> 
    <div>
      49 &nbsp; &nbsp; return error; 
    </div> 
    <div>
      50 } 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

在pipe的系统调用中start值始终为0，而中间比较关键的expand\_files()函数是根据所给的fd值，判断是否需要对进程的打开文件表进行扩容，其函数头注释如下

/\*

\* Expand files.

\* This function will expand the file structures, if the requested size exceeds

\* the current capacity and there is room for expansion.

\* Return <0 error code on error; 0 when nothing done; 1 when files were

\* expanded and execution may have blocked.

\* The files->file\_lock should be held on entry, and will be held on exit.

\*/

此处对其实现就不做深究了，回到alloc\_fd()，现在可以看出，其分配fd的原则是

每次优先分配fd值最小的空闲fd，当分配不成功，即返回EMFILE的错误码，这表示当前进程中fd太多。

到此也印证了在公司写的服务端程序(kernel是2.6.18)中，每次打印client链接对应的fd值得变化规律了，假如给一个新连接分配的fd值为8，那么其关闭之后，紧接着的新的链接分配到的fd也是8，再新的链接的fd值是逐渐加1的。

为此，我继续找了一下socket对应fd分配方法，发现最终也是 alloc\_fd(0, (flags)，调用序列如下

socket(sys\_call) -> sock\_map\_fd() -> sock\_alloc\_fd() -> get\_unused\_fd\_flags()

open系统调用也是用get\_unused\_fd\_flags()，这里就不列举了。

现在想回头说说开篇的select的问题。由于Linux系统fd的分配规则，实际上是已经保证每次的fd值尽量的小，一般非IO频繁的系统，的确一个进程中fd值达到1024的概率比较小。因而对此到底是否该弃用select，还不能完全地做绝对的结论。如果设计的系统的确有其他措施保证fd值小于1024，那么用select无可厚非。

但在网络通讯程序这种场合是绝不应该作此假设的，所以还是尽量的不用select吧！！

最新内容请见作者的GitHub页：http://qaseven.github.io/