Redis 网络架构及单线程模型

港控/mmm° 2022-07-13 05:28 132阅读 0赞

最近略有闲暇时间，于是对Redis进行了一些学习，学习途径除了官方文档还有Redis源代码，我看的版本是2.8.13，Redis源码总行数不到5W行，不同组件拆分非常细致，阅读起来也很清晰。这篇博客主要介绍我对Redis网络层架构以及线程模型的一些了解，希望能对大家有所帮助。

## Redis网络基础架构 ##

网络编程离不开Socket，网络I/O模型最常用的无非是同步阻塞、同步非阻塞、异步阻塞、异步非阻塞，高性能网络服务器最常见的线程模型也就是基于EventLoop模式的单线程模型。我们看看Redis的网络架构是怎么样的：

![7422d07083f757012a919f6d24c2e147.png][]

Redis基础组建结构

这里解释下上图涉及的组件，Redis网络层基础组件主要包括四个部分：

1.  EventLoop事件轮训器，这部分实现在AE里面。
2.  提供Socket句柄事件的多路复用器，这部分分别对于不同平台提供了不同的实现，比如epoll和select可以用于linux平台、kqueue可以用于苹果平台、evpoll可以用于Solaris平台，这里并没有看到iocp，也就是Redis对于Windows支持并不是很好。
3.  包括网络事件处理器实现的networking，这部分主要包括两个重要的今天要讲的事件处理器：acceptTcpHandler和acceptCommonHandler。
4.  处理网络比较底层的部分，比如网络句柄创建、网络的读写等。

## Redis单线程模型 ##

要理解Redis的单线程模型，我们先抛出一些问题，当我们有多个客户端同时去跟Redis Server建立连接，之后又同时对某个key进行操作，这个过程中发生了什么呢？会不会有并发问题？

### 网络初始化 ###

好了，这些问题先丢在这了，我们看看Redis启动初始化的过程中会做什么事情，这里尽量省略了与本文无关的部分：

1.  初始化Redis Server参数，这部分代码通过initServerConfig实现。
2.  初始化Redis Server，这部分代码在initServer里面。
3.  启动事件轮训器。

对，这里我们就把Redis的启动部分简化为三步，跟网络操作有关的主要在第二步和第三步里面，来看看initServer里面发生了什么：

![40efbd7f7e4527e77f690754bf0c11e2.png][]

initServer流程

initServer里面首先创建了一个EventLoop，然后监听Server的IP对应的端口号，假设我们监听的是127.0.0.1：3333这个IP:端口对，我们得到的一个Server Socket句柄，最后通过createFileEvent将我们得到的Server Socket句柄和我们关心的网络事件mask注册到EventLoop上面。EventLoop是什么呢，我们看看它的定义：

<table style="margin-left:0px;"> 
 <tbody> 
  <tr> 
   <td style="text-align:center;vertical-align:top;"> 
    <div style="margin-left:0px;"> 
     <div style="margin-left:0px;">
       1 
     </div> 
     <div style="margin-left:0px;">
       2 
     </div> 
     <div style="margin-left:0px;">
       3 
     </div> 
     <div style="margin-left:0px;">
       4 
     </div> 
     <div style="margin-left:0px;">
       5 
     </div> 
     <div style="margin-left:0px;">
       6 
     </div> 
     <div style="margin-left:0px;">
       7 
     </div> 
     <div style="margin-left:0px;">
       8 
     </div> 
     <div style="margin-left:0px;">
       9 
     </div> 
     <div style="margin-left:0px;">
       10 
     </div> 
     <div style="margin-left:0px;">
       11 
     </div> 
     <div style="margin-left:0px;">
       12 
     </div> 
    </div> </td> 
   <td style="text-align:center;vertical-align:top;width:581px;"> 
    <div style="margin-left:0px;"> 
     <div style="margin-left:0px;">
       typedef 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#800080;">struct</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#008080;">aeEventLoop</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#333333;">{ </span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#800080;">int</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#002d7a;">maxfd</span> 
      <span style="color:#333333;">;</span> 
      <span style="color:#006fe0;">&nbsp;&nbsp; </span> 
      <span style="color:#999999;">/* highest file descriptor currently registered */</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#800080;">int</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#002d7a;">setsize</span> 
      <span style="color:#333333;">;</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#999999;">/* max number of file descriptors tracked */</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#800080;">long</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#800080;">long</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#002d7a;">timeEventNextId</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#008080;">time_t </span> 
      <span style="color:#002d7a;">lastTime</span> 
      <span style="color:#333333;">;</span> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp; </span> 
      <span style="color:#999999;">/* Used to detect system clock skew */</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#008080;">aeFileEvent *</span> 
      <span style="color:#002d7a;">events</span> 
      <span style="color:#333333;">;</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#999999;">/* Registered events */</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#008080;">aeFiredEvent *</span> 
      <span style="color:#002d7a;">fired</span> 
      <span style="color:#333333;">;</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#999999;">/* Fired events */</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#008080;">aeTimeEvent *</span> 
      <span style="color:#002d7a;">timeEventHead</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#800080;">int</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#002d7a;">stop</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#800080;">void</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#006fe0;">*</span> 
      <span style="color:#002d7a;">apidata</span> 
      <span style="color:#333333;">;</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#999999;">/* This is used for polling API specific data */</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#008080;">aeBeforeSleepProc *</span> 
      <span style="color:#002d7a;">beforesleep</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#333333;">}</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#002d7a;">aeEventLoop</span> 
      <span style="color:#333333;">;</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

上面我们关注的主要是两个东西：events和fired。他们分别是两个数组，events用于存放被注册的事件以及相应的句柄，fired用于存放当EventLoop线程从多路复用器轮训到有事件的句柄的时候，EventLoop线程会把它放入fired数组里面，然后处理。

![5c74e42696f597e5eb6399f0236692bc.png][]

事件注册示意图

我用上面的示意图描述createFileEvent做的事情，就是将Server Socket句柄和关心的事件mask以及当事件产生的时候的事件处理器accptHandler生成一个aeFileEvent注册到EventLoop的events的数组里面，当然在这之前会首先将事件注册到多路复用器上，也就是epoll、kqueue等这些组件上。事件注册完之后需要对多路复用器进行轮训，来分离我们关心切发生的事件，那就是最后一步，启动事件轮询器。

### 接收网络连接 ###

上面的步骤完成了服务端的网络初始化，而且事件轮询器已经开始工作了，事件轮询器做什么事情呢，就是不断轮训多路复用器，看看之前注册的事件有没有发生，如果有发生，则将会将事件分离出来，放入EventLoop的fired数组中，然后处理这些事件。

很显然，上面注册的事件是客户端建立连接这个事件，因此当有两个客户端同时连接Redis服务器的时候，事件轮询器会从多路复用器上面分离出这个事件，同时调用acceptHandler来处理。acceptHandler做的事情主要是accept客户端的连接，创建socket句柄，然后将socket句柄和读事件注册到EventLoop的events数组里面，不一样的是对于客户端的事件处理器是readQueryClient。

![810453dc08c342c1872cdaf7bc556d79.png][]

accept客户端连接以及注册客户端连接句柄示意图

上面示意图表示了acceptHandler处理客户端连接，得到句柄之后再将这个句柄注册到多路复用器以及EventLoop上的示意图。之后再同样再处理下一个客户端的连接，这些都是串行的。

### 事件轮训 ###

上面接收客户端这部分其实都发生在事件轮训的主循环里面：

<table style="margin-left:0px;"> 
 <tbody> 
  <tr> 
   <td style="text-align:center;vertical-align:top;"> 
    <div style="margin-left:0px;"> 
     <div style="margin-left:0px;">
       1 
     </div> 
     <div style="margin-left:0px;">
       2 
     </div> 
     <div style="margin-left:0px;">
       3 
     </div> 
     <div style="margin-left:0px;">
       4 
     </div> 
     <div style="margin-left:0px;">
       5 
     </div> 
     <div style="margin-left:0px;">
       6 
     </div> 
     <div style="margin-left:0px;">
       7 
     </div> 
     <div style="margin-left:0px;">
       8 
     </div> 
    </div> </td> 
   <td style="text-align:center;vertical-align:top;width:581px;"> 
    <div style="margin-left:0px;"> 
     <div style="margin-left:0px;"> 
      <span style="color:#800080;">void</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#008080;">aeMain</span> 
      <span style="color:#333333;">(</span> 
      <span style="color:#008080;">aeEventLoop *</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#333333;">)</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#333333;">{ </span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#006fe0;">-&gt;</span> 
      <span style="color:#002d7a;">stop</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#006fe0;">=</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#009999;">0</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span>while 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#333333;">(</span> 
      <span style="color:#006fe0;">!</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#006fe0;">-&gt;</span> 
      <span style="color:#002d7a;">stop</span> 
      <span style="color:#333333;">)</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#333333;">{ </span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span>if 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#333333;">(</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#006fe0;">-&gt;</span> 
      <span style="color:#002d7a;">beforesleep</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#006fe0;">!=</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#800080;">NULL</span> 
      <span style="color:#333333;">)</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#006fe0;">-&gt;</span> 
      <span style="color:#008080;">beforesleep</span> 
      <span style="color:#333333;">(</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#333333;">)</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#008080;">aeProcessEvents</span> 
      <span style="color:#333333;">(</span> 
      <span style="color:#002d7a;">eventLoop</span> 
      <span style="color:#333333;">,</span> 
      <span style="color:#006fe0;"> </span> 
      <span style="color:#002d7a;">AE_ALL_EVENTS</span> 
      <span style="color:#333333;">)</span> 
      <span style="color:#333333;">;</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#006fe0;">&nbsp;&nbsp;&nbsp;&nbsp;</span> 
      <span style="color:#333333;">}</span> 
     </div> 
     <div style="margin-left:0px;"> 
      <span style="color:#333333;">}</span> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

Redis会不断的轮训多路复用器，将网络事件分离出来，如果是accept事件，则新接收客户端连接并将其注册到多路复用器以及EventLoop中，如果是查询事件，则通过读取客户端的命令进行相应的处理，这一切都是单线程，顺序的执行的，因此不会发生并发问题。

## 应用分析 ##

Redis官网对Redis的读写性能测试结果达到10左右，这是非常吸引人的。Redis的单线程的行为主要是对内存的读写，这些操作其实用不了多少时间，因此瓶颈在网络I/O上面，我们一般提供较好的网络环境就可以提升Redis的吞吐量，比如提高网络带宽，除此之外还可以通过合并命令提交批处理请求来代替单条命令一次次请求从而减少网络开销，提高吞吐量。

## 参考文献 ##

《Redis源码》

[7422d07083f757012a919f6d24c2e147.png]: /images/20220713/70bb90a3c5e04de5a4687c0eadbf4677.png
[40efbd7f7e4527e77f690754bf0c11e2.png]: /images/20220713/21cddb32997441bda9e6c1e066e1b5ad.png
[5c74e42696f597e5eb6399f0236692bc.png]: /images/20220713/eca34fc4defa45999122549808b28a5e.png
[810453dc08c342c1872cdaf7bc556d79.png]: /images/20220713/5675cccaa8924085bda0807e1d20dd7d.png