Redis学习笔记 - 客户端

雨点打透心脏的1/2处 2021-11-16 16:01 364阅读 0赞

参考：<<Redis设计与实现>>

*  注：这本书是基于Redis3.0版本写的，和后面的版本有点差异

Redis服务器是一对多服务器程序：一个服务器可以和多个客户端建立网络连接，每个客户端可以向服务器发送命令请求，而服务器接收并处理客户端发送的命令请求，并向客户端返回命令回复。

使用由I/O多路复用技术实现的文件事件处理器，Redis服务器可以使用单线程单进程的方式来处理命令请求，并与多个客户端进行网络通信。

与服务器连接客户端，Redis服务器使用redisClient结构（客户端状态）保存客户端当前的状态信息、执行相关功能时需要用到的数据结构。主要包括以下：

*  客户端的套接字描述符
 *  客户端名称
 *  客户端标志值
 *  指向客户端正在使用的数据库指针、数据库序号
 *  客户端当前要执行的命令、命令参数、参数个数和指向命令实现函数的指针
 *  客户端的输入和输出缓冲区
 *  客户端执行发布订阅用到的数据结构
 *  客户端身份验证标志
 *  客户端的创建时间、最后一次与服务器通信的时间、客户端的输出缓冲区大小超出软性限制（soft limit）的时间
 *  …

客户端保存在redisServer结构的clients属性中，该属性是一个链表，保存了所有与服务器连接客户端的状态结构，对客户端执行操作或查找指定客户端，都是通过遍历clients属性完成：

struct redisServer { 
    	// ...
    	// 链表，保存了客户端的状态
    	list *clients;
    	// ...
    }

![客户端链表][20190728232946472.png]

### 一、客户端属性 ###

#### 1.1 套接字描述符 ####

客户端状态的fd属性记录了客户端正在使用的套接字描述符：

type struct redisClient { 
    	// ...
    	int fd;
    	// ...
    } redisClient;

客户端类型不同，fd取值可以是-1、大于-1的整数：

*  伪客户端(fake client)：fd属性值为-1。伪客户端处理的命令请求来源于AOF文件或Lua脚本，不是网络，所以这种客户端不需要套接字连接。Redis服务器会在两个地方用到伪客户端：
    
     *  1.载入AOF文件并还原数据库状态
     *  2.用于执行LUa脚本中包含的Redis命令
 *  普通客户端：fd属性大于-1的整数。普通客户端使用套接字与服务器进行通信，Redis服务器会用fd属性记录客户端套接字的描述符。

执行`client list`命令可以列出目前所有连接到服务器的普通客户端：  
fd属性显示了服务器连接客户端所使用的套接字描述符

redis> client list
    id=3 addr=127.0.0.1:53094 fd=9 name= age=914864 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=26 qbuf-free=32742 obl=0 oll=0 omem=0 events=r cmd=client

#### 1.2 标志 ####

客户端的标志属性flags记录了客户端的角色（role）、客户端目前所处的状态：

type struct redisClient { 
    	// ...
    	int fd;
    	int flags;
    	// ...
    } redisClient;

flags属性的值可以是单个标志，也可以是多个标志的二进制或，如

*  flags =
 *  flags = | | …

每个标志使用一个常量表示，一部分记录了客户端的角色、一部分记录了客户端目前所处的状态。

*  客户端角色：
    
     *  REDIS\_MASTER、REDIS\_SLAVE：表示客户端代表的是一个主服务器、从服务器。在主从服务器进行复制操作时， 主服务器会成为从服务器的客户端，从服务器成为抓服务器的客户端。
     *  REDIS\_PRE\_PSYNC：表示客户端代表是一个版本低于Redis2.8的从服务器，主服务器不能使用PSYNC命令与这个从服务器进行同步。这个标志只能在REDIS\_SLAVE标志打开状态使用。
     *  REDIS\_LUA\_CLINET：表示客户端用于处理Lua脚本里包含的Redis命令的伪客户端。
 *  客户端所处的状态：
    
     *  REDIS\_MONITOR：表示客户端正在执行MONITOR命令。
     *  REDIS\_UNIX\_SOCKET：表示服务器使用UNIX套接字来连接客户端。
     *  …

#### 1.3 输入缓冲区 ####

客户端状态的输入缓冲区用于保存客户端发送的命令请求：

type struct redisClient { 
       // ...
       int fd;
       int flags;
       sds querybuf;
       // ...
    } redisClient;

注：输入缓冲区的大小根据输入内容动态地缩小或扩大，但最大不能超过1GB，否则服务器将会关闭这个客户端。

示例：

如果客户端向服务器发送了`set key value`命令请求，那么客户端状态的querybuf属性是一个包含以下内容的SDS值：

*3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$5\r\nvalue\r\n

如下图所示：  
![querybuf属性][querybuf]

#### 1.4 命令与命令参数 ####

在服务器将客户端发送的命令请求保存到客户端的`querybuf`属性后，服务器会对命令请求的内容进行分析，然后将得出的命令参数以及参数个数分别保存到客户端状态的`argv`属性和`argc`属性：

type struct redisClient { 
    	// ...
    	int fd;
    	int flags;
    	sds querybuf;
    	robj **argv;
    	int argc;
    	// ...
    } redisClient;

*  argv属性：一个数组，数组中每一项是字符串，argv\[0\]是要执行的命令，其他项是传给命令的参数。
 *  argc属性：记录argv数组的长度

示例：

如1.3的querybuf属性值，服务器将分析、创建下图的argv属性和argc属性：  
![argv属性和argc属性][argv_argc]  
注：SET命令本身也是一个参数。

#### 1.5 命令的实现函数 ####

服务器从协议内容中分析得出argv属性和argc属性的值后，服务器根据argv\[0\]的值，在命令表中查找命令所对应的命令实现函数。

命令表是一个字典，字典的键是SDS结构，保存了命令的名字，字典的值是命令对应的redisCommand结构。该结构保存了命令的实现函数、命令的标志、命令应该给定的参数个数、命令的总执行次数和总耗时等统计信息。命令表如下图所示：  
![命令表][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L215dHRfMTA1NjY_size_16_color_FFFFFF_t_70]

当程序在命令表中找到argv\[0\]所对应的redisCommand结构时，它会将客户端状态的cmd指针指向这个结构：

type struct redisClient { 
    	// ...
    	int fd;
    	int flags;
    	sds querybuf;
    	robj **argv;
    	int argc;
    	struct redisCommand *cmd;
    	// ...
    } redisClient;

之后服务器使用cmd属性指向的redisCommand结构、argv、argc属性的值调用相关命令实现函数，执行客户端指定的命令。

示例：

当argv\[0\]为"SET"时，查找命令表并将客户端状态的cmd指针指向redisCommand结构的过程如下图所示：  
![查找命令并设置cms属性][cms]  
注：命令表的查找操作不区分大小写。

#### 1.6 输出缓冲区 ####

执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里，每个客户端都有两个输出缓冲区可用：

*  固定大小缓冲区：保存那些长度比较小的回复，如OK、简短的字符串值、整数值、错误回复等。
 *  可变大小缓冲区：保存那些长度较大的回复，如非常长的字符串值、很多项组成的列表、包含很多元素的集合等。

客户端的固定大小缓冲区由buf和bufpos两个属性组成：

*  buf：数组长度为REDIS\_REPLY\_CHUNK\_BYTES，默认值是16\*1024，也就是16KB
 *  bufpos：记录了数组目前已经使用的字节数量

type struct redisClient { 
    	// ...
    	int fd;
    	int flags;
    	sds querybuf;
    	robj **argv;
    	int argc;
    	struct redisCommand *cmd;
    	char buf[REDIS_REPLY_CHUNK_BYTES];
    	int bufpos;
    	// ...
    } redisClient;

示例：

一个固定大小缓冲区保存`+OK\r\n`，如下图所示：  
![固定大小缓冲区][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L215dHRfMTA1NjY_size_16_color_FFFFFF_t_70 1]

当buf数组空间用完或回复太大无法放进buf数组里，服务器就会使用可变大小的缓冲区。

可变大小的缓冲区由reply链表和一个或多个字符串对象组成：

示例：

一个包含三个字符串对象的reply链表如下图所示：  
![可变大小缓冲区][20190731094331381.png]

为了避免发送给客户端回复过大，占用过多服务器资源，服务器会时刻检查客户端的输出缓冲区大小，并在缓冲区的大小超出范围时，执行相应的限制操作。

服务器使用两种模式限制客户端输出缓冲区的大小：

*  硬性限制（hard limit）：如果输出缓冲区大小超过了硬性限制所设置的大小，服务器立即关闭客户端
 *  软性限制（soft limit）：
    
     *  如果缓冲区大小超过软性限制所设置的大小，但没超过硬性限制，那么服务器将使用客户端状态结构的 `obuf_soft_limit_reached_time` 属性记录下客户端到达软性限制的起始时间；之后服务器会继续监视客户端，如果输出缓冲区的大小一致超过软性限制，且持续时间超过服务器设置的时长，那么服务器将关闭客户端；
     *  如果输出缓冲区的大小在指定时间之内不再超过软性限制，那么客户端不会给关闭，且`obuf_soft_limit_reached_time`属性值被清零。

使用 `client-output-buffer-limit <class> <hard limit> <soft limit> <soft seconds>`选项可以为普通客户端、从服务器客户端、执行发布订阅的客户端分别设置不同的软性限制和硬性限制。

三个设置示例：

# 将普通客户端的硬性限制和软性限制都设置为0，表示不限制客户端的输出缓冲区大小
    client-output-buffer-limit normal 0 0 0
    # 将从服务器客户端的硬性限制设置为256mb，软性限制设置为64mb，软性限制时长为60s
    client-output-buffer-limit slave 256mb 64mb 60
    # 将执行发布订阅的客户端硬性限制设置为32mb，软性限制为8mb，软性限制时长为60s
    client-output-buffer-limit pubsub 32mb 8mb 60

#### 1.7 身份验证 ####

客户端状态的`authenticated`属性用于记录客户端是否通过了身份验证：

type struct redisClient { 
    	// ...
    	int fd;
    	int flags;
    	sds querybuf;
    	robj **argv;
    	int argc;
    	struct redisCommand *cmd;
    	char buf[REDIS_REPLY_CHUNK_BYTES];
    	int bufpos;
    	list *reply;
    	int authenticated;
    	// ...
    } redisClient;

*  authenticated：
    
     *  0：表示客户端未通过身份验证。此时除了AUTH命令，其他命令都会被服务器拒绝执行（服务器需要开启身份验证功能，参考配置文件里的`requirepass`选项）
     *  1：表示客户端通过了身份验证

#### 1.8 时间 ####

客户端中与时间有关的几个属性：ctime、lastinteraction、obuf\_soft\_limit\_reached\_time。

*  ctime：记录了客户端创建的时间，用来记算客户端与服务器连接的时间，`client list`命令中的age选项记录了这个时间。
 *  lastinteraction：记录了客户端与服务器最后一次交互的时间。如客户端向服务端发送命令请求、服务器向客户端发送命令回复。
    
     *  该属性还可以用来计算客户端空转（idle）时间，即距离客户端与服务器最后一次进行交互过去的时间。 `client list`命令中的idle选项记录了这个时间。
 *  obuf\_soft\_limit\_reached\_time：记录了输出缓冲区第一次到达软性限制（soft limit）的时间。

### 二、客户端的创建与关闭 ###

#### 2.1 普通客户端 ####

##### 2.1.1 创建普通客户端 #####

如果客户端通过网络连接与服务器进行连接的，当客户端使用connect函数连接到服务器时，服务器就会调用连接事件处理器为客户端创建相应的客户端状态，并将这个新的客户端状态添加到服务器状态结构clients链表的末尾。

示例：

如已有客户端c1、c2，新的客户端c3连接到服务器后，就会将新创建的c3客户端状态添加到clients链表末尾：  
![服务器状态结构的clients链表][clients]

##### 2.1.2 关闭普通客户端 #####

一个普通客户端会因为多种原因被关闭：

*  客户端进程退出或被杀死，客户端与服务器之间的网络连接将被关闭
 *  客户端向服务器发送了带有不符合协议格式的命令请求
 *  客户端成为了CLIENT KILL目标
 *  用户为服务器设置了timeout配置选项，当客户端的空转时间超过timeout选项设置的值。一些例外情况，
    
     *  客户端是主服务器（打开了REDIS\_MASTER标志），从服务器（打开了REDIS\_SLAVE标志），正在被BLOOP等命令阻塞（打开了REDIS\_BLOCKED标志），或者正在执行发布订阅等命令，即使超过了timeout设置的值也不会被关闭
 *  客户端发送的命令请求大小超过输入缓冲区的限制（默认1GB）
 *  要发送给客户端的命令回复大小超过了输出缓冲区的限制大小

#### 2.2 Lua脚本伪的客户端 ####

服务器在初始化时创建负责执行Lua脚本中包含Redis命令的伪客户端，并将这个伪客户端关联在服务器状态结构的lua\_client属性中：

struct redisServer { 
    	// ...
    	redisClient *lua_client;
    	// ...
    } redisClient;

注：lua\_client伪客户端在服务器运行整个生命周期会一直存在，只有服务器关闭，这个客户端才会被关闭。

#### 2.3 AOF文件的伪客户端 ####

服务器在载入AOF文件时会创建用于执行AOF文件包含的Redis命令的伪客户端，在载入完成之后，关闭这个伪客户端。

[20190728232946472.png]: /images/20211116/62ae3105c051412f9f9a96e816f7664c.png
[querybuf]: /images/20211116/059f44596d494e75b8a16d23a256dee5.png
[argv_argc]: /images/20211116/893e90f9ab6b4fd6b43d0f4400799926.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L215dHRfMTA1NjY_size_16_color_FFFFFF_t_70]: /images/20211116/0319f52f46aa4b89813fb64b9dfd42db.png
[cms]: /images/20211116/55459b24c3cf4dc9b34bf84477f40b29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L215dHRfMTA1NjY_size_16_color_FFFFFF_t_70 1]: /images/20211116/e3272ef2d21240ffbe066c24b26b420c.png
[20190731094331381.png]: /images/20211116/0925d9fa708e4b9e9ca7eace8ec47c54.png
[clients]: /images/20211116/38ef7298b2334cff8d86f1ffcd7573cd.png