Nginx模块—limit_req模块分析

左手的ㄟ右手 2022-05-27 11:58 429阅读 0赞

原文地址： http://cjhust.blog.163.com/blog/static/17582715720111017114121678/

## 1、命令简介 ##

http\{

limit\_req\_zone  $binary\_remote\_addr  zone=one:10m   rate=1r/s;

server \{

location /\{

limit\_req   zone=one  burst=5  nodelay;

### limit\_req\_zone ###

语法：limit\_req\_zone  $session\_variable  zone=name:size  rate=rate

默认值：none

上下文：http

命令解析：为session会话状态分配一个大小为size的内存存储区，限制了每秒（分、小时）只接受rate个IP的频率。

### limit\_req ###

语法：limit\_req  zone=name  burst=burst  \[nodelay\]

默认值：none

上下文：http、server、location

命令解析：该指令用于指定使用的内存存储区（zone）名称，以及最大的突发请求数（burse）。如果请求的速率超过了limit\_req\_zone指令中设置的速率，这些请求将被延迟处理，在这种情况下，请求获得服务不可用信息，返回503状态码。

## 2、相关结构体 ##

### ngx\_http\_limit\_req\_conf\_t ###

typedef struct \{

ngx\_shm\_zone\_t              \*shm\_zone;

ngx\_uint\_t                   burst;           //1等价于0.001r/s

ngx\_uint\_t                   limit\_log\_level;

ngx\_uint\_t                   delay\_log\_level;

ngx\_uint\_t                   nodelay;

\} ngx\_http\_limit\_req\_conf\_t;

备注：该结构用于存放limit\_req指令的相关信息。

### ngx\_http\_limit\_req\_node\_t ###

typedef struct \{

u\_char                       color;

u\_char                       dummy;

u\_short                      len;

ngx\_queue\_t                  queue;

ngx\_msec\_t                   last;

ngx\_uint\_t                    excess;          //1等价于0.001 r/s

u\_char                       data\[1\];

\} ngx\_http\_limit\_req\_node\_t;

备注：该结构用于存放每个客户端节点的相关信息。

### ngx\_http\_limit\_req\_shctx\_t ###

typedef struct \{

ngx\_rbtree\_t                  rbtree;

ngx\_rbtree\_node\_t             sentinel;

ngx\_queue\_t                  queue;

\} ngx\_http\_limit\_req\_shctx\_t;

备注：该结构体用于管理客户端节点信息，方式主要有队列和红黑树。

### ngx\_http\_limit\_req\_ctx\_t ###

typedef struct \{

ngx\_http\_limit\_req\_shctx\_t    \*sh;

ngx\_slab\_pool\_t             \*shpool;

ngx\_uint\_t                   rate;             //1等价于0.001 r/s

ngx\_int\_t                    index;

ngx\_str\_t                    var;

\} ngx\_http\_limit\_req\_ctx\_t;

备注：该结构用于存放limit\_req\_zone指令的相关信息。

### 结构体关系 ###

###  ###

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust -]

## 3、功能函数 ##

### 3.1 初始化ctx ###

#### ngx\_http\_limit\_req\_create\_conf(ngx\_conf\_t \*cf); ####

函数功能：创建limit\_req模块使用的结构体ngx\_http\_limit\_req\_conf\_t，并初始化。

#### ngx\_http\_limit\_req\_merge\_conf(ngx\_conf\_t \*cf, void \*parent, ####

void \*child);

函数功能：在location级别合并上级的配置，即server级别配置的limit\_req在location级别也是有效的。

#### ngx\_http\_limit\_req\_init(ngx\_conf\_t \*cf) ####

函数功能：将ngx\_http\_limit\_req\_handler添加到&cmcf->phases\[NGX\_HTTP\_PREACCESS\_PHASE\].handlers的处理数组中，即在nginx处理用户请求前调用ngx\_http\_limit\_req\_handler函数。

### 3.2 初始化commands ###

#### ngx\_http\_limit\_req\_zone(ngx\_conf\_t \*cf, ngx\_command\_t \*cmd, void \*conf) ####

typedef struct \{

ngx\_http\_limit\_req\_shctx\_t    \*sh;

ngx\_slab\_pool\_t             \*shpool;

ngx\_uint\_t                   rate;       //rate\*1000/scale

ngx\_int\_t                    index;      //存放$binary\_remote\_addr的index

ngx\_str\_t                    var;        //存放具体的$binary\_remote\_addr

\} ngx\_http\_limit\_req\_ctx\_t;

shm\_zone->init = ngx\_http\_limit\_req\_init\_zone;

shm\_zone->data = ctx;

函数功能：申请共享内存，并将limit\_req\_zone的配置参数放入到ngx\_http\_limit\_req\_ctx\_t结构中，并使用ngx\_http\_limit\_req\_init\_zone函数初始化sh和shpool。

#### ngx\_http\_limit\_req\_init\_zone(ngx\_shm\_zone\_t \*shm\_zone, void \*data) ####

函数功能：初始化共享内存，nginx使用共享内存的主要目的是进程间通信，并且可以在用户使用kill –HUP的时候，数据不被清零，即起到了数据累积的作用；

#### ngx\_http\_limit\_req(ngx\_conf\_t \*cf, ngx\_command\_t \*cmd, void \*conf) ####

typedef struct \{

ngx\_shm\_zone\_t              \*shm\_zone;

ngx\_uint\_t                   burst;

ngx\_uint\_t                   limit\_log\_level;

ngx\_uint\_t                   delay\_log\_level;

ngx\_uint\_t                   nodelay; /\* unsigned  nodelay:1 \*/

\} ngx\_http\_limit\_req\_conf\_t;

函数功能：对配置文件的limit\_req指令的参数进行解析，并将配置参数加入到结构体ngx\_http\_limit\_req\_conf\_t中。

### 3.2 数据handle ###

#### ngx\_http\_limit\_req\_handler(ngx\_http\_request\_t \*r) ####

函数功能：请求的处理函数。主要步骤如下所示：

（1）lrcf = ngx\_http\_get\_module\_loc\_conf(r, ngx\_http\_limit\_req\_module)，读取位置部分的配置到lrcf中；

（2）vv = ngx\_http\_get\_indexed\_variable(r, ctx->index)，根据索引得到变量值如$binary\_remote\_addr；

（3）ngx\_http\_limit\_req\_expire(ctx, 1)，删除too old的节点；

（4）rc=ngx\_http\_limit\_req\_lookup(lrcf, hash, vv->data, len, &excess)，查找客户端节点信息，并得到相应的状态信息如NGX\_BUSY、NGX\_AGAIN、NGX\_OK、NGX\_ DECLINED；

（5）根据rc的返回值，进行相应的处理；

#### ngx\_http\_limit\_req\_expire(ngx\_http\_limit\_req\_ctx\_t \*ctx, ngx\_uint\_t n) ####

函数功能：删除too old的节点。

#### ngx\_http\_limit\_req\_delay(ngx\_http\_request\_t \*r); ####

函数功能：延迟处理用户请求。

#### ngx\_http\_limit\_req\_lookup(ngx\_http\_limit\_req\_conf\_t \*lrcf…) ####

函数功能：通过红黑树查找用户节点，并对节点的两次访问间隔频率进行计算，返回NGX\_BUSY、NGX\_AGAIN、NGX\_OK、NGX\_ DECLINED共4种状态。

（1）NGX\_ DECLINED：节点不存在；

（2）NGX\_OK：该客户端访问频率未超过设定值；

（3）NGX\_AGAIN：该客户端访问频率超过了设定值，但是并未超过阈值（与burst有关）；

（4）NGX\_BUSY：该客户端访问频率超过了阈值；

备注：该函数是整个模块的核心，算法思想是令牌桶算法。令牌桶算法是网络流量整形（Traffic Shaping）和速率限制（Rate Limiting）中最常用的一种算法。典型情况下，令牌桶算法用来控制发送到网络上的数据数目，并允许突发数据的发送。

令牌桶这种控制机制基于令牌桶中是否存在令牌来指示什么时候可以发送流量。令牌桶中的每一个令牌都代表一个字节。如果令牌桶中存在令牌，则允许发送流量；如果令牌桶中不存在令牌，则不允许发送流量。因此，如果突发门限被合理地配置并且令牌桶中有足够的令牌，那么流量就可以以峰值速率发送。令牌桶算法的基本过程如下：

（1）假如用户配置的平均发送速率为10r/s，则每隔0.1秒一个令牌被加入到桶中；

（2）假设桶最多可以存发b个令牌。如果令牌到达时令牌桶已经满了，那么这个令牌会被丢弃；

（3）当一个n个字节的数据包到达时，就从令牌桶中删除n个令牌，并且数据包被发送到网络；

（4）如果令牌桶中少于n个令牌，那么不会删除令牌，并且认为这个数据包在流量限制之外；

（5）算法允许最长b个字节的突发，但从长期运行结果看，数据包的速率被限制成常量r。对于在流量限制外的数据包可以以不同的方式处理：

它们可以被丢弃；

它们可以排放在队列中以便当令牌桶中累积了足够多的令牌时再传输；

它们可以继续发送，但需要做特殊标记，网络过载的时候将这些特殊标记的包丢弃。

注意：令牌桶算法不能与另外一种常见算法“漏桶算法（Leaky Bucket）”相混淆。这两种算法的主要区别在于“漏桶算法”能够强行限制数据的传输速率，而“令牌桶算法”在能够限制数据的平均传输数据外，还允许某种程度的突发传输。在“令牌桶算法”中，只要令牌桶中存在令牌，那么就允许突发地传输数据直到达到用户配置的门限，因此它适合于具有突发特性的流量。

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust - 1]

tp = ngx\_timeofday();

now = (ngx\_msec\_t) (tp->sec \* 1000 + tp->msec);

ms = (ngx\_msec\_int\_t) (now - lr->last);

excess = lr->excess - ctx->rate \* ngx\_abs(ms) / 1000 + 1000;

//令牌桶算法：每来一个请求分配一个令牌1000

//rate\*ms = 1s内该请求所花的时间< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" />

//excess = 1s的余量

if (excess < 0) \{                                                       //频率很低

excess = 0;

\*ep = excess;

if ((ngx\_uint\_t) excess > lrcf->burst) \{               // 1s可以并发burst个请求

return NGX\_BUSY;

lr->excess = excess;

lr->last = now;

if (excess) \{

return NGX\_AGAIN;

return NGX\_OK;

#### ngx\_http\_limit\_req\_rbtree\_insert\_value (ngx\_rbtree\_node\_t \*temp, ngx\_rbtree\_node\_t \*node, ngx\_rbtree\_node\_t \*sentinel) ####

函数功能：通过红黑树结构插入节点。

## 5、流程图 ##

### 模块入口（ngx\_module\_t） ###

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust - 2]

ngx\_module\_t  ngx\_http\_limit\_req\_module 是整个模块的入口，它定义了它支持的指令入口和模块配置文件初始化的入口。

### 模块上下文（ngx\_http\_module\_t） ###

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust - 3]

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust - 4]

这个结构体的主要功能是用来创建三个部分（ main 、 server 、 location ）的配置和合并配置。主要包括以下几个函数：

（1）读入配置文件前调用；

（2）读入配置文件后调用；

（3）创建全局部分配置时调用；

（4）初始化全局部分配置时调用；

（5）创建主机部分配置时调用；

（6）与全局部分配置合并时调用；

（7）创建位置部分配置时调用；

（8）与主机部分配置合并时调用；

而在limit\_req模块我们关注的是（2）、（7）和（8）。模块的处理顺序是（7）\->（8）\->（2），create函数用来为特定的位置部分的配置结构体分配内存，merge函数用来设定默认值和与继承过来的配置合并，这个合并函数还要负责检验读入的数值是否有效，postconfig函数用来初始化处理函数。

在本模块中，create、merge函数的主要功能是：对模块的日志级别进行设置。

### 模块指令（ngx\_command\_t） ###

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust - 5]

![Nginx模块开发（10）—limit\_req模块分析 - cjhust - 我一直在努力][Nginx_10_limit_req_ - cjhust - 6]

ngx\_http\_limit\_req\_zone的主要功能：

（1）解析配置文件的命令参数：name、size（K/M）、scale（r/s、r/m）、rate；

（2）申请配置文件空间ngx\_http\_limit\_req\_ctx\_t，填充参数；

（3）申请共享内存，并初始化ngx\_http\_limit\_req\_init\_zone；

shm\_zone->init = ngx\_http\_limit\_req\_init\_zone;

shm\_zone->data = ctx;

[Nginx_10_limit_req_ - cjhust -]: http://img7.ph.126.net/pu6xOZQ5w8K4TrjUflJ5wQ==/1133499731230893367.png
[Nginx_10_limit_req_ - cjhust - 1]: http://img4.ph.126.net/4RYrJpcP81B2j0AHdNQJ0g==/1278459344236883484.png
[Nginx_10_limit_req_ - cjhust - 2]: http://img3.ph.126.net/w9wB0uTH0lGKu8HF1HIvhQ==/2387189277500157443.png
[Nginx_10_limit_req_ - cjhust - 3]: http://img9.ph.126.net/zxWiYaEfFoIwEF32DnuoNg==/1564719395551622849.png
[Nginx_10_limit_req_ - cjhust - 4]: http://img1.ph.126.net/xubK-fL9E8BMx-XGTs1pdg==/1564719395551622851.png
[Nginx_10_limit_req_ - cjhust - 5]: http://img4.ph.126.net/0Y2R3JGusnBfPsuOJCXAvA==/2543689364551282374.png
[Nginx_10_limit_req_ - cjhust - 6]: http://img8.ph.126.net/Z30nuhGpbZAHL4whLWP9og==/30399297501833308.png