nginx介绍，流量及并发连接数限制，访问控制及ddos预防

绝地灬酷狼 2021-11-17 10:46 485阅读 0赞

本文来源于实验楼linux web运维（nginx）实战课程，原文链接：[https://www.shiyanlou.com/courses/95，][https_www.shiyanlou.com_courses_95]

对其进行总结回顾，如有侵权，私信删除。

**1.什么是nginx**

nginx是一款高性能的HTTP和反向代理服务器软件，下图是w3techs公布的全球网站服务器软件统计报告

**2.为什么选择nginx**  
Nginx 和 Apache 相同点：

同是HTTP服务器软件,都采用模块化结构设计  
支持通用语言接口,如PHP,Python等  
支持正向代理和反向代理  
支持虚拟主机及ssl加密传输  
支持缓存及压缩传输  
支持URL重写  
模块多,扩展性强  
多平台支持

**Nginx的优势**

轻量级 安装文件小 运行时CPU内存使用率低  
性能强 支持多核,处理静态文件效率高,内核采用的poll模型最大可以支持50K并发连接  
支持热部署 同时启动速度快,可以在不间断服务的情况下对软件和配置进行升级  
负载均衡 支持容错和健康检查  
代理功能强大 支持无缓存的反向代理,同时支持IMAP/POP3/SMTP的代理

**3.工作原理**  
Nginx由内核和一系列模块组成，内核提供web服务的基本功能,如启用网络协议,创建运行环境,接收和分配客户端请求,处理模块之间的交互。Nginx的各种功能和操作都由模块来实现。Nginx的模块从结构上分为核心模块、基础模块和第三方模块。

核心模块： HTTP模块、EVENT模块和MAIL模块  
基础模块： HTTP Access模块、HTTP FastCGI模块、HTTP Proxy模块和HTTP Rewrite模块  
第三方模块： HTTP Upstream Request Hash模块、Notice模块和HTTP Access Key模块及用户自己开发的模块  
这样的设计使Nginx方便开发和扩展，也正因此才使得Nginx功能如此强大。Nginx的模块默认编译进nginx中，如果需要增加或删除模块，需要重新编译Nginx,这一点不如Apache的动态加载模块方便。如果有需要动态加载模块，可以使用由淘宝网发起的web服务器Tengine，在nginx的基础上增加了很多高级特性，完全兼容Nginx，已被国内很多网站采用。

**4.nginx 处理连接过程**  
nginx 不会为每个连接派生进程或线程，而是由 worker 进程通过监听共享套接字接受新请求，并且使用高效的循环来处理数千个连接。Nginx 不使用仲裁器或分发器来分发连接，这个工作由操作系统内核机制完成。监听套接字在启动时就完成初始化，worker 进程通过这些套接字接受、读取请求和输出响应。

## master： ##

当 nginx 在启动后，会有一个 master 进程和多个 worker 进程。master进程主要用来管理worker进程，master 要做的就是：接收来自外界的信号，向各 worker 进程发送信号，监控 worker 进程的运行状态，当 worker 进程退出后(异常情况下)，会自动重新启动新的 worker 进程。

**主要完成如下工作：**

*  读取并验证配置信息；
 *  创建、绑定及关闭套接字；
 *  启动、终止 worker 进程及维护 worker 进程的个数；
 *  无须中止服务而重新配置工作；
 *  控制非中断式程序升级，启用新的二进制程序并在需要时回滚至老版本；
 *  重新打开日志文件；
 *  编译嵌入式 perl 脚本

**worker：**  
对于基本的网络事件，则是放在 worker 进程中来处理了。多个 worker 进程之间是对等的，他们同等竞争来自客户端的请求，各进程互相之间是独立的。一个请求，只可能在一个 worker 进程中处理，一个 worker 进程，不可能处理其它进程的请求（一对一）。然而 nginx 没有专门地仲裁或连接分布的 worker,这项工作是由操作系统内核机制完成的。在启动时,创建一组初始的监听套接字，HTTP 请求和响应之时，worker 连续接收、读取和写入套接字。

**worker 进程主要完成的任务包括：**

*  接收、传入并处理来自客户端的连接；
 *  提供反向代理及过滤功能；
 *  nginx 任何能完成的其它任务

## 举例说明一个完整请求如何通过互相协作来实现的 ##

既然 worker 进程之间是平等的，每个进程，处理请求的机会也是一样的。当我们提供 80 端口的 http 服务时，一个连接请求过来，每个进程都有可能处理这个连接。那么问题来了，到底最后怎样处理，是由什么决定的呢？首先，每个 worker 进程都是从 master 进程 fork 过来，在 master 进程里面，先建立好需要 listen 的 socket（listenfd）之后，然后再 fork 出多个 worker 进程。所有 worker 进程的 listenfd 会在新连接到来时变得可读，为保证只有一个进程处理该连接，所有 worker 进程会在注册 listenfd 读事件前抢 accept\_mutex，抢到互斥锁的那个进程注册 listenfd 读事件，然后在读事件里调用 accept 接受该连接。当一个 worker 进程在 accept 这个连接之后，就开始读取请求、解析请求、处理请求。产生数据后，再返回给客户端，最后才断开连接，这样一个完整的请求就是这样的了。我们可以看到：一个请求，完全由 worker 进程来处理，而且只在一个 worker 进程中处理。

也许你还有个疑问，那就是 nginx 采用多 worker 的方式来处理请求，每个 worker 里面只有一个主线程，那能够处理的并发数很有限啊，多少个 worker 就能处理多少个并发，何来高并发呢？然而，这就是 nginx 的高明之处，nginx 采用了异步非阻塞的方式来处理请求，也就是说，nginx 是可以同时处理成千上万个请求的。

## 异步非阻塞 ##

异步的概念是和同步相对的，也就是不同事件之间不是同时发生的。非阻塞的概念是和阻塞对应的，阻塞是事件按顺序执行，每一事件都要等待上一事件的完成，而非阻塞是如果事件没有准备好，这个事件可以直接返回，过一段时间再进行处理询问，这期间可以做其他事情。

**5.nginx 的优化**

*  tcp\_nodelay 配置 nginx  
    不要缓存数据，应该快速的发送小数据——这仅仅应该用于频繁发送小的碎片信息而无需立刻获取响应的、需要实时传递数据的应用中。
 *  keepalive\_timeout 指定了与客户端的 keep-alive  
    链接的超时时间。服务器会在这个时间后关闭链接。我们可以降低这个值，以避免让 worker 过长时间的忙碌。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]  
**2、logging setings**

*  access\_log 确定了 nginx 是否保存访问日志。将这个设置为关闭可以降低磁盘 IO 而提升速度。
 *  error\_log 设置 nginx 应当记录临界错误。
 *  ![在这里插入图片描述][20190730165823770.png]
 *  修改好配置文件以后，务必记得使用以下命令使配置文件生效。

> `sudo service nginx reload`

## 1）指令使用及配置修改 ##

我们需要在 http 的 server 中加一个 location,就好比之前我们做的简单的 echo 模块，格式为：

location /刚下好的测试文件夹/ {
        root /刚才下载测试文件的目录/;
        ...
        ...
        ...
        }

接下来就是调用命令实现流量限制。nginx 的模块中早就写好了对应的命令，我们只需要调用就好。  
实现流量限制由两个指令 limit\_rate 和 limit\_rate\_after 共同完成：

*  **limit\_rate**

语法: `limit_rate rate;`  
默认值: `limit_rate 0;`  
作用域: `http, server, location, if in location`  
命令概述：限制向客户端传送响应的速率限制。参数 rate 的单位是字节/秒，设置为 0 将关闭限速。 nginx 按连接限速，所以如果某个客户端同时开启了两个连接，那么客户端的整体速率是这条指令设置值的 2 倍。

*  **limit\_rate\_after**

语法: `limit_rate_after size;`  
默认值: `limit_rate_after 0;`  
作用域：`http, server, location, if in location`  
设置不限速传输的响应大小。当传输量大于此值时，超出部分将限速传送。  
作用范围：`http，server，location，if inlocation`  
要是想了解更多，这里有更加详细的命令信息`http://wiki.nginx.org/HttpCoreModule#limit_rate`  
讲了要使用的指令 我们接下来就实战配置  
这是小编实验时的配置（传输量限制为 3m，速率限制为 20k/s）：  
![在这里插入图片描述][20190730170216436.png]

## （2）配置之前与配置之后的测试 ##

接下来就是测试

wgethttp://本机地址/seven/seven.mp4

本机地址用 ifconfig 来查看，修改配置之前，速率没有限制：  
![在这里插入图片描述][20190730170321159.png]  
也许你已经发现配置之后刚开始的时候传输速度很高，因为，传输量大于设定值的部分才会受到限制。这就说明，我们两个命令都发挥了作用，这也就完成了我们第一个实战。

## 2.实现并发连接数限制的具体配置 ##

**（1）指令使用及配置文件修改**  
这个的配置是基于 ngx\_http\_limit\_zone\_module 模块的,要简单完成并发限制，我们要涉及到 limit\_conn\_zone 和 limit\_conn 这两个指令：

*  **limit\_conn\_zone**

语法： `limit_conn_zone zone_name $variable the_size`  
默认值： `no`  
作用域： `http`  
本指令定义了一个数据区，里面记录会话状态信息。 variable 定义判断会话的变量；the\_size 定义记录区的总容量。

*  **limit\_conn**

语法： `limit_conn zone_name the_size`  
默认值： `no`  
作用域： `http, server, location`  
指定一个会话最大的并发连接数。 当超过指定的最发并发连接数时，服务器将返回 “Service unavailable” (503)。  
配置示例：

http {
        limit_conn_zone   $binary_remote_addr  zone=one:10m;
        ...
        server {
            ...
            location /seven/ {
                limit_conn   one  1;
                .....
            }

*  定义一个叫“one”的记录区，总容量为 10M，以变量 $binary\_remote\_addr 作为会话的判断基准（即一个地址一个会话）。  
    限制 /seven/ 目录下，一个会话只能进行一个连接。 简单点，就是限制 /seven/ 目录下，一个 IP只能发起一个连接，多过一个，一律 503。
 *  你可以注意到了，在这里使用的是`$binary_remote_addr` 而不是 `$remote_addr`。`$remote_addr` 的长度为 7 至 15 bytes，会话信息的长度为 32 或 64 bytes。 而 `$binary_remote_addr` 的长度为 4 bytes，会话信息的长度为 32 bytes。 当 zone 的大小为 1M 的时候，大约可以记录 32000 个会话信息（一个会话占用32 bytes）。
 *  由于环境的原因这里没有办法测试只是让大家了解，限制并发连接数 nginx的对应模块的配置，如果大家有需要，可以进一步参照`http://wiki.nginx.org/HttpLimitZoneModule` 这里有更详细的讲解。

## 7.访问控制及 DDOS 预防 ##

## **1.访问控制配置** ##

基于各种原因，我们要进行访问控制。比如说，一般网站的后台都不能让外部访问，所以要添加 IP 限制，通常只允许公司的 IP 访问。访问控制就是指只有符合条件的 IP 才能访问到这个网站的某个区域。  
涉及模块：`ngx_http_access_module`  
模块概述：允许限制某些 IP 地址的客户端访问。  
对应指令：

*  **allow**

语法: `allow address | CIDR | unix: | all;`  
默认值: —  
作用域: `http, server, location, limit_except`  
允许某个 IP 或者某个 IP 段访问。如果指定 unix，那将允许 socket 的访问。注意：unix 在 1.5.1 中新加入的功能，如果你的版本比这个低，请不要使用这个方法。

*  **deny**  
    语法: `deny address | CIDR | unix: | all;`  
    默认值: —  
    作用域: `http, server, location, limit_except`  
    禁止某个 IP 或者一个 IP 段访问。如果指定 unix，那将禁止 socket 的访问。注意：unix 在 1.5.1 中新加入的功能，如果你的版本比这个低，请不要使用这个方法。  
    配置范例：
    
    >     location / {
    >         deny192.168.1.1;
    >         allow192.168.1.0/24;
    >         allow10.1.1.0/16;
    >         allow2001:0db8::/32;
    >         deny  all;
    >     }

规则按照顺序依次检测，直到匹配到第一条规则。 在这个例子里，IPv4 的网络中只有 10.1.1.0/16 和 192.168.1.0/24 允许访问，但 192.168.1.1 除外；对于 IPv6 的网络，只有 2001:0db8::/32 允许访问。

ngx\_http\_access\_module 配置允许的地址能访问，禁止的地址被拒绝。这只是很简单的访问控制，而在规则很多的情况下，使用 ngx\_http\_geo\_module 模块变量更合适。这个模块大家下来可以了解 : ngx\_http\_geo\_module

## **2.DDOS 预防配置** ##

DDOS 的特点是分布式，针对带宽和服务攻击，也就是四层流量攻击和七层应用攻击，相应的防御瓶颈四层在带宽，七层的多在架构的吞吐量。对于七层的应用攻击，我们还是可以做一些配置来防御的，使用 nginx 的 http\_limit\_conn 和 http\_limit\_req 模块通过限制连接数和请求数能相对有效的防御。

ngx\_http\_limit\_conn\_module 可以限制单个 IP 的连接数  
ngx\_http\_limit\_req\_module 可以限制单个 IP 每秒请求数

## **配置方法：** ##

**(1). 限制每秒请求数**  
涉及模块：ngx\_http\_limit\_req\_module  
通过漏桶原理来限制单位时间内的请求数，一旦单位时间内请求数超过限制，就会返回 503 错误。  
配置范例：

http {
        limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;
        ...
        server {
            ...
            location  ~ \.php$ {
                limit_req zone=one burst=5 nodelay;  
                   }
               }
         }

必要配置说明（上一部分解释过的就不再解释）：  
`$binary_remote_addr` 二进制远程地址  
`rate=10r/s`; 限制频率为每秒 10 个请求  
`burst=5` 允许超过频率限制的请求数不多于 5 个，假设 1、2、3、4 秒请求为每秒 9 个，那么第 5 秒内请求 15 个是允许的；反之，如果第一秒内请求 15 个，会将 5 个请求放到第二秒，第二秒内超过 10 的请求直接 503，类似多秒内平均速率限制。  
`nodelay` 超过的请求不被延迟处理，设置后 5（不延时）+10（延时）个请求在 1 秒内处理。（这只是理论数据，最多的情况）

**(2).限制 IP 连接数**  
上一章讲过，我们就直接写出来

http {
        limit_conn_zone $binary_remote_addr zone=addr:10m; //上面讲过
        ...
        server {
            ...
            location /操作目录/ {
                limit_conn addr 1;   
                    }
               }
         }

**(3).白名单设置**  
`http_limit_conn` 和 `http_limit_req` 模块限制了单 IP 单位时间内的连接和请求数，但是如果 `Nginx` 前面有 `lvs` 或者 `haproxy` 之类的负载均衡或者反向代理，`nginx` 获取的都是来自负载均衡的连接或请求，这时不应该限制负载均衡的连接和请求，就需要 `geo` 和 `map` 模块设置白名单：

geo $whiteiplist  {
            default 1;
            10.11.15.1610;
        }
    map $whiteiplist$limit {
            1$binary_remote_addr;
            0"";
        }

limit\_req\_zone $limit zone=one:10m rate=10r/s;  
limit\_conn\_zone $limit zone=addr:10m;  
`geo` 模块定义了一个默认值是 1 的变量 `whiteiplist`，当在 ip 在白名单中，变量 `whiteiplist` 的值为 0，反之为 1  
下面是设置的逻辑关系解释：

如果在白名单中–> whiteiplist=0 --> $limit="" --> 不会存储到 10m 的会话状态（one 或者 addr）中 --> 不受限制；  
反之，不在白名单中 --> whiteiplist=1 --> $limit=二进制远程地址 -->存储进 10m 的会话状态中 --> 受到限制。

## 3.动手测试 DDOS 预防配置 ##

下面我们就来测一下刚刚的配置是否起到了作用。  
1.安装所有测试所需的软件（源码安装 nginx，apt 安装 php5-fpm，apt 安装 apach-u） 为了便于修改配置文件，这里选择源码安装 nginx：

wget http://labfile.oss.aliyuncs.com/nginx-1.7.9.tar.gz

接下来编译安装

sudo apt-get install apache2-utils
    
    sudo apt-get install php5-fpm

安装好以后 分别启动 php5 和 nginx。

2.写一个测试的 php 文件，修改 nginx 配置文件，使其能正常访问。  
在/home/shiyanlou 目录下写一个 test.php,内容如下：  
![在这里插入图片描述][20190730173953945.png]  
nginx 配置文件修改：  
![在这里插入图片描述][20190730174006688.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]  
最后展示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]  
3.使用命令 ab 测试，修改配置文件前后（连接数和请求数分开测试）。  
什么都没修改之前：  
测试条件：  
![在这里插入图片描述][20190730174056613.png]  
测试结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]  
修改了配置文件图（记得重启 nginx）测试条件也要一样：  
![在这里插入图片描述][20190730174131329.png]  
![在这里插入图片描述][20190730174136186.png]  
最后测试结果图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]

[https_www.shiyanlou.com_courses_95]: https://www.shiyanlou.com/courses/95%EF%BC%8C
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]: /images/20211116/5f025804ca384a298511fabae12fe40f.png
[20190730165823770.png]: /images/20211116/7f94d71097744645b444ef6f5096b8eb.png
[20190730170216436.png]: /images/20211116/98ca487157894329b5969264037fb887.png
[20190730170321159.png]: /images/20211116/f0dc92d4b9b940a59e5d54ad8361831b.png
[20190730173953945.png]: /images/20211116/d01d0fa6c8564c59a09d20b16a43dee2.png
[20190730174006688.png]: /images/20211116/1f26459a78bb408dabc89d770c25db62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 1]: /images/20211116/51bf1f6265a041afac328cd5effca4d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 2]: /images/20211116/b6eb37e8bbe341e0a94fe32f642dddb7.png
[20190730174056613.png]: /images/20211116/c07e4b5a95d7401b8e79706b4224c4b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 3]: /images/20211116/f45e2c0f6e344a078b233cb95a7fe49a.png
[20190730174131329.png]: /images/20211116/09d7721d18014b48b8a08e7b217aa74a.png
[20190730174136186.png]: /images/20211116/e8d145675d8c4ad19a96430a06e254e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70 4]: /images/20211116/ca4d60cafd834f3ebae14e372e8eb346.png