Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布

爱被打了一巴掌 2022-02-14 09:46 139阅读 0赞

# [Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布][Nginx] #

一、Nginx安装（基于CentOS 6.5）

1.yum命令安装

yum install nginx –y  
(若不能安装，执行命令yum install epel-release)

2. 启动、停止和重启

service nginx start  
service nginx stop  
service nginx restart  
浏览器中 输入服务器的 ip 地址，即可看到相应信息

3. 其他信息

rpm -ql nginx 来查看安装路径  
yum remove nginx 来卸载   
nginx -s reload 配置热更新

二、Nginx负载均衡配置（/etc/nginx/nginx.conf）

1.  负载均衡配置

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 </td> 
 <td> <code>http { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>……</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>upstream real_server { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>server 192.168.103.100:2001 weight=1;&nbsp;&nbsp;</code><code>#轮询服务器和访问权重</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>server 192.168.103.100:2002 weight=2;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>server { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>listen&nbsp; 80;</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>location / { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_pass http:</code><code>//real_server</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

2.失败重试配置

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>upstream real_server { </code> <code>&nbsp;&nbsp;&nbsp;</code><code>server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s;</code> <code>&nbsp;&nbsp;&nbsp;</code><code>server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

意思是在fail\_timeout时间内失败了max\_fails次请求后，则认为该上游服务器不可用，然后将该服务地址踢除掉。fail\_timeout时间后会再次将该服务器加入存活列表，进行重试。

三、Nginx限流配置

1.  配置参数

limit\_req\_zone指令设置参数

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r</code><code>/s</code><code>;</code> </td> 
 </tr> 
 </tbody> 
</table>

1）limit\_req\_zone定义在http块中，$binary\_remote\_addr表示保存客户端IP地址的二进制形式。  
2）Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字，以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB，所以示例中区域可以存储160000个IP地址。  
3）Rate定义最大请求速率。示例中速率不能超过每秒10个请求。

2.设置限流

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 </td> 
 <td> <code>location / { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>limit_req zone=mylimit burst=20 nodelay;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_pass http:</code><code>//real_server</code><code>;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

burst排队大小，nodelay不限制单个请求间的时间

3.不限流白名单

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 </td> 
 <td> <code>geo $limit { </code> <code>default&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1;</code> <code>192.168.2.0</code><code>/24</code>&nbsp;&nbsp;<code>0;</code> <code>}</code> &nbsp; <code>map $limit $limit_key { </code> <code>1 $binary_remote_addr;</code> <code>0&nbsp;</code><code>""</code><code>;</code> <code>}</code> &nbsp; <code>limit_req_zone $limit_key zone=mylimit:10m rate=1r</code><code>/s</code><code>;</code> &nbsp; <code>location / { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>limit_req zone=mylimit burst=1 nodelay;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_pass http:</code><code>//real_server</code><code>;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

上述配置中，192.168.2.0/24网段的IP访问是不限流的，其他限流。

IP后面的数字含义：

24表示子网掩码:255.255.255.0

16表示子网掩码:255.255.0.0

8表示子网掩码:255.0.0.0

四、Nginx缓存配置

1.  浏览器缓存

静态资源缓存用expire

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 </td> 
 <td> <code>location ~*&nbsp; .(jpg|jpeg|png|gif|ico|css|js)$ { </code> <code>&nbsp;&nbsp;&nbsp;</code><code>expires 2d;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

Response Header中添加了Expires和Cache-Control

静态资源包括（一般缓存）

1）普通不变的图像，如logo，图标等  
2）js、css静态文件  
3）可下载的内容，媒体文件

协商缓存（add\_header ETag/Last-Modified value）

1）HTML文件  
2）经常替换的图片  
3）经常修改的js、css文件  
4）基本不变的API接口

不需要缓存

1）用户隐私等敏感数据

2）经常改变的api数据接口

2.代理层缓存

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 </td> 
 <td> <code>//</code><code>缓存路径，inactive表示缓存的时间，到期之后将会把缓存清理</code> <code>proxy_cache_path&nbsp;</code><code>/data/cache/nginx/</code>&nbsp;<code>levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;</code> &nbsp; <code>location / { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>location ~ \.(htm|html)?$ { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_cache cache;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_cache_key&nbsp;&nbsp;&nbsp; $uri$is_args$args;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>//</code><code>以此变量值做HASH，作为KEY</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>//HTTP</code><code>响应首部可以看到X-Cache字段，内容可以有HIT,MISS,EXPIRES等等</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>add_header X-Cache $upstream_cache_status;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_cache_valid 200 10m;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_cache_valid any 1m;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_pass&nbsp; http:</code><code>//real_server</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_redirect&nbsp;&nbsp;&nbsp;&nbsp; off;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>root&nbsp;</code><code>/data/webapps/edc</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>expires&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3d;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>add_header Static Nginx-Proxy;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

在本地磁盘创建一个文件目录，根据设置，将请求的资源以K-V形式缓存在此目录当中，KEY需要自己定义（这里用的是url的hash值），同时可以根据需要指定某内容的缓存时长，比如状态码为200缓存10分钟，状态码为301，302的缓存5分钟，其他所有内容缓存1分钟等等。  
        可以通过purger的功能清理缓存。  
        AB测试/个性化需求时应禁用掉浏览器缓存。

五、Nginx黑名单

1.一般配置

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 </td> 
 <td> <code>location / { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>deny&nbsp; 192.168.1.1;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>deny 192.168.1.0</code><code>/24</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>allow 10.1.1.0</code><code>/16</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>allow 2001:0db8::</code><code>/32</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>deny&nbsp; all;</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

2. Lua+Redis动态黑名单(OpenResty)

1）安装运行

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 </td> 
 <td> <code>yum&nbsp;</code><code>install</code>&nbsp;<code>yum-utils</code> <code>yum-config-manager --add-repo https:</code><code>//openresty</code><code>.org</code><code>/package/centos/openresty</code><code>.repo</code> <code>yum&nbsp;</code><code>install</code>&nbsp;<code>openresty</code> <code>yum&nbsp;</code><code>install</code>&nbsp;<code>openresty-resty</code> <code>查看</code> <code>yum --disablerepo=</code><code>"*"</code>&nbsp;<code>--enablerepo=</code><code>"openresty"</code>&nbsp;<code>list available</code> <code>运行</code> <code>service openresty start</code> </td> 
 </tr> 
 </tbody> 
</table>

2) 配置(/usr/local/openresty/nginx/conf/nginx.conf)

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 </td> 
 <td> <code>lua_shared_dict ip_blacklist 1m;</code> &nbsp; <code>server { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>listen&nbsp; 80;</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>location / { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>access_by_lua_file lua</code><code>/ip_blacklist</code><code>.lua;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>proxy_pass http:</code><code>//real_server</code><code>;</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>}</code> <code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

**lua脚本（ip\_blacklist.lua）**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 </td> 
 <td> <code>local redis_host&nbsp;&nbsp;&nbsp; =&nbsp;</code><code>"192.168.1.132"</code> <code>local redis_port&nbsp;&nbsp;&nbsp; =&nbsp;</code><code>6379</code> <code>local redis_pwd&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;</code><code>123456</code> <code>local redis_db =&nbsp;</code><code>2</code> &nbsp; <code>-- connection timeout&nbsp;</code><code>for</code>&nbsp;<code>redis&nbsp;</code><code>in</code>&nbsp;<code>ms.</code> <code>local redis_connection_timeout =&nbsp;</code><code>100</code> &nbsp; <code>-- a&nbsp;</code><code>set</code>&nbsp;<code>key&nbsp;</code><code>for</code>&nbsp;<code>blacklist entries</code> <code>local redis_key&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;</code><code>"ip_blacklist"</code> &nbsp; <code>-- cache lookups&nbsp;</code><code>for</code>&nbsp;<code>this</code>&nbsp;<code>many seconds</code> <code>local cache_ttl&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;</code><code>60</code> &nbsp; <code>-- end configuration</code> &nbsp; <code>local ip&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = ngx.</code><code>var</code><code>.remote_addr</code> <code>local ip_blacklist&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; = ngx.shared.ip_blacklist</code> <code>local last_update_time&nbsp; = ip_blacklist:</code><code>get</code><code>(</code><code>"last_update_time"</code><code>);</code> &nbsp; <code>-- update ip_blacklist from Redis every cache_ttl seconds:</code> <code>if</code>&nbsp;<code>last_update_time == nil or last_update_time &lt; ( ngx.now() - cache_ttl ) then</code> &nbsp; <code>&nbsp;&nbsp;</code><code>local redis = require&nbsp;</code><code>"resty.redis"</code><code>;</code> <code>&nbsp;&nbsp;</code><code>local red = redis:</code><code>new</code><code>();</code> &nbsp; <code>&nbsp;&nbsp;</code><code>red:set_timeout(redis_connect_timeout);</code> &nbsp; <code>&nbsp;&nbsp;</code><code>local ok, err = red:connect(redis_host, redis_port);</code> <code>&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>not ok then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;</code><code>"Redis connection error while connect: "</code>&nbsp;<code>.. err);</code> <code>&nbsp;&nbsp;</code><code>else</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local ok, err = red:auth(redis_pwd)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>not ok then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;</code><code>"Redis password error while auth: "</code>&nbsp;<code>.. err);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>local new_ip_blacklist, err = red:smembers(redis_key);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>err then</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;</code><code>"Redis read error while retrieving ip_blacklist: "</code>&nbsp;<code>.. err);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>else</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;</code><code>"Get data success:"</code>&nbsp;<code>.. new_ip_blacklist)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>-- replace the locally stored ip_blacklist&nbsp;</code><code>with</code>&nbsp;<code>the updated values:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ip_blacklist:flush_all();</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>index, banned_ip&nbsp;</code><code>in</code>&nbsp;<code>ipairs(new_ip_blacklist)&nbsp;</code><code>do</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ip_blacklist:</code><code>set</code><code>(banned_ip,&nbsp;</code><code>true</code><code>);</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>-- update time</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>ip_blacklist:</code><code>set</code><code>(</code><code>"last_update_time"</code><code>, ngx.now());</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>end</code> <code>&nbsp;&nbsp;</code><code>end</code> <code>end</code> &nbsp; <code>if</code>&nbsp;<code>ip_blacklist:</code><code>get</code><code>(ip) then</code> <code>&nbsp;&nbsp;</code><code>ngx.log(ngx.ERR,&nbsp;</code><code>"Banned IP detected and refused access: "</code>&nbsp;<code>.. ip);</code> <code>&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>ngx.exit(ngx.HTTP_FORBIDDEN);</code> <code>end</code> </td> 
 </tr> 
 </tbody> 
</table>

六、Nginx灰度发布

1.  根据Cookie实现灰度发布

根据Cookie查询version值，如果该version值为v1转发到host1，为v2转发到host2，都不匹配的情况下转发默认。

2. 根据来路IP实现灰度发布

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 </td> 
 <td> <code>server { </code> <code>&nbsp;&nbsp;</code><code>……………</code> <code>&nbsp;&nbsp;</code><code>set</code>&nbsp;<code>$group default;</code> <code>&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>($remote_addr ~&nbsp;</code><code>"192.168.119.1"</code><code>) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>set</code>&nbsp;<code>$group host1;</code> <code>&nbsp;&nbsp;</code><code>}</code> <code>&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>($remote_addr ~&nbsp;</code><code>"192.168.119.2"</code><code>) { </code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>set</code>&nbsp;<code>$group host2;</code> <code>&nbsp;&nbsp;</code><code>}</code> </td> 
 </tr> 
 </tbody> 
</table>

3. 更细粒度灰度发布

[Nginx]: https://www.cnblogs.com/devinzhang/p/7735397.html