分布式应用Nginx配置详解

野性酷女 2022-12-10 15:54 230阅读 0赞

### 分布式应用Nginx配置详解 ###

*  Nginx基本介绍
 *  Nginx安装
 *   *  安装依赖
     *  安装openssl
     *  安装pcre
     *  安装zlib
     *  安装Nginx
 *  Nginx负载均衡
 *   *  负载均衡配置
     *  失败重试配置
 *  Nginx限流配置
 *   *  限流配置参数
     *  Nginx限流设置
     *  限流白名单
 *  Nginx缓存配置
 *   *  浏览器缓存
     *  代理层缓存
 *  Nginx黑白名单
 *   *  普通配置
     *  动态黑白名单
 *  Nginx灰度发布
 *   *  根据Cookie实现灰度发布
     *  根据IP实现灰度发布

# Nginx基本介绍 #

*  分布式**Nginx**配置可以实现:
    
     *  **负载均衡**
     *  **限流配置**
     *  **缓存**
     *  **黑白名单**
     *  **灰度发布**

# Nginx安装 #

*  在**CentOS**环境下安装**Nginx**

## 安装依赖 ##

yum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl openssl-devel gcc* libxml2 libxml2-devel libjpeg* libpng* freetype* autoconf automake zlib* fiex* libxml* libmcrypt* libtool-ltdl-devel* libaio libiao-devel bzr libtool

## 安装openssl ##

wget https://www.openssl.org/source/openssl-1.0.2s.tar.gz
    tar -zxvf openssl-1.0.2s.tar.gz
    cd /usr/local/src/openssl-1.0.2s
    ./configure --prefix=/usr/local/openssl-1.0.2s
    make
    make install

## 安装pcre ##

wget https://ftp.pcre.org/pub/pcre/pcre-8.43.tar.gz
    tar -zxvf pcre-8.43.tar.gz
    cd /usr/local/src/pcre-8.43
    ./configure --prefix=/usr/local/pcre-8.43
    make
    make install

## 安装zlib ##

wget https://sourceforge.net/projects/libpng/files/zlib/1.2.11/zlib-1.2.11.tar.gz
    tar -zxvf zlib-1.2.11.tar.gz
    cd /usr/local/src/zlib-1.2.11
    ./configure --prefix=/usr/local/zlib-1.2.11
    make
    make install

## 安装Nginx ##

*  安装**Nginx**时,需要指定**openssl, pcre, zlib**的源码解压目录
 *  安装完成后**Nginx**配置文件的完整路径 **: usr/local/nginx-1.17.2/conf/nginx.conf**

wget https://nginx.org/download/nginx-1.17.2.tar.gz
    tar -zxvf nginx-1.17.2.tar.gz
    cd /usr/local/src/nginx-1.17.2
    ./configure --prefix=/usr/local/nginx-1.17.2 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_ssl_module
    make
    make install

# Nginx负载均衡 #

## 负载均衡配置 ##

http {
    	...
    	upstream servers {
    		# 配置轮询服务器和权重
    		server 192.168.6.66:6000 weight=1;
    		server 192.168.6.66:6001 weight=2;
    	}
    
    	server {
    		listen 80;
    		location / {
    			proxy_pass http://servers;
    		}
    	}
    }

## 失败重试配置 ##

upstream servers {
    	server 192.168.6.66:6001 weight=1 max_fails=2 fail_timeout=60s;
    	server 192.168.6.66:6002 weight=2 max_fails=2 fail_timeout=60s;
    }

*  在**fail\_timeou**t时间内失败了**max\_fails**次请求后,就认为该上游服务器不可用,然后将该服务地址剔除服务器列表
 *  在**fail\_timeout**时间后会再次将该服务地址加入服务器列表,进行重试

# Nginx限流配置 #

## 限流配置参数 ##

*  **限流配置指令设置参数:** limit\_req\_zone

limit_req_zone $binary_remote_addr zone=customelimit:10m rate=10r/s;

*  **limit\_req\_zone :** 定义在**http**块中
    
     *  **$binary\_remote\_addr :** 表示保存客户端**IP**地址的二进制形式
     *  **zone :** 定义**IP**状态以及**URL**访问频率的共享内存区域
        
         *  **zone=keyword :** 标识区域的名称,冒号后面标识区域的大小 **. 1MB**大约可以存储**16000**个**IP**地址的状态信息,所以这里区域可以存储**160000**个**IP**地址的状态信息
     *  **Rate :** 定义最大请求速率. 这里的速率不能超过每秒**10**个请求

## Nginx限流设置 ##

location / {
    	limit_req zone=customelimit burst=20 nodelay;
    	proxy_pass http://servers;
    }

*  **burst:** 排队大小
 *  **nodelay:** 不限制单个请求间的时间

## 限流白名单 ##

geo $limit {
    	default	1;
    	192.168.2.0/24	0;
    }
    
    map $limit $limit_key {
    	1	$binary_remote_addr;
    	0	"";
    }
    
    limit_req_zone $limit_key zone=customelimit:10m rate=1r/s;
    
    location / {
    	limit_req zone=customelimit burst=1 nodelay;
    	proxy_pass http://servers;
    }

*  这里配置192.168.2.0/24网段的IP地址为限流白名单,访问是不限流的,其余的网段限流

# Nginx缓存配置 #

## 浏览器缓存 ##

*  静态资源缓存使用**expires :**

location ~* .(jpg|jpeg|png|gif|ico|css|js)$ {
    	expires 2d;
    }

*  **Response Header**中添加了**Expires**和**Cache-Control**
 *  **静态资源缓存:**
    
     *  普通不变的图像. 比如logo,图标等
     *  js,css静态文件
     *  可下载的内容,媒体文件
 *  **协商缓存:** add\_header ETag或者Last-Modified value
    
     *  HTML文件
     *  经常替换的图片
     *  经常修改的js,css文件
     *  基本不变的API接口
 *  **不需要缓存的数据:**
    
     *  用户隐私等敏感数据
     *  经常改变的API数据接口

## 代理层缓存 ##

# 缓存路径, inactive表示缓存的时间,到期之后将会将缓存清理
    proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive=1d max_size=8g;
    
    location / {
    	location ~ \.(htm|html)?$ {
    		proxy_cache cache;
    		# 将该变量值做hash,作为key
    		proxy_cache_key $uri$is_args$args;
    		# HTTP响应头部可以看到X-Cache字段,内容可以有HIT,MISS,EXPIRES等等
    		add_header X-Cache $upstream_cache_status;
    		proxy_cache_valid 200 10m;
    		proxy_cache_valid any 1m;
    		proxy_pass http://servers;
    		proxy_redirect off;
    	}	
    
    	location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
    		root /data/webapps/edc;
    		expires 3d;
    		add_header Static Nginx_Proxy;
    	}
    }

*  在本地磁盘创建一个文件目录,根据设置,将请求的资源以**key-value**形式缓存在这个文件目录中
    
     *  **key**需要定义,这里使用的是**url**的**hash**值
     *  同时可以根据需要指定某缓存内容的缓存时长
        
         *  状态码200缓存10分钟
         *  状态码301,302缓存5分钟
         *  其余内容缓存1分钟
 *  可以通过**purger**功能清理缓存
 *  在AB测试或者个性化需求时应该禁用浏览器缓存

# Nginx黑白名单 #

## 普通配置 ##

location / {
    	deny 192.168.1.1;
    	deny 192.168.1.0/24;
    	allow 10.1.1.0/16;
    	allow 2001:0db8::/32;
    	deny all;
    }

## 动态黑白名单 ##

*  使用**OpenResty**实现**Lua+Redis**动态黑白名单配置
 *  **OpenResty的安装与启动:**

yum install yum-utils
    yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
    yum install openresty
    yum install openresty-resty
    # 查看openresty是否安装成功
    yum --disablerepo="*" --enablerepo="openresty" list available
    # 运行openresty
    service openresty start

*  **OpenResty**的**nginx**配置: /usr/local/openresty/nginx/conf/nginx.conf

lua_shared_dict ip_blacklist 1m;
    
    server {
    	listen 80;
    
    	location / {
    		access_by_lua_file lua/ip_blackList.lua;
    		proxy_pass http://servers;
    	}
    }

*  **lua脚本:** ip\_blacklist.lua

local redis_host = "192.168.1.132"
    local redis_port = 6379
    local redis_pwd = 123456
    local redis_db = 2
    
    -- 连接超时时间 ms
    local redis_connection_timeout = 100
    
    -- 设置黑名单键
    local redis_key = "ip_blacklist"
    
    -- 缓存查找时间 s
    local cache_ttl = 60
    -- Redis配置结束
    
    local ip = ngx.var.remote_addr
    local ip_blacklist = ngx.shared.ip_blacklist
    local last_update_time = ip_blacklist:get("last_update_time")
    
    -- 每次缓存查找时间之后从缓存Redis中更新黑名单ip_blackList
    if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then
    	local redis = require "resty.redis";
    	local red = redis:new();
    	
    	redis:set_timeout(redis_connect_timeout);
    
    	local ok, err = red:connect(redis_host, redis_port);
    	if not ok then 
    		ngx.log(ngx.ERR, "Redis connection error while connect:" .. err);
    	else 
    		local ok, err = red:auth(redis_pwd)
    		if not ok then
    			ngx.log(ngx.ERR, "Redis password error while auth:" ... err);
    		else 
    			local new_ip_blacklist, err = red:smembers(redis_key);
    			if err then
    				ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist" ... err);
    			else
    				ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist);
    				-- 使用更新的黑名单值new_ip_blacklist替换本地存储的黑名单值ip_blacklist
    				ip_blacklist:flush_all();
    				for index, banned_ip in ipairs(new_ip_blacklist) do
    				ip_blacklist:set(banned_ip, true);
    				end
    				-- 记录更新时间
    				ip_blacklist:set("last_update_time", ngx.now());
    			end
    		end
    	end
    end
    
    if ip_blacklist:get(ip) then
    	ngx.log(ngx.ERR, "Banned IP detected and refused access:" ... ip);
    	return ngx.exit(ngx.HTTP_FORBIDDEN);
    end

# Nginx灰度发布 #

## 根据Cookie实现灰度发布 ##

*  根据**Cookie**查询**version**值:
    
     *  如果**version**值为**v1**则转发到**host1**
     *  如果**version**值为**v2**则转发到**host2**
     *  如果**version**值都没有匹配则转发到默认配置

upstream host1 {
    	server 192.168.2.46:2001 weight = 1;
    	server 192.168.2.46.2003 weight = 2;
    }
    
    upstream host2 {
    	server 192.168.1.155:1111 max_fails = 1 fail_timeout = 60;
    }
    
    upstream default {
    	server 192.168.1.153:1111 max_fails = 1 fail_timeout = 60;
    }
    
    map $COOKIE_version $group {
    	~*v1$ host1;
    	~*v2$ host2;
    	default default;
    }
    
    lua_shared_dict ip_blacklist 1m;
    
    server {
    	listen 80;
    
    	# set $group "dafault";
    	# if ($http_cookie ~* "version=v1") {
    	#		set $group host1;
    	# } 
    	# if ($http_cookie ~* "version=v2") {
    	# 		set $group host2;	
    	# }
    	location / {
    		access_by_lua_file lua/ip_blacklist.lua;
    		proxy_pass http://$group;
    	}
    }

## 根据IP实现灰度发布 ##

server {
    	listen 80;
    	set $group "dafault";
    	if ($remote_addr ~ "192.168.119.1") {
    		set $group host1;
    	}
    	if ($remote_addr ~ "192.168.119.2") {
    		set $group host2;
    	}
    }