使用OpenResty实现商城首页广告缓存与读取

蔚落 2022-11-27 08:56 134阅读 0赞

# 使用OpenResty实现商城首页广告缓存与读取 #

## 1.广告缓存 ##

### (1)首页的访问量比较高，如果每次都从数据库加载，会导致数据库的压力非常大，所以我们一般会使用缓存 ###

定义请求，用户根据广告分类的ID 加载广告的列表。通过lua脚本存入redis中

> http://192.168.42.197:10010/update\_content?id=1

### (2) 我们编写一个lua脚本,实现上述功能 ###

--设置响应头类型
    ngx.header.content_type="application/json;charset=utf8"
    
    --引入json
    local cjson=require("cjson")
    
    --获取请求中的id参数
    local uri_args=ngx.req.get_uri_args()
    local id=uri_args["id"]
    
    --引入mysql
    local mysql=require("resty.mysql")
    local db=mysql:new()
    db:set_timeout(1000)
    local props={
    	host="192.168.43.197",
    	port=3306,
    	database="shop_content",
    	user="root",
    	password="1234"
    }
    
    
    local res=db:connect(props)
    local select_sql = "select url,pic from tb_content where status ='1' and category_id="..id.." order by sort_order"
    
    res=db:query(select_sql)
    db:close()
    
    --引入redis
    local redis=require("resty.redis")
    local red=redis:new()
    red:set_timeout(2000)
    local ip="192.168.43.197"
    local port=6379
    red:connect(ip,port)
    red:set("content_"..id,cjson.encode(res))
    red:close()
    
    --输出到返回响应中
    ngx.say("{flag:true}")

将该lua脚本命名为update\_content.lua

### (3) 将该lua脚本传到linux的root目录下 ###

### (4) 修改ngnix的配置文件 ###

> \[root@localhost ~\]\# vi /usr/local/openresty/nginx/conf/nginx

server {
            listen       10010;
            server_name  localhost;
             #charset koi8-r;
    
        #access_log  logs/host.access.log  main;
    
        location / {
            root   html;
            index  index.html index.htm;
        }
        
        #访问此链接，会运行此位置的lua脚本
        location /update_content {
            content_by_lua_file  /root/update_content.lua;
        }
     }

### (5)重启nginx ###

> \[root@localhost nginx\]\# /usr/local/openresty/nginx/sbin/nginx -s reload

### (6)postman测试 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center]

redis中

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 1]

# 2.读取 #

### (1)从redis中获取数据 ###

定义请求，用户根据广告分类的ID 获取广告的列表。通过lua脚本直接从redis中获取数据即可

> http://192.168.42.197:10010/read\_content?id=1

### (2)编写read\_content.lua脚本 ###

--设置响应头类型
    ngx.header.content_type="application/json;charset=utf8"
    
    --获取请求中的参数ID
    local uri_args=ngx.req.get_uri_args();
    local id=uri_args["id"];
    
    --引入redis库
    local redis=require("resty.redis");
    --创建redis对象
    local red=redis:new()
    --设置超时时间
    red:set_timeout(2000)
    --连接
    local ok,err=red:connect("192.168.43.197",6379)
    --获取key的值
    local rescontent=red:get("content_"..id)
    --关闭连接
    red:close()
    --输出到返回响应中
    ngx.say(rescontent)

### (3) 将该脚本传入linux的root目录下 ###

### (4)修改nginx的配置文件 ###

> \[root@localhost ~\]\# vi /usr/local/openresty/nginx/conf/nginx

#定义lua缓存命名空间
    lua_shared_dict dis_cache 128m;		
    
    server {
         	listen       10010;
            server_name  localhost;
            #charset koi8-r;
    		#access_log  logs/host.access.log  main;
    
    		location / {
        	root   html;
        	index  index.html index.htm;
    		}
    
    		#访问此链接，会运行此位置的lua脚本
    		location /update_content {
        	content_by_lua_file  /root/update_content.lua;
    		}
    		
    		#访问此链接，会运行此位置的lua脚本
    		location /read_content {
        	content_by_lua_file  /root/read_content.lua;
    		}
    }

### (5)重启nginx ###

> \[root@localhost nginx\]\# /usr/local/openresty/nginx/sbin/nginx -s reload

### (6)postman测试 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 2]

# 3.读取(多级缓存) #

在实际项目中，如果我们只使用一个redis作为缓存的话，用户大量访问，redis的压力也会很大，所以我们常常会使用多级缓存。

### (1)流程分析 ###

> 先去openResty本地缓存，如果没有
> 
> 去redis，如果没有
> 
> 去mysql

### (2)编写read\_content.lua脚本 ###

--设置响应头类型
    ngx.header.content_type="application/json;charset=utf8"
    
    --获取请求中的参数ID
    local uri_args=ngx.req.get_uri_args();
    local id=uri_args["id"];
    
    --获取本地缓存
    local cache_ngx=ngx.shared.dis_cache;
    --获取id对应的数据
    local contentCache=cache_ngx:get("content_cache_"..id);
    
    if contentCache=="" or contentCache==nil
    then
    	--引入redis库
    	local redis=require("resty.redis");
    	--创建redis对象
    	local red=redis:new()
    	--设置超时时间
    	red:set_timeout(2000)
    	--连接
    	local ok,err=red:connect("192.168.43.197",6379)
    	--获取key的值
    	local rescontent=red:get("content_"..id);
    	if ngx.null==rescontent
    	then
            --redis中也没有数据，访问mysql
            local cjson=require("cjson");
            local mysql=require("resty.mysql");
            local db=mysql:new();
            db:set_timeout(2000)
            local props={
                host="192.168.43.197",
                port=3306,
                database="shop_content",
                user="root",
                password="1234"
            }
            local res=db:connect(props);
            local select_sql = "select url,pic from tb_content where status ='1' and 					category_id="..id.." order by sort_order";
            res=db:query(select_sql);
            local responsejson=cjson.encode(res);
            --将查询到的数据存入redis中
            red:set("content_"..id,responsejson);
            --返回响应
            ngx.say(responsejson);
            db:close()
    	else
            --将redis中数据放入nginx缓存
            cache_ngx:set("content_cache_"..id,rescontent,10*60);
            ngx.say(rescontent)
    	end
            red:close()
    else
    	ngx.say(contentCache)
    end

### (3) 将该脚本传入linux的root目录下 ###

### (4)修改nginx的配置文件 ###

> \[root@localhost ~\]\# vi /usr/local/openresty/nginx/conf/nginx

#定义lua缓存命名空间
    lua_shared_dict dis_cache 128m;		
    
    server {
         	listen       10010;
            server_name  localhost;
            #charset koi8-r;
    		#access_log  logs/host.access.log  main;
    	
    	location / {
    		root   html;
    		index  index.html index.htm;
    	}
    
    	#访问此链接，会运行此位置的lua脚本
    	location /update_content {
    		content_by_lua_file  /root/update_content.lua;
    	}
    	
    	#访问此链接，会运行此位置的lua脚本
    	location /read_content {
    		content_by_lua_file  /root/read_content.lua;
    	}
    }

### (5)重启nginx ###

> \[root@localhost nginx\]\# /usr/local/openresty/nginx/sbin/nginx -s reload

# 4.nginx限流 #

### (1)限制请求处理速度（漏桶算法） ###

实际就是限制一秒内能够处理请求数量，其余的请求拒绝

> \[root@localhost ~\]\# vi /usr/local/openresty/nginx/conf/nginx \#修改nginx的配置文件

>     #定义lua缓存命名空间
>     lua_shared_dict dis_cache 128m;		
>     
>     #限流设置(一秒处理两个请求)
>     limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s;
>     
>     server {
>         listen       10010;
>         server_name  localhost;
>         #charset koi8-r;
>     	#access_log  logs/host.access.log  main;
>     	
>     	location / {
>     		root   html;
>     		index  index.html index.htm;
>     	}
>     
>     	#访问此链接，会运行此位置的lua脚本
>     	location /update_content {
>     		content_by_lua_file  /root/update_content.lua;
>     	}
>     	
>     	#访问此链接，会运行此位置的lua脚本
>     	location /read_content {
>     	 	#使用限流配置
>             limit_req zone=contentRateLimit;
>             
>     		content_by_lua_file  /root/read_content.lua;
>     	}
>     }

>     binary_remote_addr 是一种key，表示基于 remote_addr(客户端IP) 来做限流，binary_ 的目的是压缩内存占用量。
>     zone：定义共享内存区来存储访问信息， contentRateLimit:10m 表示一个大小为10M，名字为contentRateLimit的内存区域。1M能存储16000 IP地址的访问信息，10M可以存储16W IP地址访问信息。
>     rate 用于设置最大访问速率，rate=10r/s 表示每秒最多处理10个请求。Nginx 实际上以毫秒为粒度来跟踪请求信息，因此 10r/s 实际上是限制：每100毫秒处理一个请求。这意味着，自上一个请求处理完后，若后续100毫秒内又有请求到达，将拒绝处理该请求.我们这里设置成2 方便测试。

### (2)处理突发流量 ###

> 倘若某些时候，一下来了4个并发的请求，那个将仅仅处理一个，其余的三个都拒绝访问，不符合我们的预期，所以我们必须添加一些额外的配置
> 
> burst=4 表示同一时刻可以接收4个请求，其余请求全部拒绝访问，但仅仅处理4个中的一个，其余的请求放入队列中，依次处理。但是我们会发现，处理4个请求的时间需要2s，在这期间进来的请求都拒绝的访问，不符合我们对系统的要求。所以burst 往往结合 nodelay 一起使用。

> 修改nginx的配置文件
> 
> \#访问此链接，会运行此位置的lua脚本  
> location /read\_content \{  
> \#使用限流配置  
> limit\_req zone=contentRateLimit burst=4 nodelay;
> 
>     content_by_lua_file  /root/read_content.lua;
> 
> \}

> 如上述所示，表示，正常情况下，每秒不超过两个，突发情况下，每秒不超过4个，且不会发生延迟，也就是同时处理4个

### (3)控制连接数目 ###

主要是利用limit\_conn\_zone和limit\_conn两个指令来实现对某个ip的连接数量进行控制

> 修改nginx的配置文件
> 
> \[root@localhost ~\]\# vi /usr/local/openresty/nginx/conf/nginx

http {
        include       mime.types;
        default_type  application/octet-stream;
        #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
        #                  '$status $body_bytes_sent "$http_referer" '
        #                  '"$http_user_agent" "$http_x_forwarded_for"';
    
        #access_log  logs/access.log  main;
    
        sendfile        on;
        #tcp_nopush     on;
    
        #keepalive_timeout  0;
        keepalive_timeout  65;
    	
    	#根据IP地址来限制，存储内存大小10M
        limit_conn_zone $binary_remote_addr zone=addr:1m;
        
    
        #gzip  on;
    
        server {
            listen       10010;
            server_name  localhost;
    
            #charset koi8-r;
    
            #access_log  logs/host.access.log  main;
    
            location / {
                root   html;
                index  index.html index.htm;
            }
            
            #访问本地的一个服务
             location /brand {
             	#同一ip最大连接数量为2
             	limit_conn addr 2;
                proxy_pass  http://192.168.43.210:18081;
            }
        }
    }
    
    
    limit_conn_zone $binary_remote_addr zone=addr:10m;  表示限制根据用户的IP地址来显示，设置存储地址为的内存大小10M
    limit_conn addr 2;   表示 同一个地址只允许连接2次。

在本地服务中controller加入一些代码，造成请求堵塞，比如说睡眠10s，这样在10秒内有多个请求到达时就会形成并发

try {     
        System.out.println("睡眠开始："+Thread.currentThread().getId());
        Thread.sleep(10000);    
        System.out.println("睡眠结束："+Thread.currentThread().getId());
    } catch (InterruptedException e) {     
        e.printStackTrace();
    }

postman测试

100个线程同时访问

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 3]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 4]

最多只允许两个，另外的限流了

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/12bd8284646b4ecfb81c8a77d05792d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/e687bd4f6ad745d0bf2583f3fb9033b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/a648ce17975f4241a5319597b6bffbe2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/989cee6818d9408e80b4a825578fb7e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/3804519690e2419cb8c4c6e730bcedb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMDEyOTgx_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/5b86a418433644fc9d712a11e3e32a72.png