memc_nginx+srcache_nginx+memcached构建透明的动态页面缓存

柔光的暖阳◎ 2022-07-14 13:20 135阅读 0赞

在上一节《[nginx+memcached构建页面缓存应用][nginx_memcached]》[http://www.ttlsa.com/html/2418.html][nginx_memcached]中，说道[nginx][]只负责从[memcache][]d服务器中读取数据，要往memcached写入数据还得需要后台的应用程序来完成。使用memc-nginx和srcache-nginx模块就可以主动的向memcached添加缓存，对应用程序来说是透明的。大大的提高动态页面访问速度。第一次访问创建缓存，后续访问在缓存过期时间内，直接从memcached返回，不需要再次经过[php][]\-fpm处理。

nginx\_memc模块与nginx\_srcache模块配合使用，来提供缓存服务器后端的操作，在技术上，任何提供REST接口的模块都可以与nginx\_srcache配合使用来获取和存储缓存子请求。

使用memcached作为后端缓存，需要注意memcached存储大小的限制，不得超过1M。为了使用更宽松的后端存储服务，建议使用[redis][]等，参见《[srcache\_nginx+redis构建缓存系统][srcache_nginx_redis]》。

1. memc-nginx-module模块指令说明：  
memc\_pass  
语法：memc\_pass address:port or socket；  
默认值：none  
配置段：http, server, location, if  
指定memcached服务器地址。

memc\_cmds\_allowed  
语法：memc\_cmds\_allowed <cmd>…  
默认值： none  
配置段：http, server, location, if  
列出允许访问的memcached命令。默认情况下，所有的memcached命令都可以访问。

memc\_flags\_to\_last\_modified  
语法：memc\_flags\_to\_last\_modified on|off  
默认值：off  
配置段：http, server, location, if  
读取memcached标识，并将其设置为Last-Modified头部值。对于有条件的get，nginx返回304未修改响应，以便节省带宽。

memc\_connect\_timeout  
语法：memc\_connect\_timeout <time>  
默认值：60s  
配置段: http, server, location  
与memcached服务器建立连接的超时时间。不得超过597 hours。

memc\_send\_timeout  
语法：memc\_send\_timeout <time>  
默认值：60s  
配置段：http, server, location  
设置发送请求到memcached服务器的超时时间。不得超过597 hours。

memc\_read\_timeout  
语法：memc\_read\_timeout <time>  
默认值：60s  
配置段：http, server, location  
定义从memcached服务器读取响应超时时间。不得超过597 hours。

memc\_buffer\_size  
语法：memc\_buffer\_size <size>  
默认值：4k/8k  
配置段：http, server, location  
读取从memcached服务器接收到响应的缓冲大小。

2. memcached支持的命令  
memcached存储命令set、add、replace、prepend、append，以$memc\_key作为键。$memc\_exptime定义过期时间，默认值为0。$memc\_flags作为标识，默认值为0，来建立相应的memcached查询。  
如果$memc\_value没有定义，那么请求的请求体将作为该值，除了incr和decr命令外。注意：如果$memc\_value定义为空的字符串，那么该空字符串仍然被当做该值。  
2.1 get $memc\_key  
使用键来检索值。

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo \{  
2.  set $memc\_cmd 'get';  
3.  set $memc\_key 'my\_key';  
4.  memc\_pass 127.0.0.1:11211;  
5.  add\_header X-Memc-Flags $memc\_flags;  
6.  \}

如果该键被找到，响应体为该键值，返回200。否则范围404 Not Found。如果发生错误或客户端错误或服务端错误，则返回502。标识码设置到$memc\_flags变量。通常使用add\_header指令来添加到响应头部。

2.2 set $memc\_key $memc\_flags $memc\_exptime $memc\_value  
将请求体作为memcached值。如果另外指定值可以通过$memc\_value变量来指定。

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo \{  
2.      set $memc\_cmd 'set';  
3.      set $memc\_key 'my\_key';  
4.      set $memc\_flags 12345;  
5.      set $memc\_exptime 24;  
6.      memc\_pass 127.0.0.1:11211;  
7.  \}  
8.  或  
9.    
10. location /foo \{  
11.     set $memc\_cmd 'set';  
12.     set $memc\_key 'my\_key';  
13.     set $memc\_flags 12345;  
14.     set $memc\_exptime 24;  
15.     set $memc\_value 'my\_value';  
16.     memc\_pass 127.0.0.1:11211;  
17. \}

返回201，说明创建memcached缓存存储成功。返回200说明NOT\_STORED。返回404说明NOT\_FOUND。返回502说明发生错误或客户端错误或服务端错误。

memcached原始响应是响应体，404 NOT FOUND除外。

2.3 add $memc\_key $memc\_flags $memc\_exptime $memc\_value  
和set命令相似

2.4 prepend $memc\_key $memc\_flags $memc\_exptime $memc\_value  
和set命令相似

2.5 delete $memc\_key  
删除该键值

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo ｛  
2.      set $memc\_cmd delete;  
3.      set $memc\_key my\_key;  
4.     
5.      memc\_pass 127.0.0.1:11211;  
6.  \}

返回200说明删除成功。返回404说明NOT\_FOUND。返回502说明发生错误或客户端错误或服务端错误。

2.6 delete $memc\_key $memc\_exptime  
和delete命令相似。

2.7 incr $memc\_key $memc\_value  
给指定的$memc\_key对应的$memc\_value增量。

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo \{  
2.  set $memc\_key my\_key;  
3.  set $memc\_value 2;  
4.  memc\_pass 127.0.0.1:11211;  
5.  \}

每次访问/foo将导致my\_key的值加2。

返回200说明成功。返回404说明键Not Found。返回502说明发生错误或客户端错误或服务端错误。

2.8 decr $memc\_key $memc\_value  
与incr相似。

2.9 flush\_all  
刷新memcached上所有的键。

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo \{  
2.  set $memc\_cmd flush\_all;  
3.  memc\_pass 127.0.0.1:11211;  
4.  \}

2.10 flush\_all $memc\_exptime

与flush\_all相似。

2.11 stats  
输出memcached统计信息。

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo \{  
2.  set $memc\_cmd stats;  
3.  memc\_pass 127.0.0.1:11211;  
4.  \}

2.12 version  
返回memcached版本信息。

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  location /foo \{  
2.  set $memc\_cmd version;  
3.  memc\_pass 127.0.0.1:11211;  
4.  \}

3. srcache-nginx-module模块指令说明：  
srcache\_fetch  
语法：srcache\_fetch <method> <uri> <args>?  
默认值：no  
配置段：http, server, location, location if  
查询缓存。返回200说明缓存命中，直接从缓存响应客户端请求。非200需要后端程序处理。

srcache\_fetch\_skip  
语法：srcache\_fetch\_skip <flag>  
默认值：srcache\_fetch\_skip 0  
配置段：http, server, location, location if  
<flag>支持nginx变量。当这个参数值不为空和不等于0，则从缓存取数据过程被无条件跳过。

srcache\_store  
语法：srcache\_store <method> <uri> <args>?  
默认值：no  
配置段：http, server, location, location if  
将当前请求的响应存入缓存。可以使用srcache\_store\_skip和srcache\_store\_max\_size指令禁用缓存。不管是响应状态行，响应头，响应体都会被缓存。默认情况下，下列特殊响应头不会被缓存：  
Connection  
Keep-Alive  
Proxy-Authenticate  
Proxy-Authorization  
TE  
Trailers  
Transfer-Encoding  
Upgrade  
Set-Cookie  
可以使用srcache\_store\_pass\_header、srcache\_store\_hide\_header指令来控制哪些头要缓存哪些不要。  
注意：即使所有的响应数据被立即发送，当前的nginx请求生命周期未必完成，直到srcache\_store子请求完成。这意味着服务器端延迟关闭TCP连接，或下一个请求服务发送同一个TCP连接。

srcache\_store\_max\_size  
语法：srcache\_store\_max\_size <size>  
默认值：srcache\_store\_max\_size 0  
配置段：http, server, location, location if  
当响应体超过该值，将不会缓存。  
当后端缓存存储有对缓存数据做硬限制，这个指令非常有用。比如memcached服务器，上限是1M。  
默认值0，不限制。

srcache\_store\_skip  
语法：srcache\_store\_skip <flag>  
默认值：srcache\_store\_skip 0  
配置段：http, server, location, location if  
<flag>支持nginx变量。当这个参数值不为空和不等于0，则从存入缓存过程被无条件跳过。

srcache\_store\_statuses  
语法：srcache\_store\_statuses <status1> <status2> ..  
默认值：srcache\_store\_statuses 200 301 302  
配置段：http, server, location, location if  
该指令控制那些状态码响应被缓存。

srcache\_header\_buffer\_size  
语法：srcache\_header\_buffer\_size <size>  
默认值：srcache\_header\_buffer\_size 4k/8k  
配置段：http, server, location, location if  
在序列化响应头时控制头缓冲大小。默认大小为页面大小，通常为4k或8k，取决于具体平台。  
注意：该大小是以每个头的，因此，需要足够大来容纳最大响应头。

srcache\_store\_hide\_header  
语法：srcache\_store\_hide\_header <header>  
默认值：no  
配置段：http, server, location, location if  
默认情况下，除了以下头缓存所有响应头：  
Connection  
Keep-Alive  
Proxy-Authenticate  
Proxy-Authorization  
TE  
Trailers  
Transfer-Encoding  
Upgrade  
Set-Cookie  
可以隐藏多个响应头，不区分大小写。如  
srcache\_store\_hide\_header X-Foo;  
srcache\_store\_hide\_header Last-Modified;

srcache\_store\_pass\_header  
语法：srcache\_store\_pass\_header <header>  
默认值：no  
配置段：http, server, location, location if  
默认情况下，除了以下头缓存所有响应头：  
Connection  
Keep-Alive  
Proxy-Authenticate  
Proxy-Authorization  
TE  
Trailers  
Transfer-Encoding  
Upgrade  
Set-Cookie  
可以缓存多个响应头，不区分大小写。如  
srcache\_store\_pass\_header Set-Cookie;  
srcache\_store\_pass\_header Proxy-Autenticate;

srcache\_methods  
语法：srcache\_methods <method>…  
默认值：srcache\_methods GET HEAD  
配置段：http, server, location

srcache\_ignore\_content\_encoding  
语法：srcache\_ignore\_content\_encoding on|off  
默认值: srcache\_ignore\_content\_encoding off  
配置段：http, server, location, location if  
内容是否编码。  
建议后端服务器禁用gzip/deflate压缩。在nginx.conf配置：

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  proxy\_set\_header Accept-Encoding "";

srcache\_request\_cache\_control  
语法：srcache\_request\_cache\_control on|off  
默认值：srcache\_request\_cache\_control off  
配置段：http, server, location  
当该指令为on时，请求头Cache-Control和Pragma按照下面的方法处理：  
1. srcache\_fetch查询缓存操作时，当请求头Cache-Control: no-cache 、 Pragma: no-cache 将跳过。  
2. srcache\_store存入缓存操作时，当请求头Cache-Control: no-store将跳过。  
当该指令为off时，将禁用此功能，对于繁忙的站点依赖缓存加速被认为是最安全的。

srcache\_response\_cache\_control  
语法：srcache\_response\_cache\_control on|off  
默认值：srcache\_response\_cache\_control on  
配置段：http, server, location  
当该指令为on时，响应头Cache-Control和Expires按照下面的方法处理：  
Cache-Control: private skips srcache\_store,  
Cache-Control: no-store skips srcache\_store,  
Cache-Control: no-cache skips srcache\_store,  
Cache-Control: max-age=0 skips srcache\_store,  
Expires: <date-no-more-recently-than-now> skips srcache\_store.  
该指令优先级比srcache\_store\_no\_store，srcache\_store\_no\_cache，srcache\_store\_private高。

srcache\_store\_no\_store  
语法：srcache\_store\_no\_store on|off  
默认值：srcache\_store\_no\_store off  
配置段：http, server, location  
开启该指令，将强制响应头Cache-Control: no-store。默认为关闭。

srcache\_store\_no\_cache  
语法：srcache\_store\_no\_cache on|off  
默认值：srcache\_store\_no\_cache off  
配置段：http, server, location  
开启该指令，将强制响应头Cache-Control: no-cache。默认为关闭。

srcache\_store\_private  
语法：srcache\_store\_private on|off  
默认值：srcache\_store\_private off  
配置段：http, server, location  
开启该指令，将强制响应头Cache-Control: private。默认为关闭。

srcache\_default\_expire  
语法：srcache\_default\_expire <time>  
默认值：srcache\_default\_expire 60s  
配置段：http, server, location, location if  
控制默认过期时间。当响应头既没有Cache-Control: max-age=N也没有指定Expires时，允许的$srcache\_expire变量值。  
该值必须小于597hours。

srcache\_max\_expire  
语法：srcache\_max\_expire <time>  
默认值：srcache\_max\_expire 0  
配置段：http, server, location, location if  
控制最大缓存时间，此设置优先级高于其他计算方法。  
该值必须小于597hours。  
默认为0，不限制。

4. srcache-nginx-module变量  
$srcache\_expire  
当前的响应存入缓存的过期时间。按照下面的方法计算：  
1. 当响应头Cache-Control: max-age=N被指定，那么N将作为过期时间。  
2. 如果响应头Expires被指定，那么该值与当前时间差作为过期时间。  
3. 当既没有指定Cache-Control: max-age=N也没有指定Expires，那么使用 srcache\_default\_expire 指定的值。  
如果超过srcache\_max\_expire指令值，那么此变量最终值为srcache\_max\_expire。

$srcache\_fetch\_status  
获取缓存的三种状态值：HIT, MISS, BYPASS。

$srcache\_store\_status  
存入缓存的两种状态值：STORE ，BYPASS。

5. 安装nginx\_memc和nginx\_srcache模块

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \# wget https:  
2.  //github.com/agentzh/memc-nginx-module/archive/master.zip  
3.  \# wget https:  
4.  //github.com/agentzh/srcache-nginx-module/archive/master.zip  
5.  \# ./configure --prefix=/usr/local/nginx-1.2.5 \\  
6.  \--add-module=../srcache-nginx-module  
7.  \--add-module=../memc-nginx-module  
8.  \# make  
9.  \# make install

6. 配置

**\[plain\]**  [view plain][]   [copy][view plain]

[print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  upstream memcacheds \{  
2.          server 10.1.240.166:22222;  
3.  \}  
4.  server  \{  
5.          listen       8090;  
6.          server\_name  test.ttlsa.com;  
7.          index index.html index.htm index.php;  
8.          root  /data/wwwroot/www.ttlsa.com/webroot;  
9.     
10.         location /memc \{  
11.                 internal;  
12.                 memc\_connect\_timeout 100ms;  
13.                 memc\_send\_timeout 100ms;  
14.                 memc\_read\_timeout 100ms;  
15.                 set $memc\_key $query\_string;  
16.                 set $memc\_exptime 120;  
17.                 memc\_pass memcacheds;  
18.                 \}  
19.    
20.         location ~ .\*\\.php?$  
21.         \{  
22.                 if ($uri ~ /ttlsa/)\{  
23.                         set $ttlsa\_key $request\_uri;  
24.                         srcache\_fetch GET /memc $ttlsa\_key;  
25.                         srcache\_store PUT /memc $ttlsa\_key;  
26.                         add\_header X-Cached-From $srcache\_fetch\_status;  
27.                         add\_header X-Cached-Store $srcache\_store\_status;  
28.                 \}  
29.                 include fastcgi\_params;  
30.                 fastcgi\_pass  127.0.0.1:10081;  
31.                 fastcgi\_index index.php;  
32.                 fastcgi\_connect\_timeout 60;  
33.                 fastcgi\_send\_timeout 180;  
34.                 fastcgi\_read\_timeout 180;  
35.                 fastcgi\_buffer\_size 128k;  
36.                 fastcgi\_buffers 4 256k;  
37.                 fastcgi\_busy\_buffers\_size 256k;  
38.                 fastcgi\_temp\_file\_write\_size 256k;  
39.                 fastcgi\_intercept\_errors on;  
40.                 fastcgi\_param  SCRIPT\_FILENAME  $document\_root$fastcgi\_script\_name;  
41.         \}  
42. \}

7. [测试][Link 1]  
7.1 第一次访问（404 Not found 创建缓存）

[![memc-nginx][]][memc-nginx]

7.2 后续访问（直接从缓存中响应）

[![memc-nginx][memc-nginx 1]][memc-nginx 1]

第一次访问创建缓存，后续访问在缓存过期时间内，直接从memcached返回，不需要再次经过[PHP][]\-fpm处理。大大提升动态页面访问速度。

《[memc\_nginx+srcache\_nginx+memcached遇到的问题][memc_nginx_srcache_nginx_memcached]》  
如需转载请注明出处：http://www.ttlsa.com/html/2460.html

[nginx_memcached]: http://www.ttlsa.com/html/2418.html
[nginx]: http://www.ttlsa.com/nginx/
[memcache]: http://www.ttlsa.com/nosql/memcache/
[php]: http://www.ttlsa.com/php/
[redis]: http://www.ttlsa.com/redis/
[srcache_nginx_redis]: http://www.ttlsa.com/html/3156.html
[view plain]: http://blog.csdn.net/jiao_fuyou/article/details/36630537#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/415008
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/415008/fork
[Link 1]: http://lib.csdn.net/base/softwaretest
[memc-nginx]: /images/20220714/cb635cf4dc59438ea0a176a0aee44dcd.png
[memc-nginx 1]: /images/20220714/16c92ca1fd2e4f7081be947636525056.png
[PHP]: http://lib.csdn.net/base/php
[memc_nginx_srcache_nginx_memcached]: http://www.ttlsa.com/html/2601.html