nginx自动检测后台服务器健康状态

朱雀 2023-06-02 09:27 263阅读 0赞

转自http://www.iyunv.com/thread-38535-1-1.html

公司业务线上对后端节点的健康检查是通过nginx\_upstream\_check\_module模块做的，这里我将分别介绍这三种实现方式以及之间的差异性。

一、ngx\_http\_proxy\_module 模块和ngx\_http\_upstream\_module模块（自带）  
       严格来说，nginx自带是没有针对负载均衡后端节点的健康检查的，但是可以通过默认自带的ngx\_http\_proxy\_module 模块和ngx\_http\_upstream\_module模块中的相关指令来完成当后端节点出现故障时，自动切换到健康节点来提供访问。  
       这里列出这两个模块中相关的指令：  
ngx\_http\_proxy\_module 模块中的 proxy\_connect\_timeout 指令、proxy\_read\_timeout指令和proxy\_next\_upstream指令

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>语法: proxy_connect_timeout time;<br>默认值:&nbsp; &nbsp; proxy_connect_timeout 60s;<br>上下文:&nbsp; &nbsp; http, server, location<br><br></td> 
  </tr> 
 </tbody> 
</table>

设置与后端服务器建立连接的超时时间。应该注意这个超时一般不可能大于75秒。

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>语法: proxy_read_timeout time;<br>默认值:&nbsp; &nbsp; proxy_read_timeout 60s;<br>上下文:&nbsp; &nbsp; http, server, location<br><br></td> 
  </tr> 
 </tbody> 
</table>

定义从后端服务器读取响应的超时。此超时是指相邻两次读操作之间的最长时间间隔，而不是整个响应传输完成的最长时间。如果后端服务器在超时时间段内没有传输任何数据，连接将被关闭。

指定在何种情况下一个失败的请求应该被发送到下一台后端服务器：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5<br>6<br>7<br>8<br>9</td> 
   <td>error&nbsp; &nbsp;&nbsp; &nbsp;# 和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现错误<br>timeout&nbsp; &nbsp; # 和后端服务器建立连接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现超时<br>invalid_header&nbsp;&nbsp;# 后端服务器返回空响应或者非法响应头<br>http_500&nbsp; &nbsp;# 后端服务器返回的响应状态码为500<br>http_502&nbsp; &nbsp;# 后端服务器返回的响应状态码为502<br>http_503&nbsp; &nbsp;# 后端服务器返回的响应状态码为503<br>http_504&nbsp; &nbsp;# 后端服务器返回的响应状态码为504<br>http_404&nbsp; &nbsp;# 后端服务器返回的响应状态码为404<br>off&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;# 停止将请求发送给下一台后端服务器<br><br></td> 
  </tr> 
 </tbody> 
</table>

需要理解一点的是，只有在没有向客户端发送任何数据以前，将请求转给下一台后端服务器才是可行的。也就是说，如果在传输响应到客户端时出现错误或者超时，这类错误是不可能恢复的。

范例如下：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>http { <br>proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;<br>}<br><br></td> 
  </tr> 
 </tbody> 
</table>

ngx\_http\_upstream\_module模块中的server指令

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>语法: server address [parameters];<br>默认值:&nbsp; &nbsp; —<br>上下文:&nbsp; &nbsp; upstream<br><br></td> 
  </tr> 
 </tbody> 
</table>

范例如下：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4</td> 
   <td>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;upstream name { <br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; server 10.1.1.110:8080 max_fails=1 fail_timeout=10s;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; server 10.1.1.122:8080 max_fails=1 fail_timeout=10s;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;}<br><br></td> 
  </tr> 
 </tbody> 
</table>

下面是每个指令的介绍：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5<br>6</td> 
   <td>max_fails=number&nbsp; &nbsp;&nbsp; &nbsp;# 设定Nginx与服务器通信的尝试失败的次数。在fail_timeout参数定义的时间段内，如果失败的次数达到此值，Nginx就认为服务器不可用。在下一个fail_timeout时间段，服务器不会再被尝试。 失败的尝试次数默认是1。设为0就会停止统计尝试次数，认为服务器是一直可用的。 你可以通过指令proxy_next_upstream、fastcgi_next_upstream和 memcached_next_upstream来配置什么是失败的尝试。 默认配置时，http_404状态不被认为是失败的尝试。<br>fail_timeout=time&nbsp; &nbsp;&nbsp; &nbsp; # 设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数，服务器就被认为不可用。默认情况下，该超时时间是10秒。<br>&nbsp; &nbsp;&nbsp; &nbsp; 在实际应用当中，如果你后端应用是能够快速重启的应用，比如nginx的话，自带的模块是可以满足需求的。但是需要注意。如果后端有不健康节点，负载均衡器依然会先把该请求转发给该不健康节点，然后再转发给别的节点，这样就会浪费一次转发。<br>&nbsp; &nbsp;&nbsp; &nbsp; 可是，如果当后端应用重启时，重启操作需要很久才能完成的时候就会有可能拖死整个负载均衡器。此时，由于无法准确判断节点健康状态，导致请求handle住，出现假死状态，最终整个负载均衡器上的所有节点都无法正常响应请求。由于公司的业务程序都是java开发的，因此后端主要是nginx集群和tomcat集群。由于tomcat重启应部署上面的业务不同，有些业务启动初始化时间过长，就会导致上述现象的发生，因此不是很建议使用该模式。<br>&nbsp; &nbsp;&nbsp; &nbsp; 并且ngx_http_upstream_module模块中的server指令中的max_fails参数设置值，也会和ngx_http_proxy_module 模块中的的proxy_next_upstream指令设置起冲突。比如如果将max_fails设置为0，则代表不对后端服务器进行健康检查，这样还会使fail_timeout参数失效（即不起作用）。此时，其实我们可以通过调节ngx_http_proxy_module 模块中的 proxy_connect_timeout 指令、proxy_read_timeout指令，通过将他们的值调低来发现不健康节点，进而将请求往健康节点转移。<br>&nbsp; &nbsp;&nbsp; &nbsp; 以上就是nginx自带的两个和后端健康检查相关的模块。<br><br></td> 
  </tr> 
 </tbody> 
</table>

二、nginx\_upstream\_check\_module模块  
       除了自带的上述模块，还有一个更专业的模块，来专门提供负载均衡器内节点的健康检查的。这个就是淘宝技术团队开发的 nginx 模块 nginx\_upstream\_check\_module，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则所以的请求就不会转发到该节点上。  
       在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：[http://tengine.taobao.org/][http_tengine.taobao.org]。  
       如果我们没有使用淘宝的 tengine 的话，可以通过补丁的方式来添加该模块到我们自己的 nginx 中。我们业务线上就是采用该方式进行添加的。  
       下面是部署流程！

1、下载nginx\_upstream\_check\_module模块

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5</td> 
   <td>[iyunv@localhost ~]# cd /usr/local/src<br>wget&nbsp;<a href="https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master" rel="nofollow">https://codeload.github.com/yaow ... k_module/zip/master</a><br>unzip master<br>[iyunv@localhost /usr/local/src]# ll -d nginx_upstream_check_module-master<br>drwxr-xr-x. 6 root root 4096 Dec&nbsp;&nbsp;1 02:28 nginx_upstream_check_module-master<br><br></td> 
  </tr> 
 </tbody> 
</table>

2、为nginx打补丁

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5<br>6<br>7<br>8</td> 
   <td>[iyunv@localhost /usr/local/src]# cd nginx-1.6.0 # 进入nginx的源码目录<br>[iyunv@localhost nginx-1.6.0]# patch -p1 &lt; ../nginx_upstream_check_module-master/check_1.5.12+.patch<br>[iyunv@localhost nginx-1.6.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx-1.6.0 --with-http_ssl_module --with-openssl=/usr/local/src/openssl-0.9.8q --with-pcre=/usr/local/src/pcre-8.32 --add-module=/usr/local/src/nginx_concat_module/ --add-module=../nginx_upstream_check_module-master/<br>make (注意：此处只make，编译参数需要和之前的一样)<br>[iyunv@localhost nginx-1.6.0]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx-1.6.0.bak<br>[iyunv@localhost nginx-1.6.0]# cp ./objs/nginx /usr/local/nginx/sbin/<br>[iyunv@localhost nginx-1.6.0]# /usr/local/nginx/sbin/nginx -t&nbsp;&nbsp;# 检查下是否有问题<br>[iyunv@localhost nginx-1.6.0]# kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`<br><br></td> 
  </tr> 
 </tbody> 
</table>

3、在nginx.conf配置文件里面的upstream加入健康检查，如下：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5<br>6</td> 
   <td>upstream name { <br>&nbsp; &nbsp;&nbsp; &nbsp; server 192.168.0.21:80;<br>&nbsp; &nbsp;&nbsp; &nbsp; server 192.168.0.22:80;<br>&nbsp; &nbsp;&nbsp; &nbsp; check interval=3000 rise=2 fall=5 timeout=1000 type=http;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;<br>}<br><br></td> 
  </tr> 
 </tbody> 
</table>

上面配置的意思是，对name这个负载均衡条目中的所有节点，每个3秒检测一次，请求2次正常则标记 realserver状态为up，如果检测 5 次都失败，则标记 realserver的状态为down，超时时间为1秒。

这里列出nginx\_upstream\_check\_module模块所支持的指令意思：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]<br>Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp<br>Context: upstream<br><br></td> 
  </tr> 
 </tbody> 
</table>

该指令可以打开后端服务器的健康检查功能。

指令后面的参数意义是：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5<br>6<br>7<br>8<br>9<br>10<br>11<br>12</td> 
   <td>&nbsp; &nbsp; - interval：向后端发送的健康检查包的间隔。<br>&nbsp; &nbsp; - fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。<br>&nbsp; &nbsp; - rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。<br>&nbsp; &nbsp; - timeout: 后端健康请求的超时时间。<br>&nbsp; &nbsp; - default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。<br>&nbsp; &nbsp; - type：健康检查包的类型，现在支持以下多种类型<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;- tcp：简单的tcp连接，如果连接成功，就说明后端正常。<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;- ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;- http：发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;- mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;- ajp：向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。<br>&nbsp; &nbsp; - port: 指定后端服务器的检查端口。你可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。默认是0，表示跟后端server提供真实服务的端口一样。该选项出现于Tengine-1.4.0。<br><br></td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>Syntax: check_keepalive_requests request_num<br>Default: 1<br>Context: upstream<br><br></td> 
  </tr> 
 </tbody> 
</table>

该指令可以配置一个连接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭连接。

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>Syntax: check_http_send http_packet<br>Default: "GET / HTTP/1.0\r\n\r\n"<br>Context: upstream<br><br></td> 
  </tr> 
 </tbody> 
</table>

该指令可以配置http健康检查包发送的请求内容。为了减少传输数据量，推荐采用"HEAD"方法。

当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如："HEAD / HTTP/1.1\\r\\nConnection: keep-alive\\r\\n\\r\\n"。 同时，在采用"GET"方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]<br>Default: http_2xx | http_3xx<br>Context: upstream<br><br></td> 
  </tr> 
 </tbody> 
</table>

该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>Syntax: check_shm_size size<br>Default: 1M<br>Context: http<br><br></td> 
  </tr> 
 </tbody> 
</table>

所有的后端服务器健康检查状态都存于共享内存中，该指令可以设置共享内存的大小。默认是1M，如果你有1千台以上的服务器并在配置的时候出现了错误，就可能需要扩大该内存的大小。

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>Syntax: check_status [html|csv|json]<br>Default: check_status html<br>Context: location<br><br></td> 
  </tr> 
 </tbody> 
</table>

显示服务器的健康状态页面。该指令需要在http块中配置。

在Tengine-1.4.0以后，你可以配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。

你也可以通过请求的参数来指定格式，假设‘/status’是你状态页面的URL， format参数改变页面的格式，比如：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3</td> 
   <td>/status?format=html<br>/status?format=csv<br>/status?format=json<br><br></td> 
  </tr> 
 </tbody> 
</table>

同时你也可以通过status参数来获取相同服务器状态的列表，比如：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2</td> 
   <td>/status?format=html&amp;status=down<br>/status?format=csv&amp;status=up<br><br></td> 
  </tr> 
 </tbody> 
</table>

下面是一个状态也配置的范例：

<table> 
 <tbody> 
  <tr> 
   <td>1<br>2<br>3<br>4<br>5<br>6<br>7<br>8<br>9<br>10</td> 
   <td>http { <br>&nbsp; &nbsp;&nbsp; &nbsp;server { <br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;location /nstatus { <br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; check_status;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; access_log off;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; #allow IP;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; #deny all;<br>&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;}<br>&nbsp; &nbsp;&nbsp; &nbsp;}<br>}<br><br></td> 
  </tr> 
 </tbody> 
</table>

配置完毕后，重启nginx。此时通过访问定义好的路径，就可以看到当前 realserver 实时的健康状态啦。效果如下图：  
realserver 都正常的状态：

![082555gjkjpig5hh8aq4x8.jpg][]

一台 realserver 故障的状态：  
![082558crc7n70fiy2r8670.jpg][] OK，以上nginx\_upstream\_check\_module模块的相关信息，更多的信息大家可以去该模块的淘宝tengine页面和github上该项目页面去查看，下面是访问地址：

http://tengine.taobao.org/document\_cn/http\_upstream\_check\_cn.html

https://github.com/yaoweibin/nginx\_upstream\_check\_module

在生产环境的实施应用中，需要注意的有 2 点：  
1、主要定义好type。由于默认的type是tcp类型，因此假设你服务启动，不管是否初始化完毕，它的端口都会起来，所以此时前段负载均衡器为认为该服务已经可用，其实是不可用状态。  
  
2、注意check\_http\_send值的设定。由于它的默认值是"GET / HTTP/1.0\\r\\n\\r\\n"。假设你的应用是通过http://ip/name访问的，那么这里你的check\_http\_send值就需要更改为"GET /name HTTP/1.0\\r\\n\\r\\n"才可以。针对采用长连接进行检查的，这里增加keep-alive请求头，即"HEAD /name HTTP/1.1\\r\\nConnection: keep-alive\\r\\n\\r\\n"。如果你后端的tomcat是基于域名的多虚拟机，此时你需要通过check\_http\_send定义host，不然每次访问都是失败，范例：check\_http\_send "GET /mobileapi HTTP/1.0\\r\\n HOST www.redhat.sx\\r\\n\\r\\n";  
  
  
三、ngx\_http\_healthcheck\_module模块  
       除了上面两个模块，nginx官方在早期的时候还提供了一个 ngx\_http\_healthcheck\_module 模块用来进行nginx后端节点的健康检查。nginx\_upstream\_check\_module模块就是参照该模块的设计理念进行开发的，因此在使用和效果上都大同小异。但是需要注意的是，ngx\_http\_healthcheck\_module 模块仅仅支持nginx的1.0.0版本，1.1.0版本以后都不支持了！因此，对于目前常见的生产环境上都不会去用了，这里仅仅留个纪念，给大家介绍下这个模块！  
   具体的使用方法，这里可以贴出几篇靠谱的博文地址以及官方地址：  
      [http://wiki.nginx.org/HttpHealthcheckModule][http_wiki.nginx.org_HttpHealthcheckModule]  
      https://github.com/cep21/healthcheck\_nginx\_upstreams/blob/master/README

转载于:https://www.cnblogs.com/linwenbin/p/11591795.html

[http_tengine.taobao.org]: http://tengine.taobao.org/
[082555gjkjpig5hh8aq4x8.jpg]: /images/20230601/8fba2dd52d3d47ca9d435f87d2165b9f.png
[082558crc7n70fiy2r8670.jpg]: /images/20230601/6229d4c4663546a3ad495d4c1629c12d.png
[http_wiki.nginx.org_HttpHealthcheckModule]: http://wiki.nginx.org/HttpHealthcheckModule