nginx负载均衡怎么做

绝地灬酷狼 2024-03-29 16:08 67阅读 0赞

转自：[微点阅读][Link 1] [https://www.weidianyuedu.com][Link 1]

使用nginx做负载均衡的两大模块：

[upstream][] 定义负载节点池。

location 模块 进行URL匹配。

proxy模块 发送请求给upstream定义的节点池。

upstream模块解读

nginx 的负载均衡功能依赖于 ngx\_http\_upstream\_module模块，所支持的代理方式有 [proxy\_pass][proxy_pass](一般用于反向代理),fastcgi\_pass(一般用于和动态程序交互),memcached\_pass,proxy\_next\_upstream,fastcgi\_next\_pass,memcached\_next\_pass 。

upstream 模块应该放于http\{\}标签内。

模块写法：

upstream backend \{ ip\_hash; server [backend1.example.com][] weight=5; server [backend2.example.com:8080][backend2.example.com_8080]; server [backup1.example.com:8080][backup1.example.com_8080] backup; server [backup2.example.com:8080][backup2.example.com_8080] backup;\}

实例一：

upstream dynamic \{ zone upstream\_dynamic 64k; server [backend1.example.com][] weight=5; server [backend2.example.com:8080][backend2.example.com_8080] fail\_timeout=5s slow\_start=30s; server 192.0.2.1 max\_fails=3; server [backend3.example.com][] resolve; server [backup1.example.com:8080][backup1.example.com_8080] backup; server [backup2.example.com:8080][backup2.example.com_8080] backup;\}

语法解释：

nginx默认支持四种调度算法

轮询(rr),每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器故障，故障系统自动清除，使用户访问不受影响。

轮询权值(weight),weight值越大，分配到的访问几率越高，主要用于后端每个服务器性能不均的情况。

ip\_hash，每个请求按访问IP的hash结果分配，这样来自同一个IP的固定访问一个后端服务器，主要解决动态网站session共享的问题。

url\_hash，按照访问的URL的hash结果来分配请求，是每个URL定向到同一个后端服务器，可以进一步提高后端缓存服务器的效率，nginx本身不支持，如果想使用需要安装nginx的hash软件包。

fair，这个算法可以依据页面大小和加载时间长短智能的进行负载均衡，也就是根据后端服务器的响应时间来分配请求，相应时间短的优先分配，默认不支持，如果想使用需要安装upstream\_fail模块。

least\_conn 最少链接数，那个机器连接数少就分发。

server模块的写法

server IP 调度状态

server指令指定后端服务器IP地址和端口，同时还可以设定每个后端服务器在负载均衡调度中的状态。

down 表示当前的server暂时不参与负载均衡。

backup 预留的备份服务器，当其他所有的非backup服务器出现故障或者忙的时候，才会请求backup机器，因为这台集群的压力最小。

max\_fails 允许请求失败的次数，默认是1，当超过最大次数时，返回proxy\_next\_upstream模块定义的错误。0表示禁止失败尝试，企业场景：2-3.京东1次，蓝汛10次，根据业务需求去配置。

fail\_timeout，在经历了max\_fails次失败后，暂停服务的时间。京东是3s，蓝汛是3s，根据业务需求配置。常规业务2-3秒合理。

例：如果max\_fails是5，他就检测5次，如果五次都是502.那么，他就会根据fail\_timeout 的值，等待10秒，再去检测。

server 如果接域名，需要内网有DNS服务器，或者在负载均衡器的hosts文件做域名解析。server后面还可以直接接IP或IP加端口。

长连接 keepalive

upstream backend \{ server [backend2.example.com:8080][backend2.example.com_8080]; server [backup1.example.com:8080][backup1.example.com_8080] backup; keepalive 100;\}

通过该指令配置了每个worker进程与上游服务器可缓存的空闲连接的最大数量。

当超出这个数量时，最近最少使用的连接将被关闭。keepalive指令不限制worker进程与上游服务器的总连接。

location / \{ \# 支持keep-alive proxy\_http\_version 1.1; proxy\_set\_header Connection ""; proxy\_pass [http://backup][http_backup];\}如果是http/1.0 需要配置发送"Connection: Keep-Alive" 请求头。

上游服务器不要忘记开启长连接支持。

连接池配置建议

总长连接数是"空闲连接池"+"释放连接池"的长连接总数。

首先，长连接配置不会限制worker进程可以打开的总连接数（超了的作为短连接）。另外连接池一定要根据场景合理进行设置。

空闲连接池太小，连接不够用，需要不断建连接。

空闲连接池太大，空闲连接太多，还没使用就超时。

建议只对小报文开启长连接。

location 模块解读

location作用：基于一个指令设置URI。

基本语法：

Syntax: location \[ = | ~ | ~\* | ^~ \] uri \{ ... \}location @name \{ ... \}Default: —Context: server, location= 精确匹配，如果找到匹配=号的内容，立即停止搜索，并立即处理请求(优先级最高)

~ 区分大小写

~\* 不区分大小写

^~ 只匹配字符串，不匹配正则表达式

@ 指定一个命名的location，一般用于内部重定义请求，location @name \{…\}

匹配是有优先级的，不是按照nginx的配置文件进行。

官方的例子：

location = / \{ \[ configuration A \]\}location / \{ \[ configuration B \]\}location /documents/ \{ \[ configuration C \]\}location ^~ /images/ \{ \[ configuration D \]\}location ~\* \\.(gif|jpg|jpeg)$ \{ \[ configuration E \]\}

结论：

/ 匹配A。

/index.html 匹配B

/documents/document.html 匹配C

/images/1.gif 匹配D

/documents/1.jpg 匹配的是E。

测试用的例子：

location / \{ return 401; \} location = / \{ return 402; \} location /documents/ \{ return 403; \} location ^~ /images/ \{ return 404; \} location ~\* \\.(gif|jpg|jpeg)$ \{ return 500; \}

测试结果（重点看）：

\[root@lb01 conf\]\# curl -I -s -o /dev/null -w "%\{http\_code\}\\n" [http://10.0.0.7/402\[root@lb01][http_10.0.0.7_402_root_lb01] conf\]\# curl -I -s -o /dev/null -w "%\{http\_code\}\\n" [http://10.0.0.7/index.html401\[root@lb01][http_10.0.0.7_index.html401_root_lb01] conf\]\# curl -I -s -o /dev/null -w "%\{http\_code\}\\n" [http://10.0.0.7/documents/document.html][http_10.0.0.7_documents_document.html] 403\[root@lb01 conf\]\# curl -I -s -o /dev/null -w "%\{http\_code\}\\n" [http://10.0.0.7/images/1.gif404\[root@lb01][http_10.0.0.7_images_1.gif404_root_lb01] conf\]\# curl -I -s -o /dev/null -w "%\{http\_code\}\\n" [http://10.0.0.7/dddd/1.gif][http_10.0.0.7_dddd_1.gif] 500

结果总结：

匹配的优先顺序，=>^~（匹配固定字符串，忽略正则）>完全相等>~\*>空>/ 。

工作中尽量将"="放在前面

proxy\_pass 模块解读

proxy\_pass 指令属于ngx\_http\_proxy\_module 模块，此模块可以将请求转发到另一台服务器。

写法：

proxy\_pass [http://localhost:8000/uri/;][http_localhost_8000_uri]

实例一：

upstream blog\_real\_servers \{ server 10.0.0.9:80 weight=5; server 10.0.0.10:80 weight=10; server 10.0.0.19:82 weight=15; \} server \{ listen 80; server\_name [blog.etiantian.org][]; location / \{ proxy\_pass [http://blog][http_blog]\_real\_servers; proxy\_set\_header host $host; \} \}proxy\_set\_header：当后端Web服务器上也配置有多个虚拟主机时，需要用该Header来区分[反向代理][Link 2]哪个主机名，proxy\_set\_header host $host;。

proxy\_set\_header X-Forwarded-For ：如果后端Web服务器上的程序需要获取用户IP，从该Header头获取。proxy\_set\_header X-Forwarded-For $remote\_addr;

配置后端服务器接收前端真实IP

配置如下：

log\_format commonlog "$remote\_addr - $remote\_user \[$time\_local\] "$request" " "$status $body\_bytes\_sent "$http\_referer" " ""$http\_user\_agent" "$http\_x\_forwarded\_for"";

rs\_apache节点的httpd.conf配置

LogFormat "\\"%\{X-Forwarded-For\}i\\" %l %u %t \\"%r\\" %>s %b \\"%\{Referer\}i\\" \\"%\{User-Agent\}i\\"" combined修改日志记录apacheLogFormat "\\"%\{X-Forwarded-For\}i\\" %l %u %t \\"%r\\" %>s %b" commonproxy\_pass相关的优化参数

client\_max\_body\_size 10m; 允许客户端请求的最大的单个文件字节数。

client\_body\_buffer\_size 128k; 缓冲区代理缓冲用户端请求的最大字节数 可以理解为先保存到本地再传给用户。

proxy\_connect\_timeout 600; 跟后端服务器连接的超时时间\_发起握手等候响应超时时间。

proxy\_read\_timeout 600; 连接成功后\_等候后端服务器响应时间\_其实已经进入后端的排队之中等候处理。

proxy\_send\_timeout 600; 后端服务器回传数据时间,就是在规定时间之内后端服务器必须传完所有的数据。

proxy\_buffer\_size 8k; 代理请求缓存区，这个缓存区间会保存用户的头信息以供Nginx进行规则处理,一般只要设置能保存下头信息即可。

proxy\_buffers 4 32k; 同上 告诉Nginx保存单个页面使用的空间大小，假设网页大小平均在32k以下的话。

proxy\_busy\_buffers\_size 64k; 如果系统很忙的时候可以申请更大的proxy\_buffers 官方推荐(proxy\_buffers\*2)。

proxy\_max\_temp\_file\_size 1024m; 当 proxy\_buffers 放不下后端服务器的响应内容时，会将一部分保存到硬盘的临时文件中，这个值用来设置最大临时文件大小，默认1024M，它与 proxy\_cache 没有关系。大于这个值，将从upstream服务器传回。设置为0禁用。

proxy\_temp\_file\_write\_size 64k; proxy缓存临时文件的大小 proxy\_temp\_path（可以在编译的时候）指定写到哪那个目录。

健康检查

Nginx提供了health\_check语句来提供负载（upstream）时的键康检查机制（注意：此语句需要设置在location上下文中）。

支持的参数有：

interval=time：设置两次健康检查之间的间隔值，默认为5秒

fails=number：设置将服务器视为不健康的连续检查次数，默认为1次

passes=number：设置一个服务器被视为健康的连续检查次数，默认为1次

uri=uri：定义健康检查的请求URI，默认为”/“

match=name：指定匹配配置块的名字，用记测试响应是否通过健康检测。默认为测试返回状态码为2xx和3xx

一个简单的设置如下，将使用默认值：

location / \{ proxy\_pass [http://backend][http_backend]; health\_check;\}

对就应用，我们可以专门定义一个API用于健康检查：/api/health\_check，并只返回HTTP状态码为200。并设置两次检查之间的间隔值为1秒。这样，health\_check语句的配置如下：

health\_check uri="/api/health\_check" interval;

匹配match的方法

http \{ server \{ ... location / \{ proxy\_pass [http://backend][http_backend]; health\_check match=welcome; \} \} match welcome \{ status 200; header Content-Type = text/html; body ~ "Welcome to nginx!"; \}\}

match 例子举例

status 200;: status 等于 200

status ! 500;: status 不是 500

status 200 204;: status 是 200 或 204

status ! 301 302;: status 不是301或302。

status 200-399;: status 在 200 到 399之间。

status ! 400-599;: status 不在 400 到 599之间。

status 301-303 307;: status 是 301, 302, 303, 或 307。

header Content-Type = text/html;: “Content-Type” 得值是 text/html。

header Content-Type != text/html;: “Content-Type” 不是 text/html。

header Connection ~ close;: “Connection” 包含 close。

header Connection !~ close;: “Connection” 不包含 close。

header Host;: 请求头包含 “Host”。

header ! X-Accel-Redirect;: 请求头不包含 “X-Accel-Redirect”。

body ~ "Welcome to nginx!";: body 包含 “Welcome to nginx!”。

body !~ "Welcome to nginx!";: body 不包含 “Welcome to nginx!”。

一个完整的nginx实例

\[root@lb01 conf\]\# cat nginx.confworker\_processes 1;events \{ worker\_connections 1024;\}http \{ include mime.types; default\_type application/octet-stream; sendfile on; keepalive\_timeout 65; \#blog lb by oldboy at 201303 upstream blog\_real\_servers \{ server 10.0.0.9:80 weight=1 max\_fails=1 fail\_timeout=10s; server 10.0.0.10:80 weight=1 max\_fails=2 fail\_timeout=20s; \} server \{ listen 80; server\_name [blog.etiantian.org][]; location / \{ proxy\_pass [http://blog][http_blog]\_real\_servers; include proxy.conf; \} \}\}\[root@lb01 conf\]\# cat proxy.conf proxy\_set\_header Host $host; proxy\_set\_header X-Forwarded-For $remote\_addr; proxy\_connect\_timeout 90; proxy\_send\_timeout 90; proxy\_read\_timeout 90; proxy\_buffer\_size 4k; proxy\_buffers 4 32k; proxy\_busy\_buffers\_size 64k; proxy\_temp\_file\_write\_size 64k;扩展补充

只允许使用GET,HEAD,POST方法去请求

\#\# Only allow these request methods \#\# if ($request\_method !~ ^(GET|HEAD|POST)$ ) \{ return 444; \}实战

根据URI及location实现动静分离。

最终实现：

/static/的URL都去访问10.0.0.9。

/dynamic/的URL都去访问10.0.0.10。

图片这些静态文件去访问10.0.0.9。

/upload/的URL都去访问10.0.0.10。

\[root@lb01 conf\]\# cat nginx.confworker\_processes 1;events \{ worker\_connections 1024;\}http \{ include mime.types; default\_type application/octet-stream; sendfile on; keepalive\_timeout 65; \#blog lb by oldboy at 201303 upstream static\_pools \{ server 10.0.0.9:80; \} upstream dynamic\_pools \{ server 10.0.0.10:80; \} upstream upload\_pools \{ server 10.0.0.9:80; \} server \{ listen 80; server\_name [blog.biglittleant.cn][]; location / \{ proxy\_pass [http://static][http_static]\_pools; include proxy.conf; \} location /static/ \{ proxy\_pass [http://static][http_static]\_pools; include proxy.conf; \} location ~\* \\.(gif|jpg|jpeg)$ \{ proxy\_pass [http://static][http_static]\_pools; include proxy.conf; \} location /dynamic/ \{ proxy\_pass [http://dynamic][http_dynamic]\_pools; include proxy.conf; \} location /upload/ \{ proxy\_pass [http://upload][http_upload]\_pools; include proxy.conf; \} \}\}实现苹果手机和安卓手机访问不同的地址

server \{ listen 80; server\_name [blog.etiantian.org][]; location / \{ if ($http\_user\_agent ~\* "android") \{ proxy\_pass [http://android][http_android]\_pools; \} if ($http\_user\_agent ~\* "iphone") \{ proxy\_pass [http://iphone][http_iphone]\_pools; \} proxy\_pass [http://pc][http_pc]\_pools; include extra/proxy.conf; \} access\_log off; \}参考文档

[Link 1]: https://www.weidianyuedu.com/
[upstream]: https://so.csdn.net/so/search?q=upstream&spm=1001.2101.3001.7020
[proxy_pass]: https://so.csdn.net/so/search?q=proxy_pass&spm=1001.2101.3001.7020
[backend1.example.com]: https://backend1.example.com
[backend2.example.com_8080]: https://backend2.example.com:8080
[backup1.example.com_8080]: https://backup1.example.com:8080
[backup2.example.com_8080]: https://backup2.example.com:8080
[backend3.example.com]: https://backend3.example.com
[http_backup]: http://backup
[http_10.0.0.7_402_root_lb01]: http://10.0.0.7/402[root@lb01
[http_10.0.0.7_index.html401_root_lb01]: http://10.0.0.7/index.html401[root@lb01
[http_10.0.0.7_documents_document.html]: http://10.0.0.7/documents/document.html
[http_10.0.0.7_images_1.gif404_root_lb01]: http://10.0.0.7/images/1.gif404[root@lb01
[http_10.0.0.7_dddd_1.gif]: http://10.0.0.7/dddd/1.gif
[http_localhost_8000_uri]: http://localhost:8000/uri/;
[blog.etiantian.org]: https://blog.etiantian.org
[http_blog]: http://blog
[Link 2]: https://so.csdn.net/so/search?q=%E5%8F%8D%E5%90%91%E4%BB%A3%E7%90%86&spm=1001.2101.3001.7020
[http_backend]: http://backend
[blog.biglittleant.cn]: https://blog.biglittleant.cn
[http_static]: http://static
[http_dynamic]: http://dynamic
[http_upload]: http://upload
[http_android]: http://android
[http_iphone]: http://iphone
[http_pc]: http://pc