nginx-- Configuring TCP OR UDP Load Balancing

柔光的暖阳◎ 2022-12-03 05:25 94阅读 0赞

### 文章目录 ###

*  nginx------ tcp and udp 代理
 *   *  Introduction
     *  Install
     *  Configuring TCP OR UDP Load Balancing
     *  引用资料

# nginx------ tcp and udp 代理 #

## Introduction ##

nginx 反向代理一般都是7层代理，进行http/https 协议层的转发；说起4层代理，一般想到的都是lvs 和 haproxy 这些；目前nginx新版本已经支持 4层 (tcp,udp) 代理；

在Nginx1.9.0版本之前，TCP代理一般会使用Haproxy或Nginx的第三方包nginx\_tcp\_proxy\_module。但Nginx在1.9.0版本之后加入了ngx\_stream\_proxy\_modulea，它提供了TCP代理，只需在编译Nginx时加入----ngx\_stream\_proxy\_module即可。

在1.9.13版本之后，Nginx加入了对UDP（UserDatagramProtocol）代理的支持，因此可以使用Nginx来代理DNS的UDP端口；

## Install ##

[root@network-test nginx-1.19.2]# ./configure --help
    # --with-stream 开启tcp/udp 代理；一般是初次安装的时候使用；
    # --with-stream=dynamic 动态开启tcp/udp;存量已安装的nginx 下动态支持
    # 这次使用动态升级的方法，在原始参数后面添加 –with-stream=dynamic
    ./configure --prefix=/usr/local/nginx --add-module=../ngx_devel_kit --add-module=../set-misc-nginx-module --with-stream=dynamic
    # make编译 ，切记不要install，执行install 会有覆盖的情况，可能会影响存量的业务或配置，需要注意
    make
    # 当前目录objs中会存在 编译好的 ngx_stream_module.so
    ll objs/ngx_stream_module.so
    # 将对于文件cp 到 存量已安装的目录
    mkdir /usr/local/nginx/modules
    cp objs/ngx_stream_module.so  /usr/local/nginx/modules/
    # 编辑 nginx.conf ; reload 或 重启服务
    # load_module modules/ngx_stream_module.so;
    [root@network-test nginx]# head -n 30 conf/nginx.conf | grep -v '^$'
    load_module  modules/ngx_stream_module.so;
    #user nobody;
    worker_processes  1;
    error_log  logs/error.log;
    #error_log logs/error.log notice;
    #error_log logs/error.log info;
    #pid logs/nginx.pid;
    events { 
        worker_connections  1024;
    }
    stream { 
            upstream tcp_backed { 
                    hash $remote_addr consistent;
                    server 127.0.0.1:9090 weight=4 max_fails=3 fail_timeout=30s;
            }
            server { 
                    listen 9999;
                    proxy_connect_timeout 1s;
                    proxy_timeout 3s;
                    proxy_pass tcp_backed;
            }
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 1][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 2][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 3][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 4][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 5][]

## Configuring TCP OR UDP Load Balancing ##

TCP代理在stream指令块内进行声明，位于main内，和http指令块同级。

反向代理的upstream支持DNS域名（如ip\_hash、socket）配置、权重即故障转移（如max\_fails）配置。

当proxy\_pass代理TCP时，没有http://前缀，注意配置时不要写错。

支持和HTTP一样的连接超时参数proxy\_timeout、proxy\_connect\_timeout。

在实操这里时，需要提到一点是，一般4层代理是没有转发日志的；比如lvs ；nginx 这里使用tcp/udp 代理时是可以配置转发日志的；

配置方法：

在nginx.conf stream 中配置对应log\_farmart;

stream {
    
        log_format tcp_proxy '$remote_addr [$time_local] '
                     '$protocol $status $bytes_sent $bytes_received '
                     '$session_time "$upstream_addr" '
                     '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
    
        access_log logs/tcp-access.log tcp_proxy ;
        open_log_file_cache off;
        #include /etc/nginx/conf.d/*.stream;
    
        upstream tcp_backed {
            hash $remote_addr consistent;
            server 127.0.0.1:9090 weight=4 max_fails=3 fail_timeout=30s;
        }
        # proxy_bind $remote_addr transparent;
        server {
            listen 9999;
            proxy_connect_timeout 1s;
            proxy_timeout 3s;
            proxy_pass tcp_backed;
        }
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 6][]

**配置经验**

*  测试发现nginx会等待session结束才会记录到日志文件；
 *  session日志只是tcp层面的记录，包括session时间，发送接收字节数等等；
 *  session内部发送日志(比如一个socket连接建立起来以后，多次发送心跳数据）需要在应用层面才能记录；

常见指令：

TCP代理还包含其他很多指令，下面将介绍一些常用的指令。

指令：proxy_bind
    语法：proxy_bind address [transparent] | off;
    默认值：无
    环境：stream、server
    含义：如果此配置为off，则表示请求将会使用系统自动分配的本地IP地址，即后端服务看不到用户的真实IP地址；
    如果配置为“proxy_bind $remote_addr transparent;”，则后端服务可以看到用户的真实IP地址。

**为了使参数生效，需要以超级用户权限运行Nginx的worker进程，并配置核心路由表以截获反向代理服务器的网络流量。**

查看nginx upstream 服务的业务日志，在`proxy_bind address off` 的配置下，upstream 服务日志显示为 nginx 本地ip：

直接配置该参数后，抓包看的话，是可以看到向RS 转发的ip 从 nginx 本身的ip 变成了 client 真实ip；

不过在开启时，可能出现后端RS 无法正常响应的情况；**需要以超级用户权限运行Nginx的worker进程，并配置核心路由表以截获反向代理服务器的网络流量。** 代理服务器上需要配置iptables 以及对应路由表信息；上游服务器也要指向对应的网关；

这部分的配置，也找到了一些文档；不过部署的测试环境，一直没调通 o(╥﹏╥)o ；所以这部分暂时不细写；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 7][]

指令：proxy_download_rate
    语法：proxy_download_rate rate;
    默认值：proxy_download_rate 0;
    环境：stream、server
    含义：设置后端服务器读取数据的速度。速度定义为字节每秒。
    默认值为0，表示禁用限速。
    限速设置的值对每个连接都有效。
    
    
    指令：proxy_next_upstream
    语法：proxy_next_upstream on | off;
    默认值：proxy_next_upstream on;
    环境：stream、server
    含义：当无法与当前的后端服务器建立连接时，该指令用来确定是否将客户端连接传递给下一台后端服务器。这可能会受到尝试次数（proxy_next_upstream_tries）和时间（proxy_next_upstream_timeout）的影响。
    
    
    指令：proxy_next_upstream_timeout
    语法：proxy_next_upstream_timeout  time;
    默认值：proxy_next_upstream_timeout 0;
    环境：stream、server
    含义：设置传递连接到下一台后端服务器的时间。默认值为0，表示关闭这个限制。
    
    
    指令：proxy_next_upstream_tries
    语法：proxy_next_upstream_tries number;
    默认值：proxy_next_upstream_tries 0;
    环境：stream、server
    含义：设置传递连接到下一台后端服务器的尝试次数。默认值为0，表示关闭这个限制。
    
    
    指令：proxy_pass
    语法：proxy_pass address;
    默认值：无
    环境：server
    含义：设置被代理的服务器地址。地址可以是一个域名，也可以是IP地址加端口号。从Nginx1.11.3版本开始支持配置变量，如“proxy_pass $upstream;”。
    
    
    指令：resolver
    语法：resolver address ... [valid=time] [ipv6=on|off];
    环境：stream、server含义：在进行DNS解析时，该指令用于对upstream中出现的域名进行IP地址解析，然后将请求代理到解析到的IP地址上；
    Valid=time表示DNS解析后的缓存时间，使用缓存时间可以减少DNS解析的次数；
    关于ipv6=on|off，如果设置为on，则表示在查询IPv4（Internet Protocol version 4，互联网协议版本4）无果后会继续查询IPv6（Internet Protocol Version 6，互联网协议版本6），如果不需要查找IPv6，可以配置为off，以缩短查找时间。
    
    
    指令：resolver_timeout
    语法：resolver_timeout time;
    默认值：resolver_timeout 30s;
    执行阶段：stream、server
    含义：设置解析DNS的超时时间，如果超时，DNS会使用上一次解析到的IP地址。
    
    
    指令：proxy_protocol_timeout
    语法：proxy_protocol_timeout timeout;
    默认值：proxy_protocol_timeout 30s;
    环境：stream、server
    含义：设置读取proxy协议头的时间。如果在所设置的时间内没有发送完整的报头，则关闭连接。

**实战经验**

1.指令nginx\_tcp\_proxy\_module和ngx\_stream\_core\_module都可以在TCP代理中使用。其中ngx\_stream\_core\_module包含有关日志记录的一些常用变量，通过这些日志信息可以分析每个TCP请求的情况。

2.在做TCP代理时，Nginx代理节点服务器可能不止一台，可以使用DNS轮询或LVS（LinuxVirtualServer，Linux虚拟服务器）等功能对Nginx进行负载均衡。

3.Redis属于单核服务，所以在一台服务器上启动多个Redis实例是很正常的。如果多个Redis从库部署在同一台服务器上，可以通过TCP代理进行转发，否则会因为端口不一致，导致配置非常烦琐。

## 引用资料 ##

相关nginx 官网链接和参考资料：

https://docs.nginx.com/nginx/admin-guide/load-balancer/tcp-udp-load-balancer/

http://nginx.org/en/docs/stream/stream\_processing.html

http://nginx.org/en/docs/stream/ngx\_stream\_log\_module.html\#open\_log\_file\_cache

http://nginx.org/en/docs/stream/ngx\_stream\_core\_module.html

http://nginx.org/en/docs/varindex.html

http://nginx.org/en/docs/http/ngx\_http\_proxy\_module.html\#proxy\_bind

https://github.com/vislee/leevis.com/issues/142

http://nginx.org/en/docs/http/ngx\_http\_proxy\_module.html\#proxy\_bind

https://www.nginx.com/blog/ip-transparency-direct-server-return-nginx-plus-transparent-proxy/

https://pengpengxp.github.io/archive/before-2018-11-10/2017-06-27-使用nginx的proxy\_bind选项配置透明的反向代理.html\#tproxy\_sum

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/ef592fba32814ae5b82f21b33c0a5b6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/ff1ac2a3d1674b61af9932288c2ed1c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/3cd4aa3fc43b4cb39da5d8315bddfd0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/e588d29b750e45c2a4f99e0069052396.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/7361dec7fcb741808d3a5d6339c59ba3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/a9c21d550f0543c7bf342e79a9f0a3b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/50ceba1d9de84a79a7faa39002388274.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xMODQ1ODc2NDI1_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/5351ce8ff7f14eba800bf154ab76d704.png