nginx基于cookie粘滞做的负载均衡

妖狐艹你老母 2022-05-25 11:49 159阅读 0赞

转载地址：https://blog.csdn.net/willwee2/article/details/50420669

ginx-sticky-module 是 Nginx 的一个扩展模块，实现了通过 Cookie 的会话粘贴效果。

Nginx以前对session 保持支持不太好，主要采用ip\_hash把同一来源的客户(同一C段的IP)固定指向后端的同一台机器，ip\_hash有个缺点是不能实现很好的负载均衡；直到nginx的扩展模块nginx-sticky-module的出现，解决了session sticky的问题。   
基本的原理：   
首先根据轮询RR随机到某台后端，然后在响应的Set-Cookie上加上route=md5(upstream)字段，第二次请求再处理的时候，发现有route字段，直接导向原来的那个节点

基于centos/redhat6，集群搭建过程   
相关软件版本   
Oracle 11gr2   
apache-tomcat-7.0.42.tar.gz   
nginx-1.8.0.tar.gz   
jdk-6u45-linux-x64.bin   
nginx-sticky-module-1.1.tar.gz   
openssl-1.0.2e.tar.gz   
pcre-8.38.tar.gz   
zlib-1.2.8.tar.gz   
1. 首先安装JDK,数据库等基础环境   
默认安装jdk

# ./ jdk-6u45-linux-x64.bin
    配置好环境变量
    # vi /etc/profile
    在文件后加上 
    export JAVA_HOME=/usr/java/jdk1.6.0_45
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
    export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    2.  安装pcre、openssl 、zlib
    安装pcre
    # tar zxvf pcre-8.38.tar.gz
    进入解压目录
    # .configure
    # make
    # make install
    这个过程中可能涉及到一些其他软件的安装，其他的安装都可以使用系统自带的软件安装
    查看版本
    # yum list|grep ***
    安装软件
    # yum –y install ***
    如果yum没法找到需要安装的软件，就修改下yum的源，找到要安装软件的源，并整合到系统中
    修改yum源的文件 /etc/yum.repos.d/***
    安装openssl
    # tar zxvf openssl-1.0.2e.tar.gz
    进入解压目录
    # ./config
    # make 
    # make install
    安装zlib
    # tar zxvf zlib-1.2.8.tar.gz
    进入目录
    # configure
    # make
    # make install
    解压nginx-sticky-module-1.1.tar.gz
    # tar zxvf nginx-sticky-module-1.1.tar.gz
    由于和nginx1.8有版本问题需要修改以下的程序
    如果不修改，在执行nginx下的./configure的时候会报以下错误
    ……
    /tmp/soft/nginx-sticky-module-1.1/ngx_http_sticky_misc.c:281: error: too few arg
    uments to function ‘ngx_sock_ntop’
    make[1]: *** [objs/addon/nginx-sticky-module-1.1/ngx_http_sticky_misc.o] Error 1
    make[1]: Leaving directory `/tmp/soft/nginx-1.6.2'
    make: *** [build] Error 2
    根据资料 把ngx_http_sticky_misc.c 的281行修改如下即可解决问题
    原digest->len = ngx_sock_ntop(in,digest
            ->data, len, 1);
    改后digest->len = ngx_sock_ntop(in,sizeof(struct sockaddr_in),digest
            ->data, len, 1);
    
    解压nginx  nginx-1.8.0.tar.gz
    # tar zxvf nginx-1.8.0.tar.gz
    进入解压目录执行
    # ./configure \
    --prefix=/usr/local/nginx \
    --with-http_stub_status_module \
    --with-http_ssl_module \
    --with-http_flv_module \
    --with-http_gzip_static_module \
    --with-pcre=/usr/local/pcre-8.38 \
    --with-openssl=/usr/local/openssl-1.0.2e \
    --with-zlib=/usr/local/zlib-1.2.8 \
    --add-module=/usr/local/nginx-sticky-module-1.1
    # make
    # make install
    以上部分完成了nginx的安装，并带有基于Cookie 的会话粘滞功能做负载均衡。
    安装tomcat
    # tar zxvf apache-tomcat-7.0.42.tar.gz
    # mv apache-tomcat-7.0.42 tomcat1
    配置好端口
    # vi /usr/local/tomcat1/conf/server.xml
    修改里面http访问端口8080 为规划的端口号
    修改里面ajp端口8009 为规划的端口号
    修改里面的shutdown 8005 位规划的端口号
    
    配置tomcat管理配置以及应用的jvm参数配置
    # vi /usr/tomcat1/conf/ tomcat-users.xml
    增加
    <user username="admin" password="123456" roles="manager-gui"/>
    # vi /usr/tomcat1/bin/ catalina.sh
    在cygwin=false 前面增加jvm的配置
    JAVA_OPTS="-Xms512m -Xmx512m -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m"
    
    然后将应用的war包拷贝到 /usr/tomcat1/webapps下面
    至此已经完成基础工作，然后配置nginx集群相关，参考以下配置文件，具体配置项里面有详细说明
    
    
    
    #定义Nginx运行的用户和用户组
    user root root; 
    #nginx进程数，建议设置为等于CPU总核心数
    worker_processes  1;
    
    #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
    error_log  /var/log/nginx/error.log warn;
    
    #进程文件
    pid        /var/run/nginx.pid;
    
    #一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）
    #与nginx进程数相除，但是nginx分配请求并不均匀,所以建议与ulimit -n的值保持一致。 
    worker_rlimit_nofile 1024; 
    
    #工作模式与连接数上限
    
    events {
    
     #参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版
     #本内核中的高性能网络I/O模型，如果跑在FreeBSD上面，就用kqueue模型。
    
        use epoll;
        #单个进程最大连接数（最大连接数=连接数*进程数） 
        worker_connections  1024;
    }
    
    #设定http服务器
    http {
       #文件扩展名与文件类型映射表
        include       mime.types;
       #默认文件类型
        default_type  application/octet-stream;
       #charset utf-8; #默认编码
    
       server_names_hash_bucket_size 128; #服务器名字的hash表大小
    
       #client_header_buffer_size 32k; #上传文件大小限制
    
       #large_client_header_buffers 4 64k; #设定请求缓
    
       #client_max_body_size 8m; #设定请求缓
    
       #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，
       #对于普通应用设为 on，如>果用来进行下载等应用磁盘IO重负载应用,可设置为off，
       #以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
       sendfile on;   
       #autoindex on; #开启目录列表访问，合适下载服务器，默认关闭。 
    
       tcp_nopush on; #防止网络阻塞
    
       tcp_nodelay on; #防止网络阻塞
    
    
       keepalive_timeout 120; #长连接超时时间，单位是秒 
    
       #FastCGI相关参数是为了改善网站的性能：减少资源占用，提高访问速度。下面参数看字面意思都能理解。 
    
       fastcgi_connect_timeout 300;  
    
       fastcgi_send_timeout 300;  
    
       fastcgi_read_timeout 300;  
    
       fastcgi_buffer_size 64k;  
    
       fastcgi_buffers 4 64k;  
    
       fastcgi_busy_buffers_size 128k;  
    
       fastcgi_temp_file_write_size 128k; 
    
       log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';
    
        access_log  /var/log/nginx/access.log  main;
    
        #gzip模块设置
        #开启gzip压缩输出
        gzip  on;
    
        #gzip_min_length 1k; #最小压缩文件大小
        #gzip_buffers 4 16k; #压缩缓冲区
        #gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
        #gzip_comp_level 2; #压缩等级 
        #压缩类型，默认就已经包含textml，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。 
        #gzip_types text/plain application/x-javascript text/css application/xml; 
    
        gzip_vary on;
    
        #limit_zone crawler $binary_remote_addr 10m; #开启限制IP连接数的时候需要使用
    
    
        upstream  10.100.82.28  {
         #upstream的负载均衡，weight是权重，可以根据机器配置定义权重。weigth参数表示权值，权值越高被分配到的几率越大。
                 #ip_hash; #基于ip hash做负载均衡
                 #nginx sticky其他语法
                 # sticky [name=route] [domain=.foo.bar] [path=/] [expires=1h] [hash=index|md5|sha1] [no_fallback];
                 # name: 可以为任何的string字符,默认是route
                 # domain：哪些域名下可以使用这个cookie
                 # path：哪些路径对启用sticky,例如path/test,那么只有test这个目录才会使用sticky做负载均衡
                 # expires：cookie过期时间，默认浏览器关闭就过期，也就是会话方式。
                 # no_fallbackup：如果设置了这个，cookie对应的服务器宕机了，那么将会返回502（bad gateway 或者 proxy error），建议不启用
                 sticky;  #基于cookie session粘滞做负载均衡
                  server   10.100.82.28:8089;
                  server   10.100.82.29:8089;
        }
    
        #虚拟主机的配置
        server {
            #监听端口 
            listen       80;
            #域名可以有多个，用空格隔开
            server_name  10.100.82.28;
            charset utf-8;
            #对 "/" 启用反向代理 
            location / {
                #root html;
                #index index.html index.htm;
                proxy_connect_timeout   10;
                proxy_send_timeout      30;
                proxy_read_timeout      30;
                proxy_pass        http://10.100.82.28;
                proxy_set_header  X-Real-IP  $remote_addr;
                client_max_body_size  100m;
                #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
                #proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
                #以下是一些反向代理的配置，可选。
                #proxy_set_header Host $host; 
                # client_max_body_size 10m; #允许客户端请求的最大单文件字节数 
                # client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数，
                # proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时) 
                # proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)
                # proxy_read_timeout 90; #连接成功后，后端服务器响应时间(代理接收超时) 
                # proxy_buffer_size 4k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小 
                # proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的设置
                # proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2） 
                # proxy_temp_file_write_size 64k;#设定缓存文件夹大小，大于这个值，将从upstream服务器传 
    
    
            }
    
            #图片缓存时间设置 
    
            # location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ 
            #{ 
            # expires 10d; 
            # } 
    
            #JS和CSS缓存时间设置 
            #location ~ .*.(js|css)?$ 
            #{ 
            # expires 1h; 
            # } 
    
    
            location ~ ^/(WEB-INF)/ { 
            deny all; 
            }
    
           #设定查看Nginx状态的地址 
            location /ngx_status
           {
              stub_status on;
              access_log on;
    
    
            } 
    
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
                root   html;
            }
    
           #配置静态资源
           #location ~ \.(jpg|png|jpeg|bmp|gif|swf|css)$ 
           #{ 
           # expires 30d; 
           # root /nginx-1.4.7;#root: 
           # break; 
           # } 
    
           location /cemscms/ {        
              root /home/cms_dev_static/; ##会指向/home/cms_dev_static/cemscms/下的资源
              autoindex on;   ##会自动显示资源目录
              index index.html;
    
            }
            #定义本虚拟主机的访问日志
            #access_log ar/loginx/xx.log access; 
    
    
        }
    }
    
    
    
    
    
    配置完成后，启动tomcat和nginx
    Nginx 启动和关闭，热部署启动
    启动nginx
    # /usr/local/nginx/sbin/nginx
    停止nginx
    #/usr/local/nginx/sbin/nginx –s stop
    配置项修改后测试配置项是否有问题
    # /usr/local/nginx/sbin/nginx –t
    平滑重启（即热部署） 
    #/usr/local/nginx/sbin/nginx –s reload
    配置完后，在浏览器输入 http://nginx所在机器ip/war包名称 就能访问到发布后的应用了。
    
    注：这个过程中可能涉及到有些端口没开放的问题，可以使用以下命令来开闭端口
    开启8000端口
    # /sbin/iptables -I INPUT -p tcp --dport 8000 -j ACCEPT
    保存配置
    # /etc/rc.d/init.d/iptables save 
    重启服务
    # /etc/rc.d/init.d/iptables restart 
    查看端口是否已经开放 
    #/etc/init.d/iptables status
    linux查看端口被哪个进程占用:(lsof有些机器没装)
    #lsof -i:端口号