Nginx +Tomcat 集群+memcached 实现负载均衡和session共享[实践篇Windows]

亦凉 2022-07-16 11:43 168阅读 0赞

*   *  实践环境
     *  打包下载
     *  nginx安装
     *  Nginxtomcat集群 负载均衡配置
     *  tomcatmemcached实现session共享
     *  测试Nginx和Tomcat
     *  Manager 节点详细属性补充
     *  nginx 配置详细补充 可以实现动静态分离

## 实践环境 ##

windows10 64位  
jdk 1.7  
tomcat 7.0  
nginx 1.10  
memcached 1.4.4

## 打包下载 ##

版本一致性很重要 不然会出现一系列莫名其妙的问题 这个我能用不代表你能使用

感谢：[http://download.csdn.net/download/xu\_xiao\_ji/9550578][http_download.csdn.net_download_xu_xiao_ji_9550578]

## nginx安装 ##

[http://www.oschina.net/question/1014681\_107718?fromerr=8MXDvfOJ][http_www.oschina.net_question_1014681_107718_fromerr_8MXDvfOJ]

将安装包ngin解压到X:/目录

> 启动Nginx：进入X:/nginx目录，执行命令：start nginx.exe，弹出屏会一闪而逝。接着输入tasklist /fi “imagename eq nginx.exe”，出现如下内容，表示nginx已正常启动啦！在浏览器输入[http://localhost][http_localhost]，可以看到Nginx的欢迎页。

![这里写图片描述][20161017160637575]  
更多Nginx常用命令：

停止Nginx：nginx.exe -s stop|quit

重启Nginx：nginx.exe -s reload

查看Nginx版本：nginx.exe -v

修改文件$NGINX\_HOME/conf/nginx.conf。

## Nginx+tomcat集群 负载均衡配置 ##

1.  这里我就一台计算机搭建两个tomcat 所有tomcat2的几个端口不能和tomcat1重复 如果是两天计算机跳过这里
    
    ![这里写图片描述][20161017160906357]

2 nginx /conf/nginx.conf配置修改

![这里写图片描述][20161017160826435]

3 设置tomcat root 的index.jsp 添加tomcat1字样 tomcat2添加tomcat2字样  
开启nginx tomcat1 tomcat2 如果访问localhost 刷新反复出现tomcat1 tomcat2 则配置成功

## tomcat+memcached实现session共享 ##

1 将需要的jar放入tomcat/lib下  
再次提醒不同序列化方式需要的jar包不一样 而且jar的版本也决定成败

2 配置tomcat/bin/context.xml 添加如下节点  
我这里端口改了默认是11211  
我这里使用的kryo序列化方案 不同序列化transcoderFactoryClass配置不同

## 测试Nginx和Tomcat ##

测试Nginx是否实现负载均衡已经Tomcat能否共享session信息，分别在两个Tomcat服务器的\\webapps\\ROOT目录下新建两个test.jsp页面，内容如下：

Tomcat1

<span style="font-family:KaiTi_GB2312;font-size:18px;"><%@ page contentType="text/html;charset=UTF-8" isELIgnored="false"%>
    SessionID:<%=session.getId()%> 
    <BR> 
    SessionIP:<%=request.getServerName()%> 
    <BR> 
    SessionPort:<%=request.getServerPort()%> 
    <% out.println("This is Tomcat Server 1111111"); %>
     </span>

Tomcat2

通过浏览器访问Nginx服务器，如下图将访问地址改成Nginx所在服务器。  
反复刷新浏览器，如果SessionID一直不变，下面的SessionPort的内容在不断变化则说明配置成功。

## Manager 节点详细属性补充 ##

> 1.className 必须  
> 类名：de.javakaffee.web.msm.MemcachedBackupSessionManager  
> 2.memcachedNodes 必须  
> memcached节点：此属性应该包含所有运行的 memcached节点或者membase bucket的uri地址，每一个memcached节点的属性定义格式为::， 多个节点定义直接使用空格或者逗号分隔，形如：memcachedNodes=”n1:app01:11211,n2:app02:11211”，如果只 有单个的memcached节点，则是可选项，只需配置:即可，形 如：memcachedNodes=”localhost:11211”。  
> 如果我们配置的是membase，那么从1.6.0版本开始，我们可以配置指定一个或者多个membase bucket uris，形如：[http://host1:8091/pools,http://host2:8091/pools][http_host1_8091_pools_http_host2_8091_pools]。Bucket 名称和密码通过属性username,password来定义。membase buckets连接需要遵循memcached协议，传输数据通过二进制流方式。  
> 3.failoverNodes 可选项  
> 故障转移节点：可选项，对非黏性session不可用，属性必须包含memcached节点集群的所有ids。节点id之间用空格或者逗号分隔。  
> 4.username 可选项  
> 从1.6.0版开始使用，并且是可选的。用来进行membase bucket或者SASL验证，密码可以为空。  
> 5.password 可选项  
> 从1.6.0版开始使用，并且是可选的。用来进行membase bucket或者SASL验证，密码可以为空。  
> 6.memcachedProtocol 可选项  
> 定义memcached协议，默认使用text文本，出属性指明memcached使用的存储协议。只支持text或者binary。  
> 7.sticky 可选项  
> 定义session方式为黏性或非黏性，默认为true，多个tomcat时需使用非黏性  
> 8.lockingMode 可选项  
> 只有非黏性session才使用，默认值为none  
> none: 从不对session进行锁定  
> all: session将一直被锁定，知道请求结束  
> auto: 对于只读请求，session将不会被锁定，如果是非只读请求，则session会被锁定  
> uriPattern:: 通过正则表达式的方式来对请求uri以及查询字符串进行匹配，只有匹配上的才会被锁定。  
> 9.requestUriIgnorePattern 可选项  
> 此属性是那些不能改备份Session的请求的正则表达式。如果像css,javascript,图片等静态文件被同一个Tomcat和同一个应用 上下文来提供，这些请求也会通过memcached-session-manager。但是这些请求在一个http会话中几乎没什么改变，所以他们没必要 触发Session备份。所以那些静态文件没必要触发Session备份，你就可以使用此属性定义。此属性必须符合java regex正则规范。 如：”.\*.(png|gif|jpg|css|js)$”
> 
> 10.sessionBackupAsync 可选项  
> 指定Session是否应该被异步保存到Memcached中。 如果被设置为true，backupThreadCount设置起作用，如果设置false，通过sessionBackupTimeout设置的过期时间起作用。  
> 11.backupThreadCount 可选项  
> 用来异步保存Session的线程数，(如果sessionBackupAsync=”true”)。默认值为cup的内核数。  
> 12.sessionBackupTimeout 可选项  
> 设置备份一个Session所用的时间，如果操作超过时间那么保存失败。此属性只在sessionBackupAsync=”false”是起作用。默认100毫秒  
> 13.operationTimeout 可选项  
> 从1.6.0版开始使用， 默认值为1000  
> 14.sessionAttributeFilter 可选项  
> 此属性是用来控制Session 中的那个属性值保存到Memcached中的正则表达式。郑则表达式被用来匹配Session中属性名称。如 sessionAttributeFilter=”^(userName|sessionHistory)$” 指定了只有”userName”和”sessionHistory”属性保存到Memcached中。依赖于选择的序列化策略。  
> 15.transcoderFactoryClass 可选项  
> 此属性值是创建序列化和反序列化 保存到Memcached中的Session的编码转换器的工厂类名。这个指定的类必须实现了 de.javakaffee.web.msm.TranscoderFactory和提供一个无参的构造方法。例如其他的有效的实现在其他 packages/jars中提供如：msm-kryo-serializer,msm-xstrea-serializer和msm- javolution-serializer.  
> 默认为 de.javakaffee.web.msm.JavaSerializationTranscoderFactory  
> 16.copyCollectionsForSerialization 可选项  
> 默认值为false。  
> 17.customConverter 可选项  
> 自己定义特殊的类注册到kryo自定义转换器中，实现序列化  
> 18.enableStatistics 可选项  
> 用来指定是否进行统计。 默认值为true。  
> 19.enabled 可选项  
> 指定Session保存到Memcached中是否可用和是否可以通过JMX进行改变。只用于粘性Session。 默认值为true。

## nginx 配置详细补充 可以实现动静态分离 ##

##定义nginx运行的用户各用户组
    user nginx nginx;
    ##nginx进程数，建议设置与cpu核心数一致
    worker_processes 1;
    worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
    ##全局错误日志定义类型[ debug | info | notice | warn | error | crit ]
    #error_log logs/error.log;
    #error_log logs/error.log notice;
    #error_log logs/error.log info;
    ##一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除，但是nginx分配请求并不均匀，所以建议与ulimit -n的值保持一致。
    worker_rlimit_nofile 65535;
    ##进程文件
    #pid logs/nginx.pid;
    ##工作模式与连接数上限
    events {
    　　##参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型，如果跑在FreeBSD上面，就用kqueue模型。
    　　use epoll;
    　　##单个进程的最大连接数
    　　worker_connections 65535;
    }
    ##设置http服务器
    http {
    　　##引入外置配置文件
    　　include /etc/nginx/conf.d/*.conf;
    　　##文件扩展名与文件类型映射表
    　　include mime.types;
    　　##默认文件类型
    　　default_type application/octet-stream;
    　　##默认编码
    　　#charset utf-8;
    　　##服务器名字的hash表大小
    　　#server_name_hash_bucket_size 128;
    　　##上传文件大小限制 建议打开
    　　client_header_buffer_size 32K;
    　　##设定请求缓存 建议打开
    　　large_client_header_buffers 4 64K;
    　　##最大缓存
    　　client_max_body_size 20M;
    client_header_timeout        20;
    　　##日志格式设定
    　　#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
    　　# '$status $body_bytes_sent "$http_referer" '
    　　# '"$http_user_agent" "$http_x_forwarded_for"';
    　　##访问日志
    　　#access_log logs/access.log main;
    　　##开启高效文件传输模式sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如　　　　果图片显示不正常把这个改成off。
    　　sendfile on;
    　　##开启目录列表访问，合适下载服务器，默认关闭
    　　#autoindex on;
    　　##防止网络阻塞 建议打开
    　　tcp_nopush on;
    　　##防止网络阻塞 建议打开
    　　tcp_nodelay on;
    　　##长链接超时时间，单位是秒，为0，无超时　　
    　　keepalive_timeout 65;
    　　##gzip模块设置
    　　##开启gzip压缩输出 建议打开
    　　gzip on;
    　　##最小压缩文件大小 建议打开
    　　gzip_min_length 1k;
    　　##压缩缓冲区 建议打开
    　　gzip_buffers 4 16k;
    　　##压缩版本（默认1.1，前端如果squid2.5请使用1.0） 建议打开
    　　gzip_http_version 1.0;
    　　##压缩等级
    　　gzip_comp_level 2;     建议打开
    　　##压缩类型，默认就已经包含了textxml,默认不用写，写上去也没有问题，会有一个warn 建议打开
    　　gzip_types text/plain application/x-javascript text/css application/xml;
    　　gzip_vary on;
    　　##开启连接限制ip连接数使用
    　　#limit_zone crawler $binary_remote_addr 10m;
    ##反向代理缓存Proxy Cache配置
    proxy_temp_path  /opt/cache/nginx/temp;
    proxy_cache_path /opt/cache/nginx/cache levels=1:2 keys_zone=infcache:600m inactive=1d max_size=2g;
    proxy_cache_path  /opt/cache/nginx/proxy_cache_image  levels=1:2   keys_zone=cache_image:3000m inactive=1d max_size=10g;
    proxy_connect_timeout 30; 
    proxy_read_timeout        60; 
    proxy_send_timeout        20; 
    proxy_buffer_size        96k; 
    proxy_buffers        8 256k; 
    proxy_busy_buffers_size        512k; 
    proxy_temp_file_write_size        512k;
    #proxy_cache_path配置
    #keys_zone=infcache:600m 表示这个zone名称为infcache，分配的内存大小为600MB
    #/opt/cache/nginx/cache 表示cache这个zone的文件要存放的目录
    #levels=1:2 表示缓存目录的第一级目录是1个字符，第二级目录是2个字符，即/data/ngx_cache/cache1/a/1b这种形式
    #inactive=1d 表示这个zone中的缓存文件如果在1天内都没有被访问，那么文件会被cache manager进程删除掉
    #max_size=10g 表示这个zone的硬盘容量为10GB
    　　##FastCGI相关参数是为了改善网站的性能：减少资源占用，提高访问速度。
    　　fastcgi_connect_timeout 300;
    　　fastcgi_send_timeout 300;
    　　fastcgi_read_timeout 300;
    　　fastcgi_buffer_size 64k;
    　　fastcgi_buffers 4 64k;
    　　fastcgi_busy_buffers_size 128k;
    　　fastcgi_temp_file_write_size 128k;
    　　##载均衡,weight权重，权值越高被分配到的几率越大
    　　upstream myserver{
    　　　　server 192.168.1.10:8080 weight=3;
    　　　　server 192.168.1.11:8080 weight=4;
    　　　　server 192.168.1.12:8080 weight=1;
    　　}
    　　##虚拟主机配置
    　　server {
    　　　　##监听端口
    　　　　listen 80;
    　　　　##域名可以有多个，用空格隔开
    　　　　server_name localhost;
    　　　　#charset koi8-r;
    　　　　##定义本虚拟主机的访问日志
    　　　　#access_log logs/host.access.log main;
    
    　　　　location / {
    　　　　　　root html;
    　　　　　　index index.html index.htm;
    　　　　}
    　　　　##图片缓存时间设置
    　　　　location ~.*.(gif|jpg|jpeg|png|bmp|swf)${
    　　　　　　expires 10d;
    　　　　}　　
    　　　　##js和CSS缓存时间设置
    　　　　location ~.*.(js|css)?${
    　　　　　　expires 1h;
    　　　　}
    　　　　#error_page 404 /404.html;
    　　　　# redirect server error pages to the static page /50x.html
    　　　　#error_page 500 502 503 504 /50x.html;
    　　　　location = /50x.html {
    　　　　　　root html;
    　　　　}
    　　　　# proxy the PHP scripts to Apache listening on 127.0.0.1:80
    　　　　#
    　　　　#location ~ \.php$ { 
    　　　　　　# proxy_pass http://127.0.0.1;
    　　　　#}
    　　　　# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
    　　　　#
    　　　　#location ~ \.php$ { 
    　　　　　　# root html;
    　　　　　　# fastcgi_pass 127.0.0.1:9000;
    　　　　　　# fastcgi_index index.php;
    　　　　　# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
    　　　　　　# include fastcgi_params;
    　　　　#}
    　　　　# deny access to .htaccess files, if Apache's document root
    　　　　# concurs with nginx's one
    　　　　#
    　　　　#location ~ /\.ht { 
    　　　　　　# deny all;
    　　　　#}
    　　　　
    　　　　##对 "/" 启用反向代理
    　　　　location / {
    　　　　　　##或者使用
    　　　　　　#proxy_pass http://myserver;
    　　　　　　proxy_pass http://127.0.0.1:88;
    　　　　　　proxy_redirect off;
    　　　　　　proxy_set_header X-Real-IP $remote_addr;#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
    　　　　　　proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    　　　　　　#以下是一些反向代理的配置，可选。
    　　　　　　proxy_set_header Host $host;
    　　　　　　client_max_body_size 10m; 　　　　　　#允许客户端请求的最大单文件字节数
    　　　　　　client_body_buffer_size 128k; 　　　　　#缓冲区代理缓冲用户端请求的最大字节数，
    　　　　　　proxy_connect_timeout 90; 　　　　　　#nginx跟后端服务器连接超时时间(代理连接超时)
    　　　　　　proxy_send_timeout 90;　　　　　　　　 #后端服务器数据回传时间(代理发送超时)
    　　　　　　proxy_read_timeout 90;　　　　　　　　 #连接成功后，后端服务器响应时间(代理接收超时)
    　　　　　　proxy_buffer_size 4k; 　　　　　　　　　　#设置代理服务器（nginx）保存用户头信息的缓冲区大小
    　　　　　　proxy_buffers 4 32k;　　　　　　　　　　 #proxy_buffers缓冲区，网页平均在32k以下的设置
    　　　　　　proxy_busy_buffers_size 64k; 　　　　　　#高负荷下缓冲大小（proxy_buffers*2）
    　　　　　　proxy_temp_file_write_size 64k;　　　　　　#设定缓存文件夹大小，大于这个值，将从upstream服务器传
    　　　　}
    　　　　##设定查看Nginx状态的地址
    　　　　location /NginxStatus {
    　　　　　　stub_status on;
    　　　　　　access_log on;
    　　　　　　auth_basic "NginxStatus";
    　　　　　　auth_basic_user_file confpasswd;
    　　　　　　#htpasswd文件的内容可以用apache提供的htpasswd工具来产生。
    　　　　}
    　　　　##本地动静分离反向代理配置
    　　　　#所有jsp的页面均交由tomcat或resin处理
    　　　　location ~ .(jsp|jspx|do)?$ {
    　　　　　　proxy_set_header Host $host;
    　　　　　　proxy_set_header X-Real-IP $remote_addr;
    　　　　　　proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    　　　　　　proxy_pass http://127.0.0.1:8080;
    　　　　}
    　　　　##所有静态文件由nginx直接读取不经过tomcat或resin
    　　　　location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
    　　　　　　{ expires 15d; }
    　　　　location ~ .*.(js|css)?$
    　　　　　　{ expires 1h; }
    　　}
    }

[http_download.csdn.net_download_xu_xiao_ji_9550578]: http://download.csdn.net/download/xu_xiao_ji/9550578
[http_www.oschina.net_question_1014681_107718_fromerr_8MXDvfOJ]: http://www.oschina.net/question/1014681_107718?fromerr=8MXDvfOJ
[http_localhost]: http://localhost
[20161017160637575]: /images/20220716/bcb9100459e64423a5443d81bb48745a.png
[20161017160906357]: /images/20220716/97899332765041ae9e0ac1f37950c758.png
[20161017160826435]: /images/20220716/bdfbf326dd9c4704adbc093a24be83d6.png
[http_host1_8091_pools_http_host2_8091_pools]: http://host1:8091/pools,http://host2:8091/pools