Tomcat服务器集群与负载均衡实现

谁践踏了优雅 2022-07-15 00:20 215阅读 0赞

一、前言

在单一的服务器上执行WEB应用程序有一些重大的问题，当网站成功建成并开始接受大量请求时，单一服务器终究无法满足需要处理的负荷量，所以就有点显得有点力不从心了。另外一个常见的问题是会产生单点故障，如果该服务器坏掉，那么网站就立刻无法运作了。不论是因为要有较佳的扩充性还是容错能力，我们都会想在一台以上的服务器计算机上执行WEB应用程序。所以，这时候我们就需要用到集群这一门技术了。

在进入集群系统架构探讨之前，先定义一些专门术语：

1. 集群(Cluster)：是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。

2. 负载均衡(Load Balance)：先得从集群讲起，集群就是一组连在一起的计算机，从外部看它是一个系统，各节点可以是不同的操作系统或不同硬件构成的计算机。如一个提供Web服务的集群，对外界来看是一个大Web服务器。不过集群的节点也可以单独提供服务。

3. 特点：在现有网络结构之上，负载均衡提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。集群系统(Cluster)主要解决下面几个问题：   
高可靠性（HA）：利用集群管理软件，当主服务器故障时，备份服务器能够自动接管主服务器的工作，并及时切换过去，以实现对用户的不间断服务。   
高性能计算（HP）：即充分利用集群中的每一台计算机的资源，实现复杂运算的并行处理，通常用于科学计算领域，比如基因分析，化学分析等。   
负载平衡：即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求。

总体来说，在负载均衡的思路下，多台服务器为对等方式，每台服务器都具有同等的地位，可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术，将外部发送来的请求按一定规则分配到对称结构中的某一台服务器上，而接收到请求的服务器都独立回应客户机的请求。

提供服务的一组服务器组成了一个应用服务器集群(cluster)，集群下的对等多机环境可以增加系统的并发处理能力，和单台机器出现故障系统的错误冗余能力；同时实现了负载均衡和系统高可靠性。

二、常用负载均衡技术

1. 基于DNS的负载均衡

通过DNS服务中的随机名字解析来实现负载均衡，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，他们也就访问不同地址上的Web服务器，从而达到负载均衡的目的。

2. 反向代理负载均衡 （如Apache+JK2+Tomcat这种组合）

使用代理服务器可以将请求转发给内部的Web服务器，让代理服务器将请求均匀地转发给多台内部Web服务器之一上，从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同，标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式。

3. 基于NAT（Network Address Translation）的负载均衡技术 （如Linux Virtual Server，简称LVS）

网络地址转换为在内部地址和外部地址之间进行转换，以便具备内部地址的计算机能访问外部网络，而当外部网络中的计算机访问地址转换网关拥有的某一外部地址时，地址转换网关能将其转发到一个映射的内部地址上。因此如果地址转换网关能将每个连接均匀转换为不同的内部服务器地址，此后外部网络中的计算机就各自与自己转换得到的地址上服务器进行通信，从而达到负载分担的目的。

三、Apache+JK2实现Tomcat集群与负载均衡

客户系统一般采用Apache httpd作为web服务器，即作为Tomcat的前端处理器，根据具体情况而定，有些情况下是不需要Apache httpd作为 web 服务器的，如系统展现没有静态页面那就不需要Apache httpd，那时可以直接使用Tomcat作为web 服务器来使用。使用Apache httpd主要是它在处理静态页面方面的能力比Tomcat强多了。

1. 集群实现原理

[![image][]][image 1]

如上图所示，主要通过 Apache-Server 作为中转服务器，实现多个 tomcat 服务器之间的分布式处理，用户直接请求 Apache-Server ，然后 Apache-Server 会将请求分发到具体的 tomcat-server ，之后 tomcat-server 响应客户请求并返回结果到 Apache-Server ，最后 Apache-Server 返回结果给用户。

2. 配置负载均衡器

文件说明：

(a) mod\_jk.conf，主要定义 mod\_jk 模块的位置以及 mod\_jk 模块的连接日志设置，还有定义 worker.properties 文件的位置。

(b) worker.properties，定义 worker 的参数，主要是连接 tomcat 主机的地址和端口信息。如果 Tomcat 与 apache 不在同一台机器上，或者需要做多台机器上 tomcat 的负载均衡只需要更改 workers.properties 文件中的相应定义即可。％ APACHE\_HOME ％为你的安装目录。

环境说明： 主要使用了一个 Apache Server 和两个 Tomcat ，在同一台电脑上进行测试。

(a) 准备软件

Jdk1.6 下载地址： [http://java.sun.com][http_java.sun.com]

tomcat -6.0.29 下载地址： [http://jakarta.apache.org][http_jakarta.apache.org]

apache\_2.2.4-win32-x86-no\_ssl.msi 下载地址： [http://httpd.apache.org/download.cgi][http_httpd.apache.org_download.cgi]

mod\_jk-1.2.31-httpd-2.0.52.so ( 主要作用是建立 Apache Server 与 Tomcat 之间的连接 ) 下载地址：[http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/][http_www.apache.org_dist_tomcat_tomcat-connectors_jk_binaries]

说明： apache-server 安装完成后，可以在浏览器中输入 [http://localhost/ ][http_localhost]来测试，如果出现 ” It works!” 则表示安装成功。

#### (b) 安装 mod\_jk 连接模块 ####

安装好 Jdk 、 tomcat 、 apache 后 , 加入 mod\_jk 连接模块，就是把 mod\_jk- 1.2.31 -httpd-2.2.3.so 文件拷贝到％ APACHE\_HOME ％ \\modules 下，把 jk 模块的配置放到单独的文件中来，在％ APACHE\_HOME ％ \\conf 目录新建 mod\_jk.conf 、 workers.properties 文件。

在 httpd.conf 最后加上：

> \# JK module settings
> 
> Include conf/mod\_jk.conf

说明：以上表示将 mod\_jk.conf 配置文件包含进来

#### (c) 修改 mod\_jk.conf 文件 ####

为了保持 httpd.conf 文件的简洁，把 jk 模块的配置放到单独的文件中来。在 mod\_jk.conf 文件中添加以下内容：

> \# Load mod\_jk2 module
> 
> LoadModule jk\_module modules/mod\_jk-1.2.31-httpd-2.2.3.so
> 
> \# Where to find workers.properties( 引用 workers 配置文件 )
> 
> JkWorkersFile conf/workers.properties
> 
> \# Where to put jk logs(log 文件路径 )
> 
> JkLogFile logs/mod\_jk2.log
> 
> \# Set the jk log level \[debug/error/info\](log 级别 )
> 
> JkLogLevel info
> 
> \# Select the log format(log 格式 )
> 
> JkLogStampFormat "\[%a %b %d %H:%M:%S %Y\] "
> 
> \# JkOptions indicate to send SSL KEY SIZE,
> 
> JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories
> 
> \# JkRequestLogFormat set the request format
> 
> JkRequestLogFormat "%w %V %T"
> 
> \# Send JSPs for context / to worker named loadBalancer(URL 转发配置，匹配的 URL 才转发到 tomcat 进行处理 )
> 
> JkMount /\*.jsp controller
> 
> \# JkMount /\*.\* loadBalancer

#### (d) 修改 workers.properties 文件 ####

在 workers.properties 文件中添加以下内容：

> \#server 列表
> 
> worker.list = controller,tomcat1,tomcat2
> 
> \# tomcat1(ajp13 端口号，在tomcat下server.xml配置,默认8009)
> 
> worker.tomcat1.port=8009
> 
> \#tomcat 的主机地址，如不为本机，请填写ip地址
> 
> worker.tomcat1.host=localhost
> 
> worker.tomcat1.type=ajp13
> 
> \#server 的加权比重，值越高，分得的请求越多
> 
> worker.tomcat1.lbfactor = 1
> 
> \# tomcat2
> 
> worker.tomcat2.port=9009
> 
> worker.tomcat2.host=localhost
> 
> worker.tomcat2.type=ajp13
> 
> worker.tomcat2.lbfactor = 1
> 
> \# controller( 负载均衡控制器)
> 
> worker.controller.type=lb
> 
> \# 指定分担请求的tomcat
> 
> worker.controller.balanced\_workers=tomcat1,tomcat2
> 
> \#worker.controller.sticky\_session=true

说明：此文件配置了 2 个 tomcat 服务器进行负载均衡处理

#### (e) 修改 tomcat 配置文件 server.xml ####

更改其中一个的设置打开 tomcat2/conf/server.xml 文件，修改里面所有的端口设置，将 8 改为 9 ，如下： ![13102215_YLS1.png][]   
![13102216_ULnO.png][]   
![13102216_LGWS.png][]

#### (f) 编写一个测试页面 teat1.jsp ####

建立一个 test 的 web 应用，里面新建一个 test1.jsp, 内容为：

[![image][image 2]][image_image 2]

#### (g) 启动服务器并进行测试 ####

依次启动 apache-server 、 tomcat1 、 tomcat2 ，通过 [http://localhost/test/test1.jsp ][http_localhost_test_test1.jsp]访问，查看 tomcat1 的窗口，可以看到打印了一行 "==========" ，再刷新一次， tomcat2 也打印了一条，再刷新，可以看到请求会被 tomcat1,tomcat2 轮流处理 , 实现了负载均衡

![13102216_QBWB.png][]

### 3. 集群 (session复制 ) ###

只配置负载均衡还不行，还要 session 复制，也就是说其中任何一个 tomcat 的添加的 session ，是要同步复制到其它 tomcat ， 集群内的 tomcat 都有相同的 session：

#### (a) Tomcat 配置 ####

修改 tomcat1, tomcat2 的 server.xml 文件添加集群内容， tomcat5.5 无需添加，只需要去掉注释符， tomcat6.0 需要添加，内容如下：

> <Cluster className="org.apache.catalina.cluster.tcp.SimpleTcpCluster"
> 
> managerClassName="org.apache.catalina.cluster.session.DeltaManager"
> 
> expireSessionsOnShutdown="false"
> 
> useDirtyFlag="true"
> 
> notifyListenersOnReplication="true">
> 
> <Membership
> 
> className="org.apache.catalina.cluster.mcast.McastService"
> 
> mcastAddr="228.0.0.4"
> 
> mcastPort="45564"
> 
> mcastFrequency="500"
> 
> mcastDropTime="3000"/>
> 
> <Receiver
> 
> className="org.apache.catalina.cluster.tcp.ReplicationListener"
> 
> tcpListenAddress="auto"
> 
> tcpListenPort="4001"
> 
> tcpSelectorTimeout="100"
> 
> tcpThreadCount="6"/>
> 
> <Sender
> 
> className="org.apache.catalina.cluster.tcp.ReplicationTransmitter"
> 
> replicationMode="pooled"
> 
> ackTimeout="15000"
> 
> waitForAck="true"/>
> 
> <Valve className="org.apache.catalina.cluster.tcp.ReplicationValve"
> 
> filter=".\*\\.gif;.\*\\.js;.\*\\.jpg;.\*\\.png;.\*\\.htm;.\*\\.html;.\*\\.css;.\*\\.txt;"/>
> 
> <Deployer className="org.apache.catalina.cluster.deploy.FarmWarDeployer"
> 
> tempDir="/tmp/war-temp/"
> 
> deployDir="/tmp/war-deploy/"
> 
> watchDir="/tmp/war-listen/"
> 
> watchEnabled="false"/>
> 
> <ClusterListener className="org.apache.catalina.cluster.session.ClusterSessionListener"/>
> 
> </Cluster>

分别添加以上内容后，在 tomcat2 中，修改 tcpListenPort="4001" 为 4002。

Engine 增加 jvmRoute 属性设置， jvmRoute 的值来自于 workers.properties 文件所设置的服务器名称。

> <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1" >
> 
> \#server 列表
> 
> worker.list = controller,tomcat1,tomcat2

(b) 添加 test.jsp 页面

[![image][image 3]][image_image 3][![image][image 4]][image_image 4]

修改 web.xml 文件，加入 <distributable/> 节点，如下所示：

[![image][image 5]][image_image 5]

测试步骤如下：

1) 启动 apache-server 、 tomcat1 、 tomcat2

2) 访问 [http://localhost/test/test.jsp ][http_localhost_test_test.jsp]，输入名称： test0001 、值： 123 并点击“提交查询内容”按钮，显示效果如下：

如上图所示， tomcat1 创建了一个新的 session ， session 中有属性 test0001, 值为 123   
![13102216_PcRJ.png][]

3) 关闭 tomcat1 服务器， tomcat1 端口为 8080 ，如下图：   
![13102216_iszB.png][]

4) 在页面中再次点击“提交查询内容”按钮，效果如下：   
![13102216_6q7z.png][]   
前端页面并没有发生改变，接下来查看后台情况：   
![13102216_qxYS.png][]   
如图所示，可以发现 session 已成功复制到 tomcat2 中，以此证明 tomcat 集群已配置成功。

5) 另外来看看不关闭 tomcat1 服务器再次提交的情况   
![13102216_HzBT.png][]   
如图所示，请求并没有转发到 tomcat2 服务器，而是再次转回 tomcat1 服务器，这种情况是由于配置了 jvmRoute 所致，以个人理解，配置了此属性后， apache-server 会根据 session 情况来进行路由，同一个 session 会转发给同一个服务器。

6) 打开一个新的 IE 窗口，并访问 [http://localhost/test/test.jsp][http_localhost_test_test.jsp]

![13102217_kNgs.png][]   
![13102217_1NJW.png][]   
新窗口的请求转发到了 tomcat2 服务器， session 的 id 为 DD9E6C8181653B9BCCF534FC8760B264.tomcat2 ，根据测试结果可以说明，在不发生服务器关闭的情况下，每个 session 会绑定到同一个服务器中，而不会在服务器间发生复制。

四、总结

介绍完上面的集群技术之后，下面就基于Tomcat的集群架构方案进行说明：

1. 用户的网页浏览器做完本地 DNS和企业授权的DNS之的请求/响应后，这时候企业授权的DNS（即21cn BOSS DNS）会给用户本地的DNS服务器提供一个NAT请求分配器（即网关）IP。   
2. NAT分配器，它会根据特定的分配算法，来决定要将连接交给哪一台内部 Apache httpd来处理请求。大多数的NAT请求分配器提供了容错能力：根据侦测各种WEB服务器的失效状况，停止将请求分配给已经宕掉的服务器。并且有些分配器还可以监测到WEB服务器机器的负载情况，并将请求分配给负载最轻的服务器等等。Linux Virtual Server是一个基于Linux操作系统上执行的VS-NAT开源软件套件，而且它有丰富的功能和良好的说明文件。商业硬件解决方案 Foundry Networks的ServerIron是目前业界公认最佳的请求分配器之一。   
3. Apache httpd + Mod\_JK2在这里是作为负载均衡器，那为什么要做集群呢？如果集群系统要具备容错能力，以便在任何单一的硬件或软件组件失效时还能100%可用，那么集群系统必须没有单点故障之忧。所以，不能只架设一台有mod\_jk2的Apache httpd，因为如果 httpd或mod\_jk2失效了，将不会再有请求被会送交到任何一个Tomcat 实例。这种情况下，Apache httpd就是瓶劲，特别在访问量大的网站。   
4. Mod\_JK2负载均衡与故障复原，决定把Apache httpd当成web服务器，而且使用mod\_jk2将请求传送给Tomcat，则可以使用mod\_jk2的负载均衡与容错功能。在集群系统中，带有mod\_jk2的Apache httpd可以做的事情包括：

> A 将请求分配至一或多个Tomcat实例上你可以在mod\_jk2的workers.properties文件中，设定许多Tomcat实例，并赋于每个实例一个lb\_factor值，以作为请求分配的加权因子。   
> B. 侦测Tomcat实例是否失败当Tomcat实例的连接器服务不再响应时，mod\_jk2会及时侦测到，并停止将请求送给它。其他的Tomcat实例则会接受失效实例的负载。   
> C. 侦测Tomcat实例在失效后的何时恢复因连接器服务失效，而停止将请求分配给Tomcat实例之后，mod\_jk2会周期性地检查是否已恢复使用性，并自动将其加入现行的Tomcat实例池中。

5. Tomcat中的集群原理是通过组播的方式进行节点的查找并使用TCP连接进行会话的复制。这里提示一下就是，对每个请求的处理，Tomcat都会进行会话复制，复制后的会话将会慢慢变得庞大。   
6. Mod\_jk2同时支持会话亲和和会话复制。在tomcat 5中如何实现会话亲和和会话复制？把server.xml中的标签去掉就实现会话亲和，把标签加上就实现会话复制。   
7. 会话亲和：就是表示来自同会话的所有请求都由相同的Tomcat 实例来处理，这种情况下，如果Tomcat实例或所执行的服务器机器失效，也会丧失Servlet的会话数据。即使在集群系统中执行更多的Tomcat实例，也永远不会复制会话数据。这样是提高集群性能的一种方案，但不具备有容错能力了。   
8. 使用会话复制，则当一个Tomcat实例宕掉时，由于至少还有另一个Tomcat实例保有一份会话状态数据，因而数据不会丧失。但性能会有所降低。

其实无论是分布式，数据缓存，还是负载均衡，无非就是改善网站的性能瓶颈，在网站源码不做优化的情况下，负载均衡可以说是最直接的手段了。其实抛开这个名词，放开了说，就是希望用户能够分流，也就是说把所有用户的访问压力分散到多台服务器上，也可以分散到多个tomcat里，如果一台服务器装多个tomcat，那么即使是负载均衡，性能也提高不了太多，不过可以提高稳定性，即容错性。当其中一个主tomcat当掉，其他的tomcat也可以补上，因为tomcat之间实现了Session共享。待tomcat服务器修复后再次启动，就会自动拷贝所有session数据，然后加入集群。这样就可以不间断的提供服务。如果要真正从本质上提升性能，必须要分布到多台服务器。

其实多台服务器各配置一个tomcat也可以实现负载均衡，而且那样的话，可以使用安装版的tomcat，而不用是下文中的免安装的tomcat，而且tomcat端口配置也就不用修改了。

[image]: /images/20220715/9ee5974739d14fba8e52f7a90425b53c.png
[image 1]: http://static.oschina.net/uploads/img/201211/07000904_Assg.png
[http_java.sun.com]: http://java.sun.com/
[http_jakarta.apache.org]: http://jakarta.apache.org/
[http_httpd.apache.org_download.cgi]: http://httpd.apache.org/download.cgi
[http_www.apache.org_dist_tomcat_tomcat-connectors_jk_binaries]: http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/
[http_localhost]: http://localhost/
[13102215_YLS1.png]: /images/20220715/7fa56466146249079b43b4f62e92590e.png
[13102216_ULnO.png]: /images/20220715/d1aef2a4b1a54a07b8835e9c4c11e583.png
[13102216_LGWS.png]: /images/20220715/4aa0c540c1414e22a0c0b04d60f975b5.png
[image 2]: http://static.oschina.net/uploads/img/201211/07205744_PBtb.png
[image_image 2]: /images/20220715/fa7d8397c55140c2ba6ad550386ed620.png
[http_localhost_test_test1.jsp]: http://localhost/test/test1.jsp
[13102216_QBWB.png]: /images/20220715/0bd163faca24499b84a9f611a3fcffb7.png
[image 3]: http://static.oschina.net/uploads/img/201211/07205749_mT3E.png
[image_image 3]: http://static.oschina.net/uploads/img/201211/07205745_t1fk.png
[image 4]: http://static.oschina.net/uploads/img/201211/07205752_DWWc.png
[image_image 4]: /images/20220715/8105e07b6bd04aa38924d21b42b9bb1f.png
[image 5]: http://static.oschina.net/uploads/img/201211/07205753_1lJa.png
[image_image 5]: /images/20220715/f8bbd9c5868c424584ff484aec83d178.png
[http_localhost_test_test.jsp]: http://localhost/test/test.jsp
[13102216_PcRJ.png]: /images/20220715/a186594232d74c029092b8f386879269.png
[13102216_iszB.png]: /images/20220715/2315948d46924db08b7c2b05d7f97d6b.png
[13102216_6q7z.png]: /images/20220715/92fddda797f14a56a36abdca6bda895d.png
[13102216_qxYS.png]: /images/20220715/941dc8d222c14a58a8d64bd59db20e2a.png
[13102216_HzBT.png]: /images/20220715/8f5641c3c30a44c7b7f3130d6c9d5335.png
[13102217_kNgs.png]: /images/20220715/180b0f45e2c54f4bb47928c1279ce887.png
[13102217_1NJW.png]: /images/20220715/1c7f3cd55558443fb85511a84a2685c1.png