jboss-5.1.0.GA 集群环境搭建 APACHE 双节点单网卡地址单机

逃离我推掉我的手 2021-11-26 11:20 159阅读 0赞

此文章仅为了解APACHE+JBOSS集群部署

# 1        文档概要 #

*  前期准备
 *  JBOSS部署 NODE 建立
 *  APACHE部署
 *  APACHE mod\_jk集成

# 2        前期准备： #

下载 jboss-5.1.0.GA-jdk6.zip  [http://www.jboss.org/jbossas/downloads/][http_www.jboss.org_jbossas_downloads]

PC: WIN7

网卡：单网卡

APACHE：官方无64 bit WIN 版本，下载位置[ https://blackdot.be/download-archive/][https_blackdot.be_download-archive]，下载httpd-2.2.19-win64.zip mod\_jk1.2.30\_x64.zip

*关于APACHE mod\_jk 若其他系统版本可参考[http://httpd.apache.org/][http_httpd.apache.org]  [http://www.apache.org/dist/jakarta/tomcat-connectors/jk/binaries/][http_www.apache.org_dist_jakarta_tomcat-connectors_jk_binaries] 进行下载*

# 3        JBOSS 部署： #

*  下载jboss-5.1.0.GA-jdk6.zip ，解压至E:\\tools\\jboss-5.1.0.GA
 *  进入 E:\\tools\\jboss-5.1.0.GA\\server\\ 目录
 *  复制all目录两次，分别命名为node1 node2
 *  进入 E:\\tools\\jboss-5.1.0.GA\\bin 目录，执行以下命令启动NODE、

run.bat -c node1 -g DocsPartition -u 239.255.100.100 ^
    -b 10.120.249.138 -Djboss.messaging.ServerPeerID=1 ^
    -Djboss.service.binding.set=ports-default
    run.bat -c node2 -g DocsPartition -u 239.255.100.100 ^
    -b 10.120.249.138 -Djboss.messaging.ServerPeerID=2 ^
    -Djboss.service.binding.set=ports-01

命令说明  
*-c 开关指明JBOSS启动哪个服务   
\-g 开关指明集群名称  
\-u 开关设置广播地址（建议？？）  
\-b 开关设置网络地址（建议与网卡静态地址保持一致）  
\-Djboss.messaging.ServerPeerID 指定NODE ID  
\-Djboss.service.binding.set 指定服务绑定端口号组（e.g ports-default http为8080 ，ports-01 为 8090 ），由于单机多*

*服务，所以需要使用不同端口启动NODE*

**这个\-u地址到现在没弄明白，广播地址，但配置成什么？等待。。。。**

# 4        APACHE部署： #

解压httpd-2.2.19-win64.zip 至d:\\httpd-2.2-x64

编辑 D:/httpd-2.2-x64/conf/httpd.conf  文件 ，替换所有/httpd-2.2-x64 为 d:/httpd-2.2-x64

若需要解决盗链或者提供友好请求地址则修改配置文件将\#LoadModule rewrite\_modulemodules/mod\_rewrite.so 行，去除\#注释

加入WIN 服务

运行-cmd

cdD:\\httpd-2.2-x64\\bin

httpd.exe -kinstall

启动服务：httpd.exe -k start

验证：启动IE，输入http://localhost/，若页面显示It works! 安装成功！

停止服务：httpd.exe -k stop

## 4.1     配置mod\_jk：\*\*\*\*\* 初步复杂 ##

注意版本为1.2.x，不要用2.x

将 mod\_jk1.2.30\_x64.zip 解压后， 拷贝modules目录中mod\_jk.so 至 D:\\httpd-2.2-x64\\modules（由于此部分参照JBOSS Clustering\_Guide，因此，不是压缩包内全部内容拷贝）

## 4.2     APACHE 加入mod\_jk ##

修改APACHE\_HOME/conf/httpd.conf 文件，末尾加入

\# Include mod\_jk'sspecific configuration file  
Include conf/mod-jk.conf

## 4.3     mod\_jk新增负载均衡处理规则 ##

在APACHE\_HOME/conf/目录下创建新文件mod-jk.conf，内容如下

# Load mod_jk module
    # Specify the filename of the mod_jk lib
    LoadModule jk_module modules/mod_jk.so
    
    
    # Where to find workers.properties
    JkWorkersFile conf/workers.properties
    
    
    # Where to put jk logs
    JkLogFile logs/mod_jk.log
    
    
    # Set the jk log level [debug/error/info]
    JkLogLevel info
    
    
    # Select the log format
    JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"
    
    
    # JkOptions indicates to send SSK KEY SIZE
    JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories
    
    
    # JkRequestLogFormat
    JkRequestLogFormat "%w %V %T"
    
    
    # Mount your applications
    JkMount /* loadbalancer
    
    
    # You can use external file for mount points.
    # It will be checked for updates each 60 seconds.
    # The format of the file is: /url=worker
    # /examples/*=loadbalancer
    JkMountFile conf/uriworkermap.properties
    
    
    # Add shared memory.
    # This directive is present with 1.2.10 and
    # later versions of mod_jk, and is needed for
    # for load balancing to work properly
    JkShmFile logs/jk.shm
    
    
    # Add jkstatus for managing runtime data
    <Location /jkstatus/>
        JkMount status
        Order deny,allow
        Deny from all
        Allow from 127.0.0.1
    </Location>

**其中有两个非常重要的设置**

*  LoadModule 指令所指向的文件必须与之前下载放置的mod\_jk.so相同
 *  JkMount 指令 配置哪些URL应该被负载均衡所加载，换句话说就是一旦有人访问了该URL，则mod\_jk就会负责负载均衡的转发，若想全部路径均使用，则可配置/\*

/application/\* 这个有点意思，JBOSS文档给出这个，是说非application路径的访问时静态的页面，涉及至业务逻辑application 的需要转发至负载均衡，也正是分布式部署的目标吧

除了使用JkMount ，也可以使用JkMountFile 指令指定一个负责负载均衡的配置文件，该文件一般存在APACHE\_HOME/conf 目录下，名称为 uriworkermap.properties，以下为该文件内容样例

#Simple worker configuration file
    #Mount the Servlet context to the ajp13 worker
    /jmx-console=loadbalancer
    /jmx-console/*=loadbalancer
    /web-console=loadbalancer
    /web-console/*=loadbalancer

上面文件配置指出jmx\_console web-console访通过负载均衡分发

## 4.4     在mod\_jk中配置工作WORKER ##

顾名思义，你不告诉mod\_jk你的node在哪里，它怎么知道转发http请求给谁，所以需要一个配置文件conf/workers.properties

# Define list of workers that will be used
    # for mapping requests
    worker.list=loadbalancer,status
    
    
    # Define Node1
    # modify the host as your host IP or DNS name.
    worker.node1.port=8009
    worker.node1.host=10.120.249.138
    worker.node1.type=ajp13
    worker.node1.lbfactor=1
    #worker.node1.cachesize=3
    
    
    # Define Node2
    # modify the host as your host IP or DNS name.
    worker.node2.port=8109
    worker.node2.host= 10.120.249.138
    worker.node2.type=ajp13
    worker.node2.lbfactor=1
    #worker.node2.cachesize=3
    
    
    # Load-balancing behaviour
    worker.loadbalancer.type=lb
    worker.loadbalancer.balance_workers=node1,node2
    worker.loadbalancer.sticky_session=0
    #worker.list=loadbalancer
    
    
    # Status worker for managing load balancer
    worker.status.type=status

看到很多人堆这部分配置，都说会在目录log下，出现配置中部分属性（worker.node2.cachesize）的不支持。关于具体mod\_jk版本对应属性可以参看[http://tomcat.apache.org/connectors-doc/reference/workers.html][http_tomcat.apache.org_connectors-doc_reference_workers.html]

** **

**读一下这个配置文件内容！**

*   worker.node2.port 这个地方，JBOSS官方文档两个NODE都是8009，单机情况下是不对的，注意，这个port 指的是AJP/1.3 协议的端口，默认8009 ，port-01 是8109
 *   lbfactor 为负载权重，值越大，分的活越多
 *  worker.node1.host 可以填写域名也可以填写IP，当然域名需要在HOSTS文件中配置的
 *   cachesize ，缓存大小，不要大于目标servlet容器缓存大小就可以了。
 *  有个type=ajp13  ajp是一个协议

**扩充：**mod\_jk模块的典型工作流程是这样的：一个HTTP请求过来，mod\_jk模块根据其URI选择合适的worker来进行处理。如果是lb\_worker（负载均衡的worker），就再根据各种条件选择后台合适的ajp\_worker（处理AJP协议的worker）。ajp\_worker将HTTP协议的包，组装成AJP协议格式的包，然后选取一条空闲的链接，发送给后台的tomcat服务器。等到后台将数据发送过来时，接收并解析AJP协议，重新组装成HTTP协议，然后把结果发送给客户端

*  worker.node1.host、worker.node2.host需要改成jboss集群各机器的实际IP. 如果有更多的节点,新增更多的node段,并在worker.loadbalancer.balance\_workers 后加入新增节点. 
 *  好的，还有worker.loadbalancer.sticky\_session=1

这个也挺有意思，假设一种情况，客户端发送两个请求给jk ,jk分别转发至两个NODE，那么此时在NODE之间的SESSION就会存在不同，就是JBOSS的粘性SESSION sticky\_session概念。为了避免该情况，通过配置worker.loadbalancer.sticky\_session=1 设置为当同一个IP过来始终又同一台服务器进行处理。若设置为0则，可多台机器处理（更符合分布式处理架构）。那这样又会出现一个问题，当一个正在处理用户请求的服务器出现问题，那么另外一台服务器没有该用户SESSION信息，这样就用到了SESSION复制技术（会在文末解释）。

# 5        JBOSS节点信息修改 #

mod\_jk 至此配置结束，下面配置JBOSS的节点，让他们知道节点名字信息

编辑JBOSS\_HOME/server/node1/deploy/jbossweb.sar/server.xml

找到Engine 节点，新增属性 jvmRoute="node1" ，修改后如下

<Enginename="jboss.web" defaultHost="localhost"jvmRoute="node1">

确认该文件中AJP连接器启用，查看 Connector protocol="AJP/1.3" 节点是否被注释，默认启用

同样对 JBOSS\_HOME/server/node2/deploy/jbossweb.sar/server.xml进行操作，新增jvmRoute="node2"属性。

至此大功告成

# 6        发布 #

JOBSS集群发布，可以找到 E:\\tools\\jboss-5.1.0.GA\\server\\node2\\farm目录，将发布的内容拷贝进来。通过控制台可以很清楚的看到 NODE2，开始发布，过一会儿NODE1控制台开始自动同步。

# 7        测试 #

**注意：**当localhost/jmx-console可以访问，但自定义应用不能访问，请检查JkMount，开为/\*，或者在uriworkermap.properties 文件中添加映射路径。

HTTP测试

保证启动APACHE 、JBOSS NODE1/2 ，地址栏输入[http://localhost/jmx-console/][http_localhost_jmx-console] ，会自动跳转至jmx-console。

地址栏输入自定义应用，尝试访问自定义应用。

确认正常访问后，停止NODE1 NODE2 中的一个，另一个可以正常访问。

# 8        Jboss集群session复制   #

前文有个配置叫worker.loadbalancer.sticky\_session=1 ， 就是强制一个访问端的所有请求都发送至一个NODE，但当NODE down时候，不可避免的会丢失session信息。所以会用到session复制。

## 8.1     一般情况 ##

在JavaEE开发中，写入web.xml中

<?xml version="1.0"?>
    <web-app xmlns="http://java.sun.com/xml/ns/j2ee"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee
    http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd"
    version="2.4">
          <distributable/>
    </web-app>

写入 dirtributable标签即可。

## 8.2     进一步配置session复制 ##

可单独写入jboss-web.xml文件

<!DOCTYPE jboss-web PUBLIC
    -//JBoss//DTD Web Application 5.0//EN
    http://www.jboss.org/j2ee/dtd/jboss-web_5_0.dtd>
    <jboss-web>
        <max-active-sessions>20</max-active-sessions>
            <passivation-config>
            <use-session-passivation>true</use-session-passivation>
            <passivation-min-idle-time>60</passivation-min-idle-time>
            <passivation-max-idle-time>600</passivation-max-idle-time>
        </passivation-config>
    </jboss-web>

具体节点含义，后记会增加，暂时可参考《JBoss AS 5.1 Clustering Guide》  
9 参考文献：  
JBoss AS 5.1 Clustering Guide   
http://wenku.baidu.com/view/ea7b6247b307e87101f69658.html

[http_www.jboss.org_jbossas_downloads]: http://www.jboss.org/jbossas/downloads/
[https_blackdot.be_download-archive]: https://blackdot.be/download-archive/
[http_httpd.apache.org]: http://httpd.apache.org/
[http_www.apache.org_dist_jakarta_tomcat-connectors_jk_binaries]: http://www.apache.org/dist/jakarta/tomcat-connectors/jk/binaries/
[http_tomcat.apache.org_connectors-doc_reference_workers.html]: http://tomcat.apache.org/connectors-doc/reference/workers.html
[http_localhost_jmx-console]: http://localhost/jmx-console/