SolrCloud 分布式集群安装部署（solr4.8.1 + zookeeper +tomcat）

小咪咪 2022-08-10 17:44 136阅读 0赞

SolrCloud 分布式集群安装部署

**安装软件包准备**

·        apache-tomcat-7.0.54
    ·        jdk1.7
    ·        solr-4.8.1
    ·        zookeeper-3.4.5

注：以上软件都是基于 Linux环境的 64位软件，以上软件请到各自的官网下载。

**服务器准备**

为搭建这个集群，准备三台服务器，分别为
    192.168.0.112 --master 角色
    192.168.0.113 -- slave 角色
    192.168.0.114 -- slave 角色

**搭建基础环境**

1.      安装 jdk1.7 -这个大家都会安装，就不费键盘了。（记得配置环境变量）
    2.     配置主机 /etc/hosts 文件 - 当然，如果内部有内部DNS解析，就不需要配置 hosts文件了。在 3 台服务器的 /etc/hosts 中添加以下记录
    192.168.0.112 SOLR-CLOUD-001
    192.168.0.113 SOLR-CLOUD-002
    192.168.0.114 SOLR-CLOUD-003

**zookeeper 部署**

Zookeeper 分布式服务框架是 Apache Hadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。

注：Zookeeper集群的机器个数推荐是奇数台，半数机器挂掉，服务是可以正常提供的

首先以 192.168.0.112为例来搭建 zookeeper：

1.      在软件部署目录下面部署 zookeeper，把下载的 zookeeper-3.4.5解压到软件部署目录 /usr/local

注：为了统一部署，以及以后自动化方便，必须统一软件部署目录，目前我这边是以 \`\`/usr/local\`\`\`为软件部署主目录

2.     建立 zookeeper的数据、日志以及配置文件目录

mkdir -p /usr/local/data/zookeeper-data/
     
    mkdir -p /usr/local/data/zookeeper-data/logs/

注： /usr/local/data 是定义的统一存放数据的目录

1.      把 zookeeper 的 conf 目录下面的 zoo\_sample.cfg 修改成 zoo.cfg，并且对其内容做修改

cp -av /usr/local/zookeeper-3.4.5/conf/zoo\_sample.cfg /usr/local/zookeeper-3.4.5/conf/zoo.cfg

修改 zoo.cfg 的内容，主要是修改 dataDir 、dataLogDir和 server.1-3

# The number of millisecondsof each tick
    tickTime=2000
    # The number of ticks that the initial
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here isjust
    # example sakes.
    dataDir=/usr/local/data/zookeeper-data
    dataLogDir=/usr/local/data/zookeeper-data/logs
     
    server.1=SOLR-CLOUD-001:2888:3888
    server.2=SOLR-CLOUD-002:2888:3888
    server.3=SOLR-CLOUD-003:2888:3888
    # the port at which the clients will connect
    clientPort=2181
    #
    # Be sure to read the maintenance sectionof the
    # administrator guide before turning on autopurge.
    #
    #http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retainindataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" todisable auto purge feature
    #autopurge.purgeInterval=1

注：  
tickTime：这个时间是作为 Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime时间就会发送一个心跳。  
initLimit：这个配置项是用来配置 Zookeeper接受客户端（这里所说的客户端不是用户连接 Zookeeper服务器的客户端，而是 Zookeeper服务器集群中连接到 Leader的 Follower服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10个心跳的时间（也就是tickTime）长度后 Zookeeper服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10**秒。  
syncLimit：这个配置项标识 Leader与 Follower之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime的时间长度，总的时间长度就是 2*2000=4秒  
dataDir：顾名思义就是 Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。  
dataLogDir： Zookeeper的日志文件位置。  
server.A=B：C：D：其中 A是一个数字，表示这个是第几号服务器；B是这个服务器的 ip地址；C  表示的是这个服务器与集群中的 Leader服务器交换信息的端口；D表示的是万一集群中的 Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B都是一样，所以不同的 Zookeeper实例通信端口号不能一样，所以要给它们分配不同的端口号。  
clientPort：这个端口就是客户端连接 Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。

1.      同步 zookeeper的配置以及相关目录到其他两台服务中

scp -r /usr/local/zookeeper-3.4.5 solr@192.168.0.113:/usr/local
    scp -r /usr/local/data/zookeeper-data solr@192.168.0.113:/usr/local/data
     
     
    scp -r /usr/local/zookeeper-3.4.5 solr@192.168.0.114:/usr/local
    scp -r /usr/local/data/zookeeper-data solr@192.168.0.114:/usr/local/data
     
    注：也可以采用命令 scp -r /usr/local/zookeeper-3.4.5  192.168.0.114:/usr/local
    来同步（输入密码即可）

1.      创建 myid文件存储该机器的标识码，比如 server.1的标识码就是 “1”，myid文件的内容就一行： 1

192.168.0.112
    echo"1" >> /usr/local/data/zookeeper-data/myid
    192.168.0.113
    echo"2" >> /usr/local/data/zookeeper-data/myid
    192.168.3
    echo"3" >> /usr/local/data/zookeeper-data/myid

1.      分别启动三台服务器的 zookeeper

cd /usr/local/zookeeper-3.4.5/bin

./zkServer.sh **start**

查看 zookeeper的状态

[solr@SOLR-CLOUD-001 bin]$ ./zkServer.sh status
    JMX enabled by default
    Using config: /usr/local/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Mode: leader
    [solr@SOLR-CLOUD-002 bin]$ ./zkServer.sh status
    JMX enabled by default
    Using config: /usr/local/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Mode: follower
    [solr@SOLR-CLOUD-003 bin]$ ./zkServer.sh status
    JMX enabled by default
    Using config: /usr/local/zookeeper-3.4.5/bin/../conf/zoo.cfg
    Mode: follower

**Solrcloud分布式集群搭建**

1.      解压部署 tomcat -解压部署后的目录为 /usr/local/apache-tomcat-7.0.54

2.     解压 solr-4.8.1的压缩包，并且把solr-4.8.1/example/webapps/solr.war解压至 /usr/local/solr目录下

3.     把 solr-4.8.1\\example\\lib\\ext下的 jar包放到solr\\WEB-INF\\lib下

4.     以 192.168.0.112为例，创建以下目录

mkdir -p /usr/local/solrcloud/config-files
    mkdir -p /usr/local/solrcloud/solr-lib

1.      把 solr/WEB-INF/lib下的所有 jar包拷贝到 /usr/local/solrcloud/solr-lib目录

**cp** \-av /usr/local/solr/WEB-INF/lib/\*.jar /usr/local/solrcloud/solr-lib

1.      solr/example/solr/collection1/conf下的所有文件拷贝到 /usr/local/solrcloud/config-files目录

cp -av /usr/local/solr/example/solr/collection1/conf/\*/usr/local/solrcloud/config\-files/

1.      将 /usr/local/solr目录拷贝到 /usr/local/apache-tomcat-7.0.54/webapps目录下面

**cp** \-av /usr/local/solr /usr/local/apache-tomcat-7.0.54/webapps

1.      创建 solr的数据目录 /usr/local/solr-cores 并在该目录下生成 solr.xml，这是 solr 的核心配置文件

原始的配置文件如下

<?xml version="1.0"encoding="UTF-8" ?> 
    <solr persistent="true"> 
    <logging enabled="true"> 
    <watcher size="100"threshold="INFO" /> 
    </logging> 
    <cores defaultCoreName="collection1"adminPath="/admin/cores"host="${host:}"hostPort="8080"hostContext="${hostContext:solr}"zkClientTimeout="${zkClientTimeout:15000}"> 
    </cores> 
    </solr>

1.      创建/usr/local/apache-tomcat-7.0.54/conf/Catalina目录和 /usr/local/apache-tomcat-7.0.54/conf/Catalina/localhost目录

mkdir -p /usr/local/apache-tomcat-7.0.54/conf/Catalina
    mkdir -p /usr/local/apache-tomcat-7.0.54/conf/Catalina/localhost

1.      在 /usr/local/apache-tomcat-7.0.54/conf/Catalina/localhost下创建 solr.xml文件，此文件为 **Solr/home**的配置文件

<?xml version="1.0"encoding="UTF-8"?> 
    <Context docBase="/usr/local/tomcat7/webapps/solr"debug="0"crossContext="true"> 
    <Environment name="solr/home"type="java.lang.String"value="/usr/local/solr-cores"override="true"/> 
    </Context>

1.      修改 tomcat/bin/cataina.sh ,加入以下内容

CATALINA_OPTS="$CATALINA_OPTS-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9060-Djava.rmi.server.hostname=`/sbin/ifconfig bond0 |grep -a "inet addr:" |awk -F":" '{print$2}' |egrep -o '([0-9]{1,3}\.?){4}'`"
    CATALINA_OPTS="$CATALINA_OPTS-Dcom.sun.management.jmxremote.ssl=false-Dcom.sun.management.jmxremote.authenticate=false"
    JAVA_OPTS="$JAVA_OPTS-DzkHost=GD6-SOLR-CLOUD-001:2181,GD6-SOLR-CLOUD-002:2181,GD6-SOLR-CLOUD-003:2181"
    JAVA_OPTS="$JAVA_OPTS -Xmx8192m -Xms8192m -Xmn4g -Xss256k-XX:ParallelGCThreads=24 -XX:+UseConcMarkSweepGC -XX:PermSize=256m-XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps-XX:+PrintGCApplicationStoppedTime -XX:+PrintGCApplicationConcurrentTime-XX:+PrintHeapAtGC -Xloggc:/usr/local/logs/tomcat/gc`date +%Y%m%d%H%M%S`.log -XX:ErrorFile=\"/usr/local/logs/tomcat/java_error.log\""

1.      将以上配置同步到其他两台服务器

scp -r /usr/local/apache-tomcat-7.0.54 solr@192.168.0.113:/usr/local
    scp -r /usr/local/solrcloud solr@192.168.0.113:/usr/local
    scp -r /usr/local/solr-cores solr@192.168.0.113:/usr/local
     
    scp -r /usr/local/apache-tomcat-7.0.54 solr@192.168.0.114:/usr/local
    scp -r /usr/local/solrcloud solr@192.168.0.114:/usr/local
    scp -r /usr/local/solr-cores solr@192.168.0.114:/usr/local

1.      SolrCloud是通过 ZooKeeper集群来保证配置文件的变更及时同步到各个节点上，所以，需要将配置文件上传到 ZooKeeper集群中：执行如下操作（以下ip均可使用域名进行操作）

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmdupconfig -zkhost192.168.0.112:2181,192.168.0.113:2181,192.168.0.114:2181 -confdir /usr/local/solrcloud/config-files/  -confname myconf

1.      校验 zookeeper的配置文件

cd /usr/local/zookeeper-3.4.5/bin
    ./zkCli.sh -server 192.168.0.112:2181
    [zk: 192.168.01.2:2181(CONNECTED)0] ls / 
    [configs, collections, zookeeper] 
    [zk: 192.168.01.2:2181(CONNECTED)1] ls /configs 
    [myconf] 
    [zk: 192.168.01.2:2181(CONNECTED)2] ls /configs/myconf 
    [admin-extra.menu-top.html, currency.xml, protwords.txt,mapping-FoldToASCII.txt, solrconfig.xml, lang, stopwords.txt, spellings.txt, mapping-ISOLatin1Accent.txt, admin-extra.html, xslt, scripts.conf, synonyms.txt, update-script.js, velocity, elevate.xml, admin-extra.menu-bottom.html, schema.xml] 
    [zk: 192.168.01.2:2181(CONNECTED)3]

1.      启动 tomcat，首先启动 master 192.168.0.112上面的 tomcat

**cd** /usr/local/apache-tomcat-7.0.54/bin

./startup.sh

1.      启动 192.168.0.113和 192.168.0.114的 tomcat

2.     访问 [http://192.168.0.112:8080/solr][http_192.168.0.112_8080_solr] 可以看到下图

![Image 1][]![Center][]

**创建 Collection及初始 Shard**

curl 'http://192.168.0.112:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=1&replicationFactor=1'
     
    curl 'http://192.168.0.113:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=1&replicationFactor=1'
     
    curl 'http://192.168.0.114:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=1&replicationFactor=1'

![Center 1][]

![Image 1][]

**配置IK分词**

1.        进入目录：cd /usr/local/solr-cores

创建lib目录：mkdir lib 在lib中加入文件IKAnalyzer.cfg.xml、stopword.dic

2.        进入目录：cd /usr/local/tomcat7/webapps/solr/WEB-INF/lib

加入jar包：IKAnalyzer2012FF\_u1.jar

3.  Cd /usr/local/solrcloud/config-files

打开schema.xml文件在最后添加如下内容：

同样可以加入数据库定义字段：

例如：

4.  将以上配置同步到另外两台机器上

5.  最后将配置文件同步到zookeeper上

执行命令：

java-classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmdupconfig -zkhost 192.168.0.112:2181,192.168.0.113:2181,192.168.0.114:2181-confdir /usr/local/solrcloud/config-files/ -confname myconf

6.  重新启动即可

![Image 1][]![Center 2][]

注：

也可以完全自定义schema.xml文件，配置自己所需要的内容（初学者最好不要这样做）

<?xml version="1.0" encoding="UTF-8"?>
     
     
    <schema name="zwx_solr" version="1.5">
     
     
    <fields>
       <fieldname="_version_" type="long" indexed="true"stored="true"/>
     
        
       <fieldname="id" type="string" indexed="true"stored="true" multiValued="false"required="true"/>
     
       <fieldname="title" type="text_ik" indexed="true" stored="true"/>
       <fieldname="path" type="string" indexed="false"stored="true"/>
       <fieldname="content" type="text_ik" indexed="true"stored="true"/>
       <fieldname="time" type="tdate" indexed="true"stored="true"/>
       <fieldname="author" type="text_ik" indexed="true"stored="true"/>
       <fieldname="fromsite" type="text_ik" indexed="true"stored="true"/>
       <fieldname="url" type="string" indexed="true"stored="true"/>
      
     </fields>
     
     <uniqueKey>id</uniqueKey>
     
    
      <types>
       
        <fieldTypename="string" class="solr.StrField"sortMissingLast="true" />
     
        <fieldTypename="boolean" class="solr.BoolField"sortMissingLast="true"/>
     
        <fieldTypename="int" class="solr.TrieIntField"precisionStep="0" positionIncrementGap="0"/>
        <fieldTypename="float" class="solr.TrieFloatField"precisionStep="0" positionIncrementGap="0"/>
        <fieldTypename="long" class="solr.TrieLongField"precisionStep="0" positionIncrementGap="0"/>
        <fieldTypename="double" class="solr.TrieDoubleField"precisionStep="0" positionIncrementGap="0"/>
     
        <fieldTypename="tint" class="solr.TrieIntField" precisionStep="8"positionIncrementGap="0"/>
        <fieldTypename="tfloat" class="solr.TrieFloatField"precisionStep="8" positionIncrementGap="0"/>
        <fieldTypename="tlong" class="solr.TrieLongField"precisionStep="8" positionIncrementGap="0"/>
        <fieldTypename="tdouble" class="solr.TrieDoubleField"precisionStep="8" positionIncrementGap="0"/>
     
        <fieldTypename="date" class="solr.TrieDateField"precisionStep="0" positionIncrementGap="0"/>
     
        <fieldTypename="tdate" class="solr.TrieDateField" precisionStep="6"positionIncrementGap="0"/>
     
        <fieldtypename="binary" class="solr.BinaryField"/>
     
       
     
        <fieldTypename="random" class="solr.RandomSortField"indexed="true" />
     
     
        <fieldTypename="text_general" class="solr.TextField" positionIncrementGap="100">
          <analyzertype="index">
            <tokenizerclass="solr.StandardTokenizerFactory"/>
            <filterclass="solr.StopFilterFactory" ignoreCase="true"words="stopwords.txt" />
     
            <filterclass="solr.LowerCaseFilterFactory"/>
          </analyzer>
          <analyzertype="query">
            <tokenizerclass="solr.StandardTokenizerFactory"/>
            <filterclass="solr.StopFilterFactory" ignoreCase="true"words="stopwords.txt" />
            <filterclass="solr.SynonymFilterFactory" synonyms="synonyms.txt"ignoreCase="true" expand="true"/>
            <filterclass="solr.LowerCaseFilterFactory"/>
          </analyzer>
        </fieldType>
     
        
        <fieldTypename="text_ik" class="solr.TextField"> 
            <analyzertype="index" isMaxWordLength="false"class="org.wltea.analyzer.lucene.IKAnalyzer"/> 
            <analyzertype="query" isMaxWordLength="true"class="org.wltea.analyzer.lucene.IKAnalyzer"/> 
        </fieldType>
       
        
        <fieldTypename="text_xx" class="solr.TextField"> 
           
        </fieldType>
     </types>
     
    </schema>

原文出自：http://blog.segmentfault.com/yexiaobai/1190000000595712

[http_192.168.0.112_8080_solr]: http://192.168.0.2:8080/solr
[Image 1]: 
[Center]: /images/20220810/d69bd1e2c5724ac9b794279430f8ec70.png
[Center 1]: /images/20220810/2a139e428242479f90d4b28d08f8e411.png
[Center 2]: /images/20220810/8be0352bde5645279cf367731bf55a6f.png