Solr初探（6）——SolrCloud

旧城等待， 2022-05-27 06:06 207阅读 0赞

Solr 集群，即 `SolrCloud` 是 Solr 提供的分布式搜索方案，当你需要**大规模，容错，分布式索引和检索能力**时使用 `SolrCloud`。`SolrCloud` 是基于 `Solr` 和 `Zookeeper` 的分布式搜索方案，它的主要思想是**使用 Zookeeper 作为集群的配置信息中心**。

当一个系统的索引数据量少的时候是不需要使用 SolrCloud 的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。它有几个特色功能：

*  集中式的配置信息
 *  自动容错
 *  近实时搜索
 *  查询时自动负载均衡

## 一、系统架构 ##

（1）从**物理结构**来看，一个 `SolrCloud` 可以包含多个 Solr 实例，一个 Solr 实例可以有多个 `Core`，这些组成了一个 `SolrCloud`。

（2）从**逻辑结构**来看，SolrCloud 是一个逻辑意义上的完整的索引结构，称为 `Collection`，一个 `Collection` 使用一份配置文件。

`Collection` 常常被划分为一个或多个 `Shard`（分片）。每个`Shard`被化成一个或者多个 `Replication`，通过选举确定哪个是 `Leader`，哪个是 `follower`。

一个 `Shard` 需要由一个 `Core` 或多个 `Core` 组成。由于 `Collection` 由多个`Shard`组成所以 `Collection` 一般由多个 `Core` 组成。

同一个 `Shard` 中的**每一个 `Core` 存储的内容是一致的**，一个为 `Master`，其余为 `Slave`，由此实现了高可用。

![2018041217401726][]

## 二、搭建环境 ##

我们要准备实现的架构图如下，没错，这次还是伪集群：

![20180412182204969][]

本机IP地址：**192.168.30.155**

### 2.1 搭建 Zookeeper 集群 ###

在 `/usr/local/` 目录下新建 `zookeeper-cluster` 文件夹，在其中搭建 Zookeeper 集群。IP 地址为：

<table> 
 <thead> 
  <tr> 
   <th align="center">名称</th> 
   <th align="right">地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">Zookeeper01</td> 
   <td align="right">192.168.30.155:2181</td> 
  </tr> 
  <tr> 
   <td align="center">Zookeeper02</td> 
   <td align="right">192.168.30.155:2182</td> 
  </tr> 
  <tr> 
   <td align="center">Zookeeper03</td> 
   <td align="right">192.168.30.155:2183</td> 
  </tr> 
 </tbody> 
</table>

参考文章[《Zookeper集群搭建》][Zookeper]，搭建完成后目录如下：

root@ubuntu:/usr/local/zookeeper-cluster# ls
    manager.sh  zookeeper01  zookeeper02  zookeeper03
    root@ubuntu:/usr/local/zookeeper-cluster# pwd
    /usr/local/zookeeper-cluster

### 2.2 搭建 Tomcat 集群 ###

（1）在 `/usr/local/` 目录下新建 `solr-cloud` 文件夹，拷贝四份 tomcat 源码到该目录下：

root@ubuntu:/usr/local/solr-cloud# cp -r /home/wxs/apache-tomcat-8.5.28/ tomcat01
    root@ubuntu:/usr/local/solr-cloud# cp -r /home/wxs/apache-tomcat-8.5.28/ tomcat02
    root@ubuntu:/usr/local/solr-cloud# cp -r /home/wxs/apache-tomcat-8.5.28/ tomcat03
    root@ubuntu:/usr/local/solr-cloud# cp -r /home/wxs/apache-tomcat-8.5.28/ tomcat04
    root@ubuntu:/usr/local/solr-cloud# ls
    tomcat01  tomcat02  tomcat03  tomcat04

（2）修改每个 tomcat 的 `conf/erver.xml` 文件，要修改 3 个地方的端口信息，分别是：

*  http 访问端口（默认为 8080 端口）：

*  监听 tomcat 关闭的端口（默认为 8005）：

*  负责接收其他 http 服务器的请求端口（默认为 8009）：

监听关闭和其他 http 服务器请求端口无所谓，只要别重复就行。http 访问端口如下：

<table> 
 <thead> 
  <tr> 
   <th align="center">名称</th> 
   <th>地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">tomcat01</td> 
   <td>192.168.30.155:8181</td> 
  </tr> 
  <tr> 
   <td align="center">tomcat02</td> 
   <td>192.168.30.155:8182</td> 
  </tr> 
  <tr> 
   <td align="center">tomcat03</td> 
   <td>192.168.30.155:8183</td> 
  </tr> 
  <tr> 
   <td align="center">tomcat04</td> 
   <td>192.168.30.155:8184</td> 
  </tr> 
 </tbody> 
</table>

（3）修改 `/etc/profile` 文件，在尾部添加环境变量：

####集群Tomcat####
    export CATALINA_01_BASE=/usr/local/solr-cloud/tomcat01
    export CATALINA_01_HOME=/usr/local/solr-cloud/tomcat01
    export TOMCAT_01_HOME=/usr/local/solr-cloud/tomcat01
    
    export CATALINA_02_BASE=/usr/local/solr-cloud/tomcat02
    export CATALINA_02_HOME=/usr/local/solr-cloud/tomcat02
    export TOMCAT_02_HOME=/usr/local/solr-cloud/tomcat02
    
    export CATALINA_03_BASE=/usr/local/solr-cloud/tomcat03
    export CATALINA_03_HOME=/usr/local/solr-cloud/tomcat03
    export TOMCAT_03_HOME=/usr/local/solr-cloud/tomcat03
    
    export CATALINA_04_BASE=/usr/local/solr-cloud/tomcat04
    export CATALINA_04_HOME=/usr/local/solr-cloud/tomcat04
    export TOMCAT_04_HOME=/usr/local/solr-cloud/tomcat04

修改每个tomcat下的 `bin/catalina.sh` 文件，找到下面代码：

# OS specific support. $var _must_ be set to either true or false.

以 tomcat01 为例，在上述代码下面添加以下代码，其他 tomcat 修改成相应的：

# myself : add
    export CATALINA_BASE=$CATALINA_01_BASE
    export CATALINA_HOME=$CATALINA_01_HOME

![20180412185524913][]

### 2.3 部署 Solr ###

关于 Solr 的部署参考文章[《Solr初探（1）——Solr介绍（基于Solr 6.6.2）》][Solr_1_Solr_Solr 6.6.2]，虽然这篇是 windows 版的，但是 Linux 版也是完全一样。

如果你按照上面的文章成功部署了Solr单机版，那么你应该拥有：

*  一个放在 tomcat 中可以运行的 solr
 *  一个 solr 的 home 文件夹，其中拥有一个 Core，名为 core1

（1）将单机版的 `solr` 拷贝到每个tomcat的 `webapp` 下：

root@ubuntu:/usr/local/solr-cloud# cp -r ../tomcat8/webapps/solr/ tomcat01/webapps/
    root@ubuntu:/usr/local/solr-cloud# cp -r ../tomcat8/webapps/solr/ tomcat02/webapps/
    root@ubuntu:/usr/local/solr-cloud# cp -r ../tomcat8/webapps/solr/ tomcat03/webapps/
    root@ubuntu:/usr/local/solr-cloud# cp -r ../tomcat8/webapps/solr/ tomcat04/webapps/

（2）将单机版的 solr 的 `home` 文件夹拷贝到 solr-cloud 中，拷贝四份：

root@ubuntu:/usr/local/solr-cloud# cp -r ../solr_home/ solrhome01
    root@ubuntu:/usr/local/solr-cloud# cp -r ../solr_home/ solrhome02
    root@ubuntu:/usr/local/solr-cloud# cp -r ../solr_home/ solrhome03
    root@ubuntu:/usr/local/solr-cloud# cp -r ../solr_home/ solrhome04

此时 solr-cloud 下结构：

root@ubuntu:/usr/local/solr-cloud# ls
    solrhome01  solrhome03  tomcat01  tomcat03
    solrhome02  solrhome04  tomcat02  tomcat04

（3）修改每个 solr 的 `web.xml` 中的 home 路径

以 tomcat01 为例，其他的以此类推：

root@ubuntu:/usr/local/solr-cloud# vim tomcat01/webapps/solr/WEB-INF/web.xml

![20180412190654766][]

（4）修改每个 solrhome 中的 `solr.xml` 文件中的 `host` 和 `hostPort`

以 solrhome01 为例，其他的以此类推：

root@ubuntu:/usr/local/solr-cloud# vim solrhome01/solr.xml

![20180412191109912][]

### 2.4 关联 Solr 和 Zookeeper ###

再次修改每个 tomcat 的 `bin/catalina.sh` 文件，修改 `JAVA_OPTS` 为 zookeeper 集群地址：

JAVA_OPTS="-DzkHost=192.168.30.155:2181,192.168.30.155:2182,192.168.30.155:2183"

![20180412191850585][]

### 2.5 将 Solr 配置文件上传至 Zookeeper ###

前面说过，**一个 solrCloud 只使用一份配置文件**，但是现在四个 solr 每个 `solr` 对应一个`solrhome`，每一个 `solrhome` 的每一个 `core` 都有一份配置文件，所有我们需要任意拿一份配置文件，上传到 zookeeper 中，来让 solrCloud 使用。使用**solr 源码包**的 `zkcli.sh` 文件来帮助上传。

进入 solr 源码包的 `solr-6.6.2/server/scripts/cloud-scripts/` 路径

root@ubuntu:/home/wxs# cd solr-6.6.2/server/scripts/cloud-scripts/
    root@ubuntu:/home/wxs/solr-6.6.2/server/scripts/cloud-scripts# ls
    log4j.properties  snapshotscli.sh  zkcli.bat  zkcli.sh

执行如下命令：

./zkcli.sh -zkhost 192.168.30.155:2181,192.168.30.155:2182,192.168.30.155:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/core1/conf -confname myconf

该命令包含 zookeepr 集群地址，指定任意一个 core 的配置文件，上传到 zookeeper 的 myconf 目录。

至此完成上传，我们可以验证一下是否上传成功，启动 zookeeper 集群后，进入任意一台 zookeeper，以 zookeeper01 为例：

root@ubuntu:/usr/local# cd zookeeper-cluster/zookeeper01/bin
    root@ubuntu:/usr/local/zookeeper-cluster/zookeeper01/bin# ./zkCli.sh -server 192.168.30.155:2182

[zk: 192.168.30.155:2182(CONNECTED) 1] ls /
    [configs, zookeeper]
    [zk: 192.168.30.155:2182(CONNECTED) 2] ls con
    config    connect   
    [zk: 192.168.30.155:2182(CONNECTED) 2] ls /configs
    [myconf]
    [zk: 192.168.30.155:2182(CONNECTED) 3] ls /configs/myconf
    [_rest_managed.json, _schema_analysis_stopwords_english.json, _schema_analysis_synonyms_english.json, admin-extra.html, admin-extra.menu-bottom.html, admin-extra.menu-top.html, clustering, currency.xml, elevate.xml, lang, managed-schema, mapping-FoldToASCII.txt, mapping-ISOLatin1Accent.txt, params.json, protwords.txt, solrconfig.xml, spellings.txt, stopwords.txt, synonyms.txt, update-script.js, velocity, xslt]

### 2.6 验证 ###

编写 tomcat 集群启动脚本：

#!/bin/bash
    #@author: jitwxs
    #@description: tomcat cluster manager script
    
    if [ $# -eq 0 ]
    then
        echo "参数错误"
        exit 1
    fi
    
    cmd=""
    case $1 in
        "start")
    	cmd="./startup.sh"
    	;;
        "stop")
    	cmd="./shutdown.sh"
    	;;
        *)
    	echo "命令非法"
    	exit 1
    	;;
    esac
    
    cd tomcat01/bin
    $cmd
    cd ../..
    cd tomcat02/bin
    $cmd
    cd ../..
    cd tomcat03/bin
    $cmd
    cd ../..
    cd tomcat04/bin
    $cmd
    cd ../..

启动 zookeeper 集群

root@ubuntu:/usr/local/zookeeper-cluster# ./manager.sh start

然后启动 tomcat 集群

root@ubuntu:/usr/local/solr-cloud# ./tomcat.sh start

访问任何一个 solr，选择 cloud 标签，可以看见我们的集群已经显示出来了：

![20180412232158932][]

## 三、分片 ##

### 3.1 新建分片 ###

一开始说过 `Collection` 常常被划分为一个或多个 `Shard`（分片）。现在图上的 collection 只有一个 `Shard`，这样的话一个为主，三个为从，太浪费了。

我们按照需求将其分成两片，一主一备。

在浏览器上输入：

http://192.168.30.155:8181/solr/admin/collections?action=CREATE&name=collection1&numShards=2&replicationFactor=2

![20180412232819106][]

回车后结果如下：

![20180412233010361][]

重新返回Solr首页，就能看见我们创建的 `Collection` 了：

![20180412233106597][]

### 3.2 删除分片 ###

`SolrCloud` 理论上可以存在无数个 `Collection`，我们可以删除掉无用的 Collection，以 `core1` 为例：

执行命令：

http://192.168.30.155:8181/solr/admin/collections?action=DELETE&name=core1

![20180412233318310][]

运行结果如下：

![20180412233357962][]

重新返回 Solr 首页，发现 `core1` 已经被删除了：

![20180412233430865][]

## 四、Solrj ##

### 4.1 CloudSolrClient ###

在[《Solr初探（5）——Solrj的基本使用》][Solr_5_Solrj]中我们使用 Solrj 操纵单机版 Solr，简单回顾下：

// 指定url
    String baseURL = "http://localhost:8080/solr/core1";
    
    // 创建Solr单机版客户端
    HttpSolrClient solrClient = new HttpSolrClient(baseURL);
    
    // 操纵Document...

`SolrClient` 这个抽象类除了有 `HttpSolrClient` 这个实现类，还有 `CloudSolrClient`，这个就是用来操纵集群版的：

// 指定Zookeeper集群地址列表
    String zkHost = "192.168.30.155:2181,192.168.30.155:2182,192.168.30.155:2183";
    // 创建Solr集群版客户端
    CloudSolrClient solrClient = new CloudSolrClient(zkHost);
    // 设置默Solr集群的默认Collection
    solrClient.setDefaultCollection("collection1");
    
    // 操纵Document...

因为 `SolrCloud` 是通过 `Zookeeper` 管理的，所以需要指定 zookeeper 的地址列表，创建 SolrClient 对象后还需要指定默认的 `collection`，即上面图中的 collection1。

### 4.2 Spring 配置 ###

因为 HttpSolrClient 和 CloudSolrClient 都是 SolrClient 的实现类，因此使用配置文件就能灵活的切换了。

先在配置文件中加入：

#Solr单机
    solr.standalone.url=http://192.168.30.155:8180/solr/core1
    #Solr集群
    solr.cluster.host=192.168.30.155:2181,192.168.30.155:2182,192.168.30.155:2183
    solr.cluster.collection=collection1

Spring 的配置如下：

> 注：单机版和集群版同时只能开放一个，另一个必须注释掉

<?xml version="1.0" encoding="UTF-8"?>
    <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    
        
        <context:property-placeholder location="classpath:cfg.properties"/>
    
        
        <bean id="httpSolrClient" class="org.apache.solr.client.solrj.impl.HttpSolrClient">
            <constructor-arg name="baseURL" value="${solr.standalone.url}"/>
        </bean>
    
        
        <bean id="cloudSolrClient" class="org.apache.solr.client.solrj.impl.CloudSolrClient">
            <constructor-arg name="zkHost" value="${solr.cluster.host}"/>
            <property name="defaultCollection" value="${solr.cluster.collection}"/>
        </bean>
    </beans>

[2018041217401726]: /images/20220527/56a023454c7c49f89d0056755c207b6e.png
[20180412182204969]: /images/20220527/9877634171e047e7bc63327fde81cb83.png
[Zookeper]: https://blog.csdn.net/yuanlaijike/article/details/79916792
[20180412185524913]: /images/20220527/028e6408e83d4250836b1f53ad1f968b.png
[Solr_1_Solr_Solr 6.6.2]: https://blog.csdn.net/yuanlaijike/article/details/79465627
[20180412190654766]: /images/20220527/aa7c497ec7e34052a23a0d0089484609.png
[20180412191109912]: /images/20220527/2416c6cadde64f599c7dbccfbb69be7c.png
[20180412191850585]: /images/20220527/bd18a42c80df498eaf2adbf341f9bfa7.png
[20180412232158932]: /images/20220527/4c1d7f3569f741e084a53b9395729846.png
[20180412232819106]: /images/20220527/7f6d52ba98384218b64aedb19ba3b03e.png
[20180412233010361]: /images/20220527/7a04f042b9374e54bba1537fafab2a84.png
[20180412233106597]: /images/20220527/80aec083aabb42e5b52d305a5eb020e5.png
[20180412233318310]: /images/20220527/7c6176a51da04bef9d22491b90b03075.png
[20180412233357962]: /images/20220527/5da1cf7cbb354bcfb3965cec84d2b3d8.png
[20180412233430865]: /images/20220527/61177e74a0ff4ff3b5d54bfd113d4913.png
[Solr_5_Solrj]: https://blog.csdn.net/yuanlaijike/article/details/79887196