搭建基于Zookeeper的SolrCloud集群

迷南。 2022-05-09 03:08 194阅读 0赞

SolrCloud是基于Solr和Zookeeper的分布式搜索方案, 就是使用 Zookeeper作为集群的配置信息中心，solrCloud提供分布式的搜索能力。

Zookeeper的作用: 几种管理配置文件, 集群管理 (帮助solr选举主从)

**为什么需要SolrCloud?**

我们一般都是在需要大规模的索引数据量, 搜索请求的并发量很高, 要求容错能力强的时候, 就会考虑使用SolrCloud来满足这些需求. 总的来说就是基于以下三个方面:

*  扩展存储: 单机版的solr存储有限
 *  高可用的考虑: 备份
 *  高并发的场景: 搜索效率更高

### SolrCloud集群的搭建 ###

接下来我们安装的依然是SolrCloud的伪集群, 正常生产环境中我们肯定是安装在多台服务器上的, 而现在我们是安装在一台服务器(虚拟机)上, 通过不同的端口来区别.

**准备工作:**

*  安装并启动3台Zookeeper -> [教程直达链接][Link 1]
 *  装有solr的单机版Tomcat和solrhome
 *  solr的安装包

**在正式安装之前, 我们先来说一下需要哪些步骤:**

1.  将装有solr的单机版Tomcat和solrhome打成zip压缩包, 上传到linux中, 并解压.
2.  将Tomcat和solrhome分别复制4份.
3.  修改Tomcat的配置文件, 关联Tomcat和solrhome使其一一对应.
4.  修改Tomcat的端口, 防止发生冲突. (因为是在一台服务器上, 所以要以端口来区分)
5.  配置Tomcat的catalina.sh文件, 让Tomcat能够找到三台Zookeeper.
6.  配置solrhome的配置文件solr.xml, 让solrhome能找到自己的Tomcat (IP和端口一致)
7.  执行solr安装包下的一个脚本文件, 可以将solr的配置文件交给Zookeeper管理
8.  启动4个Tomcat, 测试是否成功, 访问solr测试是否成功.

下面一个个步骤来执行一遍.

**第一步: 将Tomcat和solrhome上传到linux中并解压.**

[root@simple01 solr-homes]# chmod 777 solr-home.zip
    [root@simple01 solr-homes]# unzip solr-home.zip

**第二步: 将Tomcat和solrhome分别复制4份**

[root@simple01 solr-cloud]# cp -r apache-tomcat-7.0.82 tomcat-1
    [root@simple01 solr-cloud]# cp -r apache-tomcat-7.0.82 tomcat-2
    [root@simple01 solr-cloud]# cp -r apache-tomcat-7.0.82 tomcat-3
    [root@simple01 solr-cloud]# cp -r apache-tomcat-7.0.82 tomcat-4

![在这里插入图片描述][70]  
![在这里插入图片描述][70 1]

**第三步: 修改Tomcat的配置文件, 和solrhome一一对应**

> 分别修改4个Tomcat的bin目录下的catalina.sh文件, 在文件顶部加上这一句:
> 
> export “JAVA\_OPTS=-Dsolr.solr.home=/usr/local/solr-home/solrhome-1”

[root@simple01 solr-cloud]# cd /usr/local/solr-cloud/tomcat-1/bin
    [root@simple01 bin]# vim catalina.sh
    [root@simple01 bin]# cd /usr/local/solr-cloud/tomcat-2/bin
    [root@simple01 bin]# vim catalina.sh
    [root@simple01 bin]# cd /usr/local/solr-cloud/tomcat-3/bin
    [root@simple01 bin]# vim catalina.sh
    [root@simple01 bin]# cd /usr/local/solr-cloud/tomcat-4/bin
    [root@simple01 bin]# vim catalina.sh

**第四步: 修改Tomcat的端口号, 防止发生冲突**

这里需要注意, Tomcat有三个端口需要修改, 我们平常说的8080只是其中一个.

> 8080 用于建立http连接的端口.
> 
> 8005 是用来关闭Tomcat的端口.
> 
> 8009 负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。

这里我们修改每个Tomcat的三个端口分别改成:

Tomcat-1: 8185 8180 8109

Tomcat-2: 8285 8280 8209

Tomcat-3: 8385 8380 8309

Tomcat-4: 8485 8480 8409

[root@simple01 conf]# vim /usr/local/solr-cloud/tomcat-1/conf/server.xml
    [root@simple01 conf]# vim /usr/local/solr-cloud/tomcat-2/conf/server.xml
    [root@simple01 conf]# vim /usr/local/solr-cloud/tomcat-3/conf/server.xml
    [root@simple01 conf]# vim /usr/local/solr-cloud/tomcat-4/conf/server.xml

![在这里插入图片描述][70 2]  
![在这里插入图片描述][70 3]  
![在这里插入图片描述][70 4]

**第五步: 配置Tomcat的catalina.sh文件, 加上Zookeeper的各个节点的IP地址和端口.**

cd /usr/local/solr-cloud/tomcat-1/bin/
    vim catalina.sh

打开catalina.sh文件, 将我们上面加的一行替换

> 原来: export “JAVA\_OPTS=-Dsolr.solr.home=/usr/local/solr-homes/solrhome-1”
> 
> 替换为: (这是一行) export “JAVA\_OPTS=-Dsolr.solr.home=/usr/local/solr-homes/solrhome-1 -DzkHost=192.168.179.133:2181,192.168.179.133:2182,192.168.179.133:2183”

![在这里插入图片描述][70 5]

**第六步: 配置solrhome的配置文件solr.xml, 让solrhome能找到自己的Tomcat (IP和端口一致)**

分别修改四个solrhome的solr.xml文件, 将IP修改成Tomcat一致, 端口改为对应的端口.

注意: 端口一定要配置正确, 分别是8180, 8280, 8380, 8480

[root@simple01 solr-homes]# vim solrhome-1/solr.xml 
    [root@simple01 solr-homes]# vim solrhome-2/solr.xml 
    [root@simple01 solr-homes]# vim solrhome-3/solr.xml 
    [root@simple01 solr-homes]# vim solrhome-4/solr.xml

![在这里插入图片描述][70 6]

**第七步: 执行solr安装包下的一个脚本文件, 将solr的配置文件交给Zookeeper管理**

让 zookeeper 统一管理配置文件。需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。

我们需要使用solr给我们提供的工具上传配置文件：就是solr安装包中的zkcli.sh这个脚本文件

> solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

将solr-4.10.3压缩包上传到linux，解压.

**注意: 先启动三台Zookeeper, 因为要将配置文件上传到Zookeeper, 所以首先要启动Zookeeper啊.**

然后进入solr-4.10.3/example/scripts/cloud-scripts目录 ，执行下列命令

./zkcli.sh -zkhost 192.168.179.133:2181,192.168.179.133:2182,192.168.179.133:2183 -cmd upconfig -confdir /usr/local/solr-homes/solrhome-1/collection1/conf/ -confname myconf

> 上面命令中的参数分别是什么意思 ?
> 
> \-zkhost ：指定zookeeper地址列表
> 
> \-cmd ：指定命令。upconfig 为上传配置的命令
> 
> \-confdir : 配置文件所在目录
> 
> \-confname : 配置名称

![在这里插入图片描述][70 7]

看到上面的信息, 就说明执行成功了.

**第八步: 启动Tomcat测试**

#修改目录权限
    [root@simple01 solr-cloud]# chmod -R 777 tomcat-1
    #进入tomcat-1/bin目录下, 执行.startup.sh文件
    [root@simple01 solr-cloud]# cd tomcat-4/bin
    [root@simple01 bin]# ./startup.sh

四个Tomcat都启动后, 打开浏览器测试是否能够正常访问  
![在这里插入图片描述][70 8]  
![在这里插入图片描述][70 9]

### SolrCloud集群分片配置 ###

创建新的 Collection 进行分片处理, 使用restful风格的访问方式.

在浏览器输入以下地址, 可以按照我们的要求创建新的Collection

> [http://192.168.179.133:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2][http_192.168.179.133_8180_solr_admin_collections_action_CREATE_name_collection2_numShards_2_replicationFactor_2]

> **参数：**
> 
> name: 将被创建的集合的名字
> 
> numShards: 集合创建时需要创建逻辑碎片的个数
> 
> replicationFactor: 分片的副本数。

删除不用的Collection

> [http://192.168.179.133:8480/solr/admin/collections?action=DELETE&name=collection1][http_192.168.179.133_8480_solr_admin_collections_action_DELETE_name_collection1]

### 使用SpringDataSolr连接SolrCloud ###

在SolrJ中提供一个叫做CloudSolrServer的类, 它是SolrServer的子类, 用于连接solrCloud, 它的构造参数就是zookeeper的地址列表. 需要在xml中创建这个bean即可.

好了, 不知不觉现在都深夜了, 该睡觉了.

[Link 1]: https://blog.csdn.net/weixin_42582592/article/details/82901181
[70]: /images/20220509/a45d6996d5ec493e9df7a4a5f7d60798.png
[70 1]: /images/20220509/5eef5e1bc0034125be2b4c7e25031b92.png
[70 2]: /images/20220509/6169a830cb7a45f4bc0d731dbf092e31.png
[70 3]: /images/20220509/25e826f4adfd43c2bc09a3ee52efbcd7.png
[70 4]: /images/20220509/448535d061fb46db94080aa2b386f03b.png
[70 5]: /images/20220509/f61c839daef14838979742ebcf483556.png
[70 6]: /images/20220509/7e6c25fe119f42e6a7992c4f30b7cf7e.png
[70 7]: /images/20220509/f27c1c0cea3546f2b075b83c381df9f1.png
[70 8]: /images/20220509/9b2d90e25c844a389d5b38ef2ba36f4d.png
[70 9]: /images/20220509/f8433ce7a21a4a11b0adb048e3e6e39a.png
[http_192.168.179.133_8180_solr_admin_collections_action_CREATE_name_collection2_numShards_2_replicationFactor_2]: http://192.168.179.133:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
[http_192.168.179.133_8480_solr_admin_collections_action_DELETE_name_collection1]: http://192.168.179.133:8480/solr/admin/collections?action=DELETE&name=collection1