redis集群搭建之官方redis cluster 搭建实践

落日映苍穹つ 2022-05-22 05:26 225阅读 0赞

redis cluster是官方的redis集群实现，本篇文章为搭建集群实践篇

一、手动搭建

redis官方已经redis-trib.rb命令来给我们实现redis搭建了。但是为了了解原理，首先我们来手动搭建不使用官方的命令。如果大家想快速搭建，可以直接跳到二。

1、准备

我们这个例子是在单机上部署集群，实际的工作情况会在不同的机器上搭建，一方面为了保证高可用也是为了扩大数据的容量所以实际中会在不同的机器上搭建。

所以在单机器上准备6个配置文件，通过6个不同的端口启动六个redis，3主3从的模式。

端口7000 的从节点是7003，端口7001的从节点是7004，端口7002的从节点是7005。

1）创建测试目录和文件

在redis的目录下测试cluster的目录：

![70][]

在cluster-test目录下面创建以下目录：

![70 1][]

conf目录放置一下配置文件（文件内容待会会教大家创建）：

![70 2][]

data 目录会放置数据文件和redis持久化文件rdb文件，logs放置日志文件，scripts里面放置我们自己写的脚本文件，后面也会介绍

2）创建conf文件，cd到conf文件，vim redis-7000.conf

port 7000  
daemonize yes  
dir "/opt/software/redis-4.0.9/cluster-test/data"  
logfile "/opt/software/redis-4.0.9/cluster-test/logs/7000.log"  
\#dbfilename不能配置为路径  
dbfilename "dump-7000.rdb"  
cluster-enabled yes  
cluster-config-file nodes-7000.conf  
\#是否需要每个节点都可用，集群才算可用,关闭  
cluster-require-full-coverage no

也就是：

![70 3][]

port启动的端口，不用说，单机下面搭建集群只能以端口区分

daemonize表示需要以后台进程启动个，否则客户端关闭redis就关闭了

dir，logfile就是刚刚说的数据文件和日志文件的配置，根据每个人安装路径的不同去配置

dbfilename 到时候会自动生成到data目录下面，需要写一个文件名

cluster-enabled yes以集群方式启动

cluster-cluster-config-file 这个是nodes信息配置文件，也是自动生成的

最后一个看注释，最好设置为no。

然后就是把文件都复制一份并修改

sed "s/7000/7001/g" redis-7000.conf >redis-7001.conf

7002,7003,7004,7005以此类推

2、启动集群

一次通过配置文件启动集群，我还在conf目录下，所以这样启动

![70 4][]

启动了之后查看进程（如果对基本的linux命令不熟悉，可以看[这里][Link 1]）

![70 5][]

说明都启动起来了

查看槽信息，都没有，是因为我们还没有分配槽，稍后分配

![70 6][]

查看data目录已经开始有文件了：

![70 7][]

这些文件的内容：

![70 8][]

和用这个指令查看的类似：

![70 9][]

查看集群信息，集群处于失败状态，并且只感应到自己一个在集群里面，slots也没有分配：

![70 10][]

3、集群之间相互握手，只要一个在集群里面的机器meet了其他机器，这个集群里的其他机器也能感知到刚刚meet的集群

使用如下命令：

../../src/redis-cli -p 7000 cluster meet 127.0.0.1 7001

![70 11][]

用了7000meet了7001和7002，虽然7002没有meet7001，但是他也感知了7001。继续用7000meet剩下所有的机器

所有的机器都感知彼此的存在了，并且集群里面集群的数据增加到了6：

![70 12][]

4、设置副本

为了保证高可用，把7003设置为7000的从节点，把7004设置为7001的从节点，把7005设置为7002的从节点。

../../src/redis-cli -p 7003 cluster replicate f836a783a1adf21f93b16e2ec755aefc072b7aaf

![70 13][]

需要注意的是这里使用的是id

以此类推：

![70 14][]

从节点设置成功。

5、分配slots

1）说明

到目前为止，slots还是空的，并且集群处于不可用状态，因为没有分配slots：

![70 15][]

redis cluster一共有16383个槽，现在分配到三个

7000的槽0~5461，7001的槽5462~10922，7002的槽10923~16383

2）编写脚本

vim ../scripts/addslots.sh

![70 16][]

3）分配槽

![70 17][]

即sh ../scripts/addslots.sh 0 5461 7000以此类推

sh ../scripts/addslots.sh 5462 10922 7001

sh ../scripts/addslots.sh 10923 16383 7002

4）验证集群

槽已经根据集群和主从分配了

![70 18][]

并且集群处于可用状态

![70 19][]

自此，手动搭建集群成功。关闭之后下次启动还可以是集群状态，因为信息已经持久化到dump文件里面，也就是data目录下存放的dump文件：

![70 20][]

二、使用官方的redis-trib.rb搭建集群

使用官方的redis-trib.rb搭建集群更加简单，而请更加高效、准确，建议生产环境下使用，步骤如下

1、搭建ruby环境

redis-trib.rb这个命令后面是rb的，所以一看就是需要有ruby环境

1)安装ruby前置库

yum install zlib-devel

如果不安装，后面会遇到这个问题：

ERROR:  While executing gem ... (NoMethodError)     undefined method \`invoke\_with\_build\_args' for nil:NilClass

2)安装ruby

下载：wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.7.tar.gz

解压到特定目录：tar -zxvf ruby-2.3.7.tar.gz -C /opt/software

进入目录：cd /opt/software/ruby-2.3.7

配置：./configure --prefix=/usr/local/ruby([把解压的源文件放在][Link 2]/usr/local/ruby)

编译：make

安装：make install

进入目录：cd /usr/local/ruby

让ruby添加到用户的访问变量中：cp bin/ruby /usr/local/bin

让gem添加到用户的访问变量中 : cp /usr/local/ruby/bin/gem /usr/local/bin

输入ruby -v，看到如下信息说明成功：

![70 21][]

同理执行gem -v

3）安装ruby的redis的客户端

查看redis客户端的所有版本https://rubygems.org/gems/redis/versions

找到redis，点进去，“下载”在右下角，点击复制链接地址

下载：wget https://rubygems.org/downloads/redis-4.0.1.gem

安装：gem install -l redis-4.0.1.gem，看到如下，成功

![70 22][]

ps:如果前面安装ruby没有安装zlib-devel 和 openssl-devel，会出现下面的错误

1.  ERROR:  Loading command: install (LoadError)  
2.      cannot load such file -- zlib  
3.  ERROR:  While executing gem ... (NoMethodError)  
4.  undefined method \`invoke\_with\_build\_args' **for** nil:NilClass

解决办法看 [这里][Link 3]，或者应该预先安装好（我是回去再把/usr/local/bin/ruby这个文件夹的文件删除了再安装依赖库，然后重复（2）、（3）步骤就可以了）

4）校验安装

gem list -- check redis gem，（注意“--”之后有一个空格），看到如下信息，说明成功！

![70 23][]

再来到redis-trib.rb这个命令这里

./redis-trib.rb，如下：

![70 24][]

2、准备redis目录和配置文件（同一的第1步类似，不需要scripts目录，如果在一中手动实现过，把data和logs目录下的文件删除）

在单机器上准备6个配置文件，通过6个不同的端口启动六个redis，3主3从的模式。

端口7000 的从节点是7003，端口7001的从节点是7004，端口7002的从节点是7005。

1）创建测试目录和文件

在redis的目录下测试cluster的目录：

![70 25][]

在cluster-test目录下面创建以下目录：

![70 26][]

conf目录放置一下配置文件（文件内容待会会教大家创建）：

![70 2][]

data 目录会放置数据文件和redis持久化文件rdb文件，logs放置日志文件

2）创建conf文件，cd到conf文件，vim redis-7000.conf

port 7000  
daemonize yes  
dir "/opt/software/redis-4.0.9/cluster-test-trib/data"  
logfile "/opt/software/redis-4.0.9/cluster-test-trib/logs/7000.log"  
\#dbfilename不能配置为路径  
dbfilename "dump-7000.rdb"  
cluster-enabled yes  
cluster-config-file nodes-7000.conf  
\#是否需要每个节点都可用，集群才算可用,关闭  
cluster-require-full-coverage no

也就是：

![70 27][]

port启动的端口，不用说，单机下面搭建集群只能以端口区分

daemonize表示需要以后台进程启动个，否则客户端关闭redis就关闭了

dir，logfile就是刚刚说的数据文件和日志文件的配置，根据每个人安装路径的不同去配置

dbfilename 到时候会自动生成到data目录下面，需要写一个文件名

cluster-enabled yes以集群方式启动

cluster-cluster-config-file 这个是nodes信息配置文件，也是自动生成的

最后一个看注释，最好设置为no。

然后就是把文件都复制一份并修改

sed "s/7000/7001/g" redis-7000.conf >redis-7001.conf

7002,7003,7004,7005以此类推

3、依次启动redis

先把redis-cli 和redis-server 复制到命令搜索地方

cp ../../src/redis-cli /usr/local/bin/

cp ../../src/redis-server /usr/local/bin/

方便以后使用

![70 28][]

查看redis-server情况，还是为启动的状态

![70 29][]

4、开启集群

我先把redis-trib.rb 拷贝到bin目录下

cp ./redis-trib.rb /usr/local/bin/,以后就随地可以使用redis-trib.rb命令了

输入redis-trib.rb

![70 30][]

我们要创建集群，一键的那种

redis-trib.rb create --replicas 1 127.0.0.1:7000  127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003

127.0.0.1:7004 127.0.0.1:7005

(replicas 1表示每个节点有一个从节点，redis-trib.rb会自动分配，如果参数不符合，会报错）

出现下面：

![70 31][]

可以看到自动分配了从节点，并且试图优化，说明官方的redis-trib.rb还是比较高效和准确，由于是单机，所以会有一个警告，说是主从同一个机器，测试环境不用管。提示你是否接受配置，填入yes。看到如下

![70 32][]

提示槽位已经自动添加了，我们查看一下

![70 33][]

说明节点已经添加，并且槽位已经分配好了，集群也处于可用的状态。

redis cluster 启动成功之后，还会有很多问题，例如[节点伸缩][Link 4]这个很重要的运维问题，后面我会用[另外一篇文章][Link 4]介绍redis集群节点伸缩。

[70]: /images/20220522/3d41c429037a4d099d995b596d0a2645.png
[70 1]: /images/20220522/d3e18af7785740dd877e5e94fde83356.png
[70 2]: /images/20220522/9826241e18f443038631b9b76836864c.png
[70 3]: /images/20220522/28adff667a3546e08ac59c8183885adb.png
[70 4]: /images/20220522/db031b515ebf4933bea0c625e934c2e7.png
[Link 1]: https://blog.csdn.net/fst438060684/article/details/80534363
[70 5]: /images/20220522/e41b1e4c773c4d28b1a797f7b499173a.png
[70 6]: /images/20220522/9d82e68b90e94d2ab54ef6af7c1a1d1e.png
[70 7]: /images/20220522/a50c32838e1e4989bd4b2a2d2fe995f1.png
[70 8]: /images/20220522/6818e877ccc34e0c82dde3dcb48c1bbb.png
[70 9]: /images/20220522/c5233e7c7ab34f7bbf1725fc6d928bea.png
[70 10]: /images/20220522/d6ddae6ab327451e9091395c5b18947f.png
[70 11]: /images/20220522/44f6313f462543aeb11bf83ce23610e4.png
[70 12]: /images/20220522/2ba3be090b36457483c8c48ccb867282.png
[70 13]: /images/20220522/3f87bc51fe3a4a39824cf6ea5805f819.png
[70 14]: /images/20220522/8722cdc46865434bb7f878e80695484e.png
[70 15]: /images/20220522/d4b49404e12542fdba143df49dbb1dca.png
[70 16]: /images/20220522/49538b8f4365420b84fbf76366d3d646.png
[70 17]: /images/20220522/8916217a7d924595a9410b72bf2050dd.png
[70 18]: /images/20220522/a5b274bc2d4f4963924ab86666d4487d.png
[70 19]: /images/20220522/f0a2b02ecf974507a4bfaa6bcea5232b.png
[70 20]: /images/20220522/44204ad882f5434bb0c2ed15ba488443.png
[Link 2]: http://www.maybe520.net/blog/1945/
[70 21]: /images/20220522/6d269bbb7bf54cb09fafcb610cc27db8.png
[70 22]: /images/20220522/0ee2064bf8634c7c9c0f0bbb189548dc.png
[Link 3]: https://blog.csdn.net/feinifi/article/details/78251486
[70 23]: /images/20220522/28eed00426ca4df687dd9cead11bab2b.png
[70 24]: /images/20220522/a4f0f62183a748129d8a7f646865f713.png
[70 25]: /images/20220522/6e27501cc6bf41cf826310662eea2383.png
[70 26]: /images/20220522/d7facbf1f5e64336954b75dea51b1aa6.png
[70 27]: /images/20220522/460bc4b83198492d913f717ff45beec5.png
[70 28]: /images/20220522/f2091a8fd04944149eb176611fb71ea6.png
[70 29]: /images/20220522/4abce492f81d41e6aafd8e88a56a847a.png
[70 30]: /images/20220522/a745edbb367346fa993ecb82911e8722.png
[70 31]: /images/20220522/1820f5a641934f97aed25fb2ec017512.png
[70 32]: /images/20220522/a89712acd61743ccae78ad5c877b912f.png
[70 33]: /images/20220522/57b5db2dd03a496697f0f67d87c76835.png
[Link 4]: https://blog.csdn.net/fst438060684/article/details/80715983