超详细，多图文介绍redis集群方式并搭建redis伪集群

r囧r小猫 2023-07-12 09:19 17阅读 0赞

# 超详细，多图文介绍redis集群方式并搭建redis伪集群 #

> 超多图文，对新手友好度极好。敲命令的过程中，难免会敲错，但为了截好一张合适的图，一旦出现一点问题，为了好的演示效果，就要从头开始敲。且看且珍惜。

再认识redis集群前，若想先知道redis单机版的可查看，[springboot整合redis][springboot_redis]。好了，下面开始了。

每个redis实例可称为一个节点，安装redis并以默认端口启动是节点，不关闭，以另一个端口启动，是一个新节点。在另一台机器安装redis并启动，也是一个新节点。

节点分为主节点 (master) ，从节点 (slave) ，数据从主节点向多个从节点上同步 。

redis3.0开始支持集群，redis集群是没有统一的入口的，客户端（client）连接集群的时候连接集群中的任意节点（node）即可，集群内部的节点是相互通信的（PING-PONG机制）。

### 文章目录 ###

*  超详细，多图文介绍redis集群方式并搭建redis伪集群
 *   *   *  一，集群方式
         *   *   *  1，主从模式
                 *  2，Sentinel模式
                 *  3，Cluster模式
         *  二，搭建集群
         *   *   *  1，准备工作
                 *  2，下载、解压、移到指定目录，编译Redis
                 *  3，建redis各节点目录
                 *  4，redis集群的运行脚本
                 *  5，批量复制redis实例
                 *  6，逐个修改redis配置
                 *  7，逐个启动redis节点
                 *  8，搭建集群
                 *  9，测试
         *  三，故障转移
         *   *   *  1，故障转移机制详解
                 *  2，故障转移测试

### 一，集群方式 ###

##### 1，主从模式 #####

一个master可以拥有多个slave，但是一个slave只能对应一个master。这样，当某个slave挂了不影响其他slave的读和master的读和写，重新启动后会，数据会从master上同步过来。

在主从模式下，因为只有一个主节点可以写，而主，从节点都可以读，所以通常主节点负责写，从节点负责读。

![redis主从模式\_lgx211][redis_lgx211]  
但是，当唯一的master挂了以后，虽然这样并不影响slave的读，但redis也不再提供写服务，需要将master重启后，redis才重新对外提供写服务。

##### 2，Sentinel模式 #####

sentinel模式是建立在主从模式的基础上，避免单个master挂了以后，redis不能提供写服务。因为从节点上备份了主节点的所有数据，那么当master挂了以后，sentinel会在slave中选择一个做为master，并修改它们的配置文件，其他slave的配置文件也会被修改，比如slaveof属性会指向新的master，比如之前配置的密码。此时，客户端就不是直接连接Redis，而是连接sentinel的ip和port，由sentinel来提供具体Redis服务。  
![Sentinel模式\_lgx211][Sentinel_lgx211]  
把之前挂了的master重新启动后，它将不再是master而是做为slave接收新的master的同步数据。

##### 3，Cluster模式 #####

Cluster模式是建立在Sentinel模式的基础上的，当数据多到需要动态扩容的时候，前面两种就不行了，需要对数据进行分片，根据一定的规则把redis数据分配到多台机器。  
![Cluster模式\_lgx211][Cluster_lgx211]  
该模式就支持动态扩容，可以在线增加或删除节点，而且客户端可以连接任何一个主节点进行读写，不过此时的从节点仅仅只是备份的作用。至于为何能做到动态扩容，主要是因为Redis 集群没有使用一致性hash, 而是使用的哈希槽。Redis 集群会有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，而集群的每个节点负责一部分hash槽。

那么这样就很容易添加或者删除节点， 比如如果我想新添加个新节点， 我只需要从已有的节点中得部分槽到过来；如果我想移除某个节点，就只需要将该节点的槽移到其它节点上，然后将没有任何槽的A节点从集群中移除即可。由于从一个节点将哈希槽移动到另一个节点并不会停止服务，所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态。

需要注意的是，该模式下不支持同时处理多个key（如MSET/MGET），因为redis需要把key均匀分布在各个节点上，并发量很高的情况下同时创建key-value会降低性能并导致不可预测的行为。

### 二，搭建集群 ###

这里就直接搭建较为复杂的Cluster模式集群，也是企业级开发过程中使用最多的。

##### 1，准备工作 #####

Linux可以连接外网，有wget（用于在线下载redis），系统安装好gcc环境，（不然编译redis会报错）。

##### 2，下载、解压、移到指定目录，编译Redis #####

wget http://download.redis.io/releases/redis-5.0.4.tar.gz
    tar xzf redis-5.0.4.tar.gz
    mv redis-5.0.4  /usr/local/redis
    cd /usr/local/redis/redis-5.0.4
    make
    make install

安装完成，在`/usr/local/bin/`目录下就会看见  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70]

##### 3，建redis各节点目录 #####

mkdir /usr/local/redis-cluster
    cd /usr/local/redis-cluster
    mkdir -p 9001/data 9002/data 9003/data 9004/data 9005/data 9006/data
    mkdir bin

最终目录结构如下  
![在这里插入图片描述][20200308101224449.png]

##### 4，redis集群的运行脚本 #####

把之前安装好的redis的src目录下运行脚本拷贝过来，每个redis版本的运行脚本有细微差异，请以你自己的版本为准，就是下图绿色部分。

cd /usr/local/redis/redis-5.0.4/src
    cp  mkreleasehdr.sh redis-benchmark redis-check-aof  redis-check-rdb redis-cli redis-sentinel redis-server redis-trib.rb /usr/local/redis-cluster/bin

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 1]  
最终效果如下图所示  
![在这里插入图片描述][20200308101313119.png]

##### 5，批量复制redis实例 #####

cp /usr/local/redis/redis-5.0.4/* /usr/local/redis-cluster/9001
    cp /usr/local/redis/redis-5.0.4/* /usr/local/redis-cluster/9002
    cp /usr/local/redis/redis-5.0.4/* /usr/local/redis-cluster/9003
    cp /usr/local/redis/redis-5.0.4/* /usr/local/redis-cluster/9004
    cp /usr/local/redis/redis-5.0.4/* /usr/local/redis-cluster/9005
    cp /usr/local/redis/redis-5.0.4/* /usr/local/redis-cluster/9006

最终效果图如下所示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 2]

##### 6，逐个修改redis配置 #####

以 9001 的为例子，其余五个类似。

cd /usr/local/redis-cluster/9001
    vi redis.conf

![在这里插入图片描述][20200308101400395.png]  
打开配置文件，按 `i` 进入编辑模式，按照出现的顺序，主要需要修改的地方是

*  bind 192.168.119.128（绑定当前电脑的 IP，这是我虚拟机的，你绑定成你虚拟机的ip）
 *  port 9001（因为我这是一台机器运行6个redis实例，所以要启动6个实例，得为它配置6个不同的端口，若你是6台机器，默认的端口就行，无需更改）
 *  daemonize yes（这是设置是否后台启动 Redis，默认 no ，但是生产环境肯定要默认就开启 Redis，所以这里设置为 yes 。）
 *  pidfile /var/run/redis\_9001.pid（\_9001这个一定要和第一个配置的端口一样）
 *  dir /usr/local/redis-cluster/9001/data/（数据文件存放位置，我换成指定目录下存放）
 *  appendonly yes
 *  cluster-enabled yes（启动集群模式）
 *  cluster-config-file nodes9001.conf（9001这个也要和之前的端口对应）
 *  cluster-node-timeout 15000（超时时间）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 3]  
    完成以上修改，Esc退出编辑模式，输入`:wq` 保存并退出。 类似同样的操作操作再来五次。

若是对redis的配置文件有兴趣，我在学习的过程中找到个详细的翻译版，可点击链接进去学习。

[redis配置中文翻译][redis]

##### 7，逐个启动redis节点 #####

cd /usr/local/redis-cluster
    /usr/local/bin/redis-server /usr/local/redis-cluster/9001/redis.conf 
    /usr/local/bin/redis-server /usr/local/redis-cluster/9002/redis.conf 
    /usr/local/bin/redis-server /usr/local/redis-cluster/9003/redis.conf 
    /usr/local/bin/redis-server /usr/local/redis-cluster/9004/redis.conf 
    /usr/local/bin/redis-server /usr/local/redis-cluster/9005/redis.conf 
    /usr/local/bin/redis-server /usr/local/redis-cluster/9006/redis.conf

运行效果如图所示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 4]  
现在检查一下是否成功开启，如下图所示，都开启成功。

ps -el | grep redis

![在这里插入图片描述][20200308101536238.png]

##### 8，搭建集群 #####

此时的节点虽然都启动成功了，但他们还不在一个集群里面，不能互相发现，测试会报错：`(error) CLUSTERDOWN Hash slot not served`。

/usr/local/redis-cluster/bin/redis-cli -h 192.168.119.128 -p 9001
    keys *
    set name mafly

如下图所示  
![在这里插入图片描述][20200308101602203.png]  
解决报错，如果你是redis5.0以前的，你需要安装集群所需的ruby相关依赖

yum install ruby
    yum install rubygems
    cd /usr/local/redis-cluster/
    gem install redis

这步若安装报错，请查看[Could not find a valid gem ‘redis’][Could not find a valid gem _redis]

如果你是redis5.0及之后的，无需安装ruby依赖，redis安装目录里内置了集群命令行工具 redis-trib ，它是一个 Ruby 程序， 这个程序通过向实例发送特殊命令来完成创建新集群， 检查集群， 或者对集群进行重新分片工作。

redis-cli --cluster create 192.168.119.128:9001 192.168.119.128:9002 192.168.119.128:9003 192.168.119.128:9004 192.168.119.128:9005 192.168.119.128:9006 --cluster-replicas 1

–cluster-replicas 1 这个指的是从机的数量，表示我们希望为集群中的每个主节点创建一个从节点。

红色选框是给三个主节点分配的共16384个槽点。

黄色选框是主从节点的分配情况。

蓝色选框是各个节点的详情。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 5]

##### 9，测试 #####

现在通过客户端命令连接上，通过集群命令看一下状态和节点信息等

/usr/local/redis-cluster/bin/redis-cli -c -h 192.168.119.128 -p 9001
    cluster info
    cluster nodes

效果图如下，集群搭建成功。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 6]  
现在往9001这个主节点写入一条信息，我们可以在9002这个主节点取到信息，集群间各个节点可以通信。

现在往9001这个主节点写入一条信息，我们可以在9002这个主节点取到信息，集群间各个节点可以通信。

set name lgx
     get name

![在这里插入图片描述][20200308101715657.png]

### 三，故障转移 ###

##### 1，故障转移机制详解 #####

1.  集群中的节点会向其它节点发送PING消息（该PING消息会带着当前集群和节点的信息），如果在规定时间内，没有收到对应的PONG消息，就把此节点标记为疑似下线。
2.  当被分配了slot槽位的主节点中有超过一半的节点都认为此节点疑似下线（就是其它节点以更高的频次，更频繁的与该节点PING-PONG），那么该节点就真的下线。
3.  其它节点收到某节点已经下线的广播后，把自己内部的集群维护信息也修改为该节点已事实下线。
4.  节点资格审查：然后对从节点进行资格审查，每个从节点检查最后与主节点的断线时间，如果该值超过配置文件的设置，那么取消该从节点的资格。
5.  准备选举时间：这里使用了延迟触发机制，主要是给那些延迟低的更高的优先级，延迟低的让它提前参与被选举，延迟高的让它靠后参与被选举。（延迟的高低是依据之前与主节点的最后断线时间确定的）
6.  选举投票：当从节点获取选举资格后，会向其他带有slot槽位的主节点发起选举请求，由它们进行投票，优先级越高的从节点就越有可能成为主节点，当从节点获取的票数到达一定数值时（如集群内有N个主节点，那么只要有一个从节点获得了N/2+1的选票即认为胜出），就会替换成为主节点。
7.  替换主节点：被选举出来的从节点会执行slaveof no one把自己的状态从slave变成master，然后执行clusterDelSlot操作撤销故障主节点负责的槽，并执行 clusterAddSlot把这些槽分配给自己，之后向集群广播自己的pong消息，通知集群内所有的节点，当前从节点已变为主节点。
8.  接管相关操作：新的主节点接管了之前故障的主节点的槽信息，接收和处理与自己槽位相关的命令请求。

##### 2，故障转移测试 #####

这是之前集群中具体节点的情况，我简化成如下，可以向上回看图片中的集群信息。  
![原先集群\_lgx211][lgx211]  
这里关闭该9001端口的进程，即模拟该主节点挂掉。

netstat -tunlp | grep 9001
     kill 15705

![在这里插入图片描述][2020030810180938.png]  
登录挂掉的redis节点，会被拒绝服务，通过还在正常运行的某个主节点进入，然后再次查看集群中的信息

/usr/local/redis-cluster/bin/redis-cli -c -h 192.168.119.128 -p 9001
    
    /usr/local/redis-cluster/bin/redis-cli -c -h 192.168.119.128 -p 9002
    
    cluster nodes

![在这里插入图片描述][20200308101822812.png]  
简而言之，就是之前的集群信息变成了如下所示  
![故障转移后集群\_lgx211][lgx211 1]  
现在，我重启刚才挂掉的主节点，重新查看集群内部的节点情况，具体情况如下图所示。

cd /usr/local/redis-cluster/
    
    /usr/local/bin/redis-server /usr/local/redis-cluster/9001/redis.conf
    
    /usr/local/redis-cluster/bin/redis-cli -c -h 192.168.119.128 -p 9002
    
    cluster nodes

![在这里插入图片描述][20200308101858676.png]  
简而言之，现在集群内的节点情况如下

![恢复后集群\_lgx211][lgx211 2]

[springboot_redis]: https://blog.csdn.net/weixin_43750212/article/details/103374195
[redis_lgx211]: https://img-blog.csdnimg.cn/20200308100950473.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[Sentinel_lgx211]: https://img-blog.csdnimg.cn/20200308101043393.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[Cluster_lgx211]: https://img-blog.csdnimg.cn/20200308101118670.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200308101156131.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[20200308101224449.png]: https://img-blog.csdnimg.cn/20200308101224449.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200308101246212.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[20200308101313119.png]: https://img-blog.csdnimg.cn/20200308101313119.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020030810133788.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[20200308101400395.png]: https://img-blog.csdnimg.cn/20200308101400395.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200308101439185.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[redis]: https://github.com/linli8/cnblogs/blob/master/redis%E5%89%AF%E6%9C%AC.conf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200308101511379.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[20200308101536238.png]: https://img-blog.csdnimg.cn/20200308101536238.png
[20200308101602203.png]: https://img-blog.csdnimg.cn/20200308101602203.png
[Could not find a valid gem _redis]: https://blog.csdn.net/weixin_43750212/article/details/104691348
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200308101636474.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200308101657956.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[20200308101715657.png]: https://img-blog.csdnimg.cn/20200308101715657.png
[lgx211]: https://img-blog.csdnimg.cn/20200308101749519.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[2020030810180938.png]: https://img-blog.csdnimg.cn/2020030810180938.png
[20200308101822812.png]: https://img-blog.csdnimg.cn/20200308101822812.png
[lgx211 1]: https://img-blog.csdnimg.cn/20200308101836175.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70
[20200308101858676.png]: https://img-blog.csdnimg.cn/20200308101858676.png
[lgx211 2]: https://img-blog.csdnimg.cn/20200308101925841.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzc1MDIxMg==,size_16,color_FFFFFF,t_70