Redis分片集群搭建(散列插槽、集群伸缩、故障转移、RedisTemplate配置)

深碍√TFBOYSˉ_ 2024-03-22 11:16 59阅读 0赞

#### 文章目录 ####

*   *  1 搭建分片集群
     *   *  1.1 集群结构
         *  1.2.准备实例和配置
         *  1.3.启动
         *  1.4.创建集群
         *  1.5.测试
     *  2.散列插槽
     *   *  2.1.插槽原理
         *  3.4.转移插槽
     *  4.故障转移
     *   *  4.1.自动故障转移
         *  4.2.手动故障转移
     *  5.RedisTemplate访问分片集群

### 1 搭建分片集群 ###

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

*  **海量数据存储**问题
 *  **高并发**写的问题

使用分片集群可以解决上述问题，如图:

![image-20210725155747294][]

分片集群特征：

*  集群中有多个master，每个master保存不同数据
 *  每个master都可以有多个slave节点
 *  master之间通过ping监测彼此健康状态
 *  客户端请求可以访问集群任意节点，最终都会被转发到正确节点

#### 1.1 集群结构 ####

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点，结构如下：

![image-20210702164116027][]

这里我们会在同一台虚拟机中开启6个redis实例，模拟分片集群，信息如下：

<table> 
 <thead> 
  <tr> 
   <th align="center">IP</th> 
   <th align="center">PORT</th> 
   <th align="center">角色</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">192.168.150.101</td> 
   <td align="center">7001</td> 
   <td align="center">master</td> 
  </tr> 
  <tr> 
   <td align="center">192.168.150.101</td> 
   <td align="center">7002</td> 
   <td align="center">master</td> 
  </tr> 
  <tr> 
   <td align="center">192.168.150.101</td> 
   <td align="center">7003</td> 
   <td align="center">master</td> 
  </tr> 
  <tr> 
   <td align="center">192.168.150.101</td> 
   <td align="center">8001</td> 
   <td align="center">slave</td> 
  </tr> 
  <tr> 
   <td align="center">192.168.150.101</td> 
   <td align="center">8002</td> 
   <td align="center">slave</td> 
  </tr> 
  <tr> 
   <td align="center">192.168.150.101</td> 
   <td align="center">8003</td> 
   <td align="center">slave</td> 
  </tr> 
 </tbody> 
</table>

#### 1.2.准备实例和配置 ####

删除之前的7001、7002、7003这几个目录，重新创建出7001、7002、7003、8001、8002、8003目录：

# 进入/tmp目录
    cd /tmp
    # 删除旧的，避免配置干扰
    rm -rf 7001 7002 7003
    # 创建目录
    mkdir 7001 7002 7003 8001 8002 8003

在/tmp下准备一个新的redis.conf文件，内容如下：

port 6379
    # 开启集群功能
    cluster-enabled yes
    # 集群的配置文件名称，不需要我们创建，由redis自己维护
    cluster-config-file /tmp/6379/nodes.conf
    # 节点心跳失败的超时时间
    cluster-node-timeout 5000
    # 持久化文件存放目录
    dir /tmp/6379
    # 绑定地址 任何人都可以访问
    bind 0.0.0.0
    # 让redis后台运行 守护进程
    daemonize yes
    # 注册的实例ip
    replica-announce-ip 192.168.150.101
    # 保护模式
    protected-mode no
    # 数据库数量
    databases 1
    # 日志
    logfile /tmp/6379/run.log

将这个文件拷贝到每个目录下：

# 进入/tmp目录
    cd /tmp
    # 执行拷贝
    echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

修改每个目录下的redis.conf，将其中的端口6379修改为与所在目录名一致：

# 进入/tmp目录
    cd /tmp
    # 修改配置文件
    printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

#### 1.3.启动 ####

因为已经配置了后台启动模式，所以可以直接启动服务：

# 进入/tmp目录
    cd /tmp
    # 一键启动所有服务
    printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

通过ps查看状态：

ps -ef | grep redis

发现服务都已经正常启动：

![image-20210702174255799][]

如果要关闭所有进程，可以执行命令：

ps -ef | grep redis | awk '{print $2}' | xargs kill

或者（推荐这种方式）：

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

#### 1.4.创建集群 ####

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。

我们需要执行命令来创建集群，在Redis5.0之前创建集群比较麻烦，5.0之后集群管理命令都集成到了redis-cli中。

1）Redis5.0之前

Redis5.0之前集群命令都是用redis安装包下的`src/redis-trib.rb`来实现的。因为`redis-trib.rb`是有ruby语言编写的所以需要安装`ruby`环境。

# 安装依赖
    yum -y install zlib ruby rubygems
    gem install redis

然后通过命令来管理集群：

# 进入redis的src目录
    cd /tmp/redis-6.2.4/src
    # 创建集群
    ./redis-trib.rb create --replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

2）Redis5.0以后

我们使用的是Redis6.2.4版本，集群管理以及集成到了`redis-cli`中，格式如下：

redis-cli --cluster create --cluster-replicas 1 192.168.150.101:7001 192.168.150.101:7002 192.168.150.101:7003 192.168.150.101:8001 192.168.150.101:8002 192.168.150.101:8003

命令说明：

*  `redis-cli --cluster`或者`./redis-trib.rb`：代表集群操作命令
 *  `create`：代表是创建集群
 *  `--replicas 1`或者`--cluster-replicas 1` ：指定集群中每个master的副本个数为1，此时`节点总数 ÷ (replicas + 1)` 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

这里的1代表主从比例=1:1, 所以前三个是主, 后三个是从节点.

运行后的样子：

![f0c6940873da8ab6cffe883fde84282f.png][]

这里输入yes，则集群开始创建：

![image-20210702181215705][]

通过命令可以查看集群状态：

redis-cli -p 7001 cluster nodes

![image-20210702181922809][]

#### 1.5.测试 ####

尝试连接7001节点，存储一个数据：

# 连接
    redis-cli -p 7001
    # 存储数据
    set num 123
    # 读取数据
    get num
    # 再次存储
    set a 1

结果悲剧了：

![image-20210702182343979][]

集群操作时，需要给`redis-cli`加上`-c`参数才可以：

redis-cli -c -p 7001

这次可以了：

![image-20210702182602145][]

### 2.散列插槽 ###

#### 2.1.插槽原理 ####

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看集群信息时就能看到：

![image-20210725155820320][]

数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：

*  key中包含"\{\}"，且“\{\}”中至少包含1个字符，“\{\}”中的部分是有效部分
 *  key中不包含“\{\}”，整个key都是有效部分

例如：key是num，那么就根据num计算，如果是\{itcast\}num，则根据itcast计算。计算方式是利用CRC16算法得到一个hash值，然后对16384取余，得到的结果就是slot值。

![image-20210725155850200][]

如图，在7001这个节点执行set a 1时，对a做hash运算，对16384取余，得到的结果是15495，因此要存储到103节点。

到了7003后，执行`get num`时，对num做hash运算，对16384取余，得到的结果是2765，因此需要切换到7001节点.

![image-20210725160448139][]

执行命令：

redis-cli --cluster add-node  192.168.150.101:7004 192.168.150.101:7001

通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

如图，7004加入了集群，并且默认是一个master节点：

![a1da8c1ce7fc4875ad4eb58861726f52.png][]

但是，可以看到7004节点的插槽数量为0，因此没有任何数据可以存储到7004上。

#### 3.4.转移插槽 ####

我们要将num存储到7004节点，因此需要先看看num的插槽是多少：

![image-20210725161241793][]

如上图所示，num的插槽为2765.

我们可以将0~3000的插槽从7001转移到7004，命令格式如下：

![image-20210725161401925][]

具体命令如下：

建立连接：

![image-20210725161506241][]

得到下面的反馈：

![image-20210725161540841][]

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

![image-20210725161637152][]

那个node来接收这些插槽？？

显然是7004，那么7004节点的id是多少呢？

![image-20210725161731738][]

复制这个id，然后拷贝到刚才的控制台后：

![image-20210725161817642][]

这里询问，你的插槽是从哪里移动过来的？

*  all：代表全部，也就是三个节点各转移一部分
 *  具体的id：目标节点的id
 *  done：没有了

这里我们要从7001获取，因此填写7001的id：

![image-20210725162030478][]

填完后，点击done，这样插槽转移就准备好了：

![image-20210725162101228][]

确认要转移吗？输入yes：

然后，通过命令查看结果：

![image-20210725162145497][]

可以看到：

![image-20210725162224058][]

目的达成。

### 4.故障转移 ###

集群初识状态是这样的：

![image-20210727161152065][]

其中7001、7002、7003都是master，我们计划让7002宕机。

#### 4.1.自动故障转移 ####

当集群中有一个master宕机会发生什么呢？

直接停止一个redis实例，例如7002：

redis-cli -p 7002 shutdown

1）首先是该实例与其它实例失去连接

2）然后是疑似宕机：

![image-20210725162319490][]

3）最后是确定下线，自动提升一个slave为新的master：

![image-20210725162408979][]

4）当7002再次启动，就会变为一个slave节点了：

![image-20210727160803386][]

#### 4.2.手动故障转移 ####

利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移。其流程如下：

![image-20210725162441407][]

这种failover命令可以指定三种模式：

*  缺省：默认的流程，如图1~6歩
 *  force：省略了对offset的一致性校验
 *  takeover：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见

**案例需求**：在7002这个slave节点执行手动故障转移，重新夺回master地位

步骤如下：

1）利用redis-cli连接7002这个节点

2）执行cluster failover命令

如图：

![image-20210727160037766][]

效果：

![image-20210727161152065][image-20210727161152065 1]

### 5.RedisTemplate访问分片集群 ###

RedisTemplate底层同样基于lettuce实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

1）引入redis的starter依赖

2）配置分片集群地址

3）配置读写分离

与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下：

spring:
      redis:
        cluster:
          nodes:
            - 192.168.150.101:7001
            - 192.168.150.101:7002
            - 192.168.150.101:7003
            - 192.168.150.101:8001
            - 192.168.150.101:8002
            - 192.168.150.101:8003

[image-20210725155747294]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5eb68371d7fb444f967024dad102cbda.png
[image-20210702164116027]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/777ef3cb8ca14e9b8d3e8ad71bc8d2f5.png
[image-20210702174255799]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e28dc83edea54c86911906d221b07e36.png
[f0c6940873da8ab6cffe883fde84282f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/fe68a903d69b436cbcdd4fae7045d056.png
[image-20210702181215705]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/cb51ab95f6334d00a38faf571257dcb3.png
[image-20210702181922809]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d0a4af623c014857bc2e23400192d22b.png
[image-20210702182343979]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7c077a4c1d4c42e38963283e5467eccc.png
[image-20210702182602145]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1d2a275d7f6e4256becbcb9e43bae23d.png
[image-20210725155820320]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/f52f342e06b44a469803d4606fad593c.png
[image-20210725155850200]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/6bb95954386249e8a9ec31783a11009b.png
[image-20210725160448139]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/b931b107424e4c39b2291b3ebe62aa25.png
[a1da8c1ce7fc4875ad4eb58861726f52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/e26ae96a35ee4b6eb012e9ba043c2b73.png
[image-20210725161241793]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/20ed2b135b614f6795f75e9090accd10.png
[image-20210725161401925]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5ba9d99ad7de4de29291cf680c3798e4.png
[image-20210725161506241]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/15fea8f1f6e541a29cc0866be2e8af77.png
[image-20210725161540841]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/de10ce7de4504332b820548e0e463fff.png
[image-20210725161637152]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/915551fa78f8443ca2fe0b9a56b875eb.png
[image-20210725161731738]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/683289c5cd1849ca966d6601d53d2aa0.png
[image-20210725161817642]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/712c50c99c314adebc9e5574f613a568.png
[image-20210725162030478]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a745c07d3da540f3a707231848db727c.png
[image-20210725162101228]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/85d15b8339f84e45bb790e84f6c46f13.png
[image-20210725162145497]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8d201013fe774066bd00bd96b21c504e.png
[image-20210725162224058]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/a293e12a926c44bbae31b129ce4c3bf2.png
[image-20210727161152065]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/10f9366ca6674467ac0cee6a4808e9c7.png
[image-20210725162319490]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/67b414d5842b4be49e2cae450636e483.png
[image-20210725162408979]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7e76354bf5b142e98ff596bd907bb4a1.png
[image-20210727160803386]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/5eca91b6915f4e80be2a6066c61f90b3.png
[image-20210725162441407]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/68afe994fe6a4d00971b303c0fe686b2.png
[image-20210727160037766]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/79531b04892b44a9bac8eeb7968023ca.png
[image-20210727161152065 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/9e9497b35b79453cbeb4dbe00f495ff1.png