17. Redis sentinel机制-实现高可用

野性酷女 2022-02-02 09:59 254阅读 0赞

Redis 的Sentinel机制是Redis官方提供的保证Redis高可用的工具，Redis Sentinel 采用Raft 分布式一致性算法来保证Redis 的高可用.

## 1. Sentinel 机制 ##

### 1.1 Sentinel 主要功能 ###

*  Monitoring(监控): Sentinel 会不断监测主服务器和从服务器是否正常运行
 *  Notification(通知)：
 *  Automatic Failover(自动故障转移): 当sentinel监测到主服务器达到客观宕机条件(当quonum个sentinel认为主服务器主观宕机)时, Sentinel 会尝试开始一次自动故障转移操作. 主要包括选举一个新的从服务器为新的master服务器，然后修改其它服务器配置，让其它从服务器复制指向新推选的master。

### 1.2 Sentinel 自动发现服务 ###

*  Sentinel 可以自动发现监听当前master服务器的其它Sentinel，并与其它Sentinel进行互联，无须手动配置。因为Sentinel是通过发布订阅功能来发现其它sentinel服务器的, 这一功能是通过向频道sentinel:hello 发送消息实现的.
 *  Sentinel 可以自动获取master服务器下的所有从服务器，也无须配置. 这一功能时Sentinel 向主服务器发送info 命令获取的.

### 1.3 Sentinel的订阅与发布 ###

*  每个Sentinel 都订阅了它监视的所有主服务器和从服务器的sentinel:hello 频道
 *  当新的sentinel要添加到主服务器的列表时, sentinel会先检查列表中是否已经包含了相同的sentinel(通过ip和端口号判断)。如果有，则sentinel会先移除原来的sentinel， 再添加新的sentinel.
 *  当Sentinel 发现新的sentinel时, 会将Sentinel添加到列表中, 动态写入其配置文件。如: sentinel known-sentinel …
 *  Sentinel 发布的信息还包括完整的主服务器的配置信息, 如果Sentinel 接收到的配置信息更新，则sentinel会更新自身配置.

### 1.4 Sentinel 定时任务 ###

*  每个Sentinel 以每秒一次的频率向主服务器，从服务器以及其它Sentinel实例发送一个PING命令
 *  每个Sentinel 会以每两秒一次的频率, 向频道sentinel:hello中发送信息，信息包含Sentinel的ip地址, 端口号和运行id
 *  每个Sentinel 会以每十秒一次的频率向主服务和从服务器发送info命令。当主服务器被标记客观下线时，Sentinel向从服务器发送info命令的频率会修改为每秒一次，直到故障转移完成

### 1.5 Sentinel 的主观下线与客观下线 ###

*  主观下线(Subjectively Down, 简称S\_DOWN)：指的是当单个Sentinel 在master-down-after-milliseconds指定的时间内，向master发送PING命令, 没有收到一个有效回复， 也就是说一直返回无效恢复(sentinel每秒向master发送一个PING命令）时，entinel会认为master处于主观下线状态 。有效回复只可以是: +PONG, -LOADING, -MASTERDOWN
 *  客观下线(Objectively Down, 简称O\_DOWN): 当sentinel任务master主观下线后，会同其它sentinel进行通信，当至少有quonum个sentinel均认为master主观下线，则master客观下线，准备开始failover 操作.

## 2. Sentinel 的配置与启动 ##

### 2.1 sentinel的核心配置参数 ###

sentinel monitor: 设置sentinel监听的主节点ip和地址

*  down-after-milliseconds: sentinel多少毫秒连接不到master，会认为主观宕机s\_DOWN. 默认30秒
 *  sentinel parallel-syncs mymaster: 发生failover(故障转移时)，最多同时多少个从节点向主节点进行数据同步,数字越小时间越长, 数字越小，对影响越小
 *  sentinel failover-timeout mymaster: 故障转移切换最长时间，单位毫秒。即推选新的master，其它从节点修改复制指向总时间

# 监听
    sentinel monitor redis.localhost 127.0.0.1 6480 2
    
    # redis 密码
    sentinel auth-pass redis.localhost 123456
    
    # 指定sentinel认为redis宕机所需毫秒数, 指定为10秒
    sentinel down-after-milliseconds redis.localhost 10000
    
    # 指定故障转移时，最多多少个从节点向主节点进行数据同步
    sentinel parallel-syncs redis.localhost 1
    
    # 指定故障转移总耗时最多多少毫秒, 默认
    sentinel failover-timeout redis.localhost 180000
    
    # 故障转移时, 不能修改脚本配置
    sentinel deny-scripts-reconfig yes

### 2.2 sentinel 服务启动方式 ###

redis sentinel 服务有两种启动方式：

*  使用redis-sentinel命令: redis-sentinel /path/sentinel.conf
 *  使用redis-server命令： redis-server /path/sentinel.conf --sentinel

## 3. 故障转移(failover) ##

### 3.1 故障转移步骤 ###

一次故障转移由以下步骤组成

1.  sentinel发现master服务器已经进入客观下线状态
2.  sentinel 推选新的主节点（根据raft leader election 进行推选)
3.  如果推选失败，则会在设定的故障转移超时时间failover-timeout的两倍时间之后, 重新尝试推选主节点
4.  如果推选成功, 则向选中的新master服务器发送slaveof no one命令， 将其升为主服务器
5.  向其它从服务器发送slaveof命令，让其去复制新的主服务器
6.  当所有从服务器开始复制新的master服务器时, 这次故障转移操作结束
7.  如果没有足够的sentinel同意主服务器已下线，即认定主观下线的sentinel数量打不打quorum, 那么主服务器的客观下线状态就会被一处。当主服务器返回有效回复时，主服务器的客观下线状态就会被移除.

### 3.2 Sentinel 选则主服务器规则 ###

*  在失效主服务器属下的从服务器当中， 那些被标记为主观下线、已断线、或者最后一次回复 PING 命令的时间大于五秒钟的从服务器都会被淘汰。
 *  在失效主服务器属下的从服务器当中， 那些与失效主服务器连接断开的时长超过 down-after 选项指定的时长十倍的从服务器都会被淘汰。
 *  在经历了以上两轮淘汰之后剩下来的从服务器中， 我们选出复制偏移量（replication offset）最大的那个从服务器作为新的主服务器； 如果复制偏移量不可用， 或者从服务器的复制偏移量相同， 那么带有最小运行 ID 的那个从服务器成为新的主服务器。

### 3.3 选主一致性算法 ###

*  Sentinel 自动故障转移采用Raft 算法来选举Leader, 类似于分布式一致性算法Paxos
 *  Sentinel 会在自身配置文件中动态记录选举版本号, 如:sentinel current-epoch 3

### 3.4 一次故障转移日志 ###

*  笔者主从集群架构为一主两从, 端口号为: 6480, 6481, 6482
 *  故障转移前: 6480 为主服务器, 6481和6482 为从服务器
 *  故障转移后: 6482 为主服务器, 6480和6481 为从服务器

# sentinel 发现主节点6480, 处于主观下线状态
    4451:X 11 May 2019 07:58:04.269 # +sdown master redis.localhost 127.0.0.1 6480
    
    # sentinel 通信，达到quorum个sentinel发现主节点处于主观下线状态，因此认定master 处于客观下线状态
    4451:X 11 May 2019 07:58:04.331 # +odown master redis.localhost 127.0.0.1 6480 #quorum 2/2
    
    # 根据raft分布式一致性算法，选取主节点.
    4451:X 11 May 2019 07:58:04.331 # +new-epoch 3
    4451:X 11 May 2019 07:58:04.331 # +try-failover master redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:04.376 # +vote-for-leader 2279bbefc80a9f66259f5d148a73638d92448653 3
    4451:X 11 May 2019 07:58:04.408 # e5acadd929ffd1feefdde0602d3a72172908fd90 voted for e5acadd929ffd1feefdde0602d3a72172908fd90 3
    4451:X 11 May 2019 07:58:04.460 # 156e8a353eea2e78bf16230e144086956e5c7c8e voted for 2279bbefc80a9f66259f5d148a73638d92448653 3
    4451:X 11 May 2019 07:58:04.490 # +elected-leader master redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:04.490 # +failover-state-select-slave master redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:04.562 # +selected-slave slave 127.0.0.1:6482 127.0.0.1 6482 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:04.562 * +failover-state-send-slaveof-noone slave 127.0.0.1:6482 127.0.0.1 6482 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:04.617 * +failover-state-wait-promotion slave 127.0.0.1:6482 127.0.0.1 6482 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:05.677 # +promoted-slave slave 127.0.0.1:6482 127.0.0.1 6482 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:05.677 # +failover-state-reconf-slaves master redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:05.700 * +slave-reconf-sent slave 127.0.0.1:6481 127.0.0.1 6481 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:06.573 # -odown master redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:06.688 * +slave-reconf-inprog slave 127.0.0.1:6481 127.0.0.1 6481 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:06.688 * +slave-reconf-done slave 127.0.0.1:6481 127.0.0.1 6481 @ redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:06.740 # +failover-end master redis.localhost 127.0.0.1 6480
    4451:X 11 May 2019 07:58:06.740 # +switch-master redis.localhost 127.0.0.1 6480 127.0.0.1 6482
    
    # 将其它从节点的复制指向设置为新的主节点
    4451:X 11 May 2019 07:58:06.740 * +slave slave 127.0.0.1:6481 127.0.0.1 6481 @ redis.localhost 127.0.0.1 6482
    4451:X 11 May 2019 07:58:06.740 * +slave slave 127.0.0.1:6480 127.0.0.1 6480 @ redis.localhost 127.0.0.1 6482
    4451:X 11 May 2019 07:58:16.767 # +sdown slave 127.0.0.1:6480 127.0.0.1 6480 @ redis.localhost 127.0.0.1 6482