Redis Cluster集群使用与原理

落日映苍穹つ 2022-10-02 11:49 268阅读 0赞

# 转载：[https://blog.csdn.net/love905661433/article/details/82317635\#思考-分布式redis不一定好][https_blog.csdn.net_love905661433_article_details_82317635_-_redis] #

2018年09月02日 18:11:29 [七夜丶雪][Link 1] 阅读数 572更多

所属专栏： [Redis专栏][Redis]

*  [为什么需要集群][Link 2]
 *  [数据分布][Link 3]
    
     *  [分布式数据库-数据分区][-]
     *  [哈希分区][Link 4]
        
         *  [节点取余(不建议)][Link 5]
         *  [一致性哈希][Link 6]
         *  [虚拟槽分区][Link 7]
 *  [集群搭建][Link 8]
    
     *  [基本架构][Link 9]
     *  [Redis Cluster架构][Redis Cluster]
 *  [Redis Cluster安装][Redis Cluster 1]
    
     *  [原生命令安装][Link 10]
        
         *  [Cluster节点主要配置][Cluster]
     *  [官方工具安装集群][Link 11]
        
         *  [Ruby环境准备][Ruby]
         *  [创建集群][Link 12]
 *  [集群伸缩][Link 13]
    
     *  [扩容集群][Link 14]
     *  [收缩集群][Link 15]
 *  [客户端路由][Link 16]
    
     *  [moved重定向][moved]
     *  [ASK重定向][ASK]
     *  [moved和ask区别][moved_ask]
     *  [Smart客户端 : 追求性能][Smart_ _]
        
         *  [smart客户端使用-JedisCluster][smart_-JedisCluster]
            
             *  [JedisCluster基本使用][JedisCluster]
             *  [多节点命令实现][Link 17]
                
                 *  [批量命令实现][Link 18]
             *  [四种方案优缺点分析][Link 19]
 *  [Redis Cluster故障转移][Redis Cluster 2]
    
     *  [故障发现][Link 20]
     *  [故障恢复][Link 21]
 *  [Redis Cluster开发运维常见问题][Redis Cluster 3]
    
     *  [集群完整性][Link 22]
     *  [带宽消耗][Link 23]
     *  [Pub/Sub广播][Pub_Sub]
     *  [集群倾斜][Link 24]
        
         *  [数据倾斜 : 内存不均][Link 25]
         *  [请求倾斜 : 热点][Link 26]
     *  [读写分离][Link 27]
     *  [数据迁移][Link 28]
     *  [集群vs单机][vs]
        
         *  [集群限制][Link 29]
         *  [思考-分布式Redis不一定好][https_blog.csdn.net_love905661433_article_details_82317635_-_redis]
 *  [集群总结][Link 30]

# 为什么需要集群 #

*  并发量QPS较大
 *  数据量较大

高并发和大数据量时, 单机无法满足,这个时候就需要使用分布式

# 数据分布 #

## 分布式数据库-数据分区 ##

![分布式数据库-数据分区][- 1]

*  顺序分区
 *  哈希分区

![顺序分区与哈希分区][70]

**顺序分区和哈希分区对比 :**

![数据分布对比][70 1]

## 哈希分区 ##

### 节点取余(不建议) ###

*  客户端分片 : 哈希 + 取余
 *  节点伸缩 : 数据节点关系变化, 导致数据迁移
 *  迁移数量和添加节点数量有关 : 建议翻倍扩容
    
    ![节点取余][70 2]

### 一致性哈希 ###

*  客户端分片 : 哈希 + 顺时针(优化取余)
 *  节点伸缩 : 值影响临近节点, 但还是有数据迁移
 *  翻倍伸缩 : 保证最小迁移数据和负载均衡

![1535588493216][]

### 虚拟槽分区 ###

*  预设虚拟槽 : 每个槽映射一个数据子集, 一般比节点数大
 *  良好的哈希函数 : 例如CRC16
 *  服务端管理节点, 槽, 数据 : 例如Redis Cluster
    
    ![虚拟槽分配][70 3]

# 集群搭建 #

## 基本架构 ##

**单机架构 :**

![单机架构][70 4]

**分布式架构 :**

![分布式架构][70 5]

## Redis Cluster架构 ##

*  节点
 *  meet : 节点之间进行通信, 所有节点共享信息
    
    ![meet操作][meet]
 *  指派槽
    
    ![指派槽][70 6]
    
    **客户端与指派槽 :**
    
    ![客户端与指派槽][70 7]
    
    > 对上面两幅图进行一下说明 : 
    > 
    > 1.  将16384个槽分别分配给A, B, C三个节点
    > 2.  客户端访问时, 根据哈希对槽进行取余,就可以获取到数据存放的槽, 同时也能获取到负责这个数据槽对应的节点
 *  复制
    
    >  *  主从复制
    >  *  高可用
    >  *  分片

# Redis Cluster安装 #

## 原生命令安装 ##

1.  配置开启节点

> port $\{port\}
> 
> daemonize yes
> 
> dir 工作目录
> 
> dbfilename “dump-$\{port\}”.rdb   
> logfile “\\$\{port\}.log
> 
> **cluster-enabled yes : 配置是否开启cluster**
> 
> **cluster-config-file nodes-$\{port\}.conf : 指定cluster配置文件, 节点启动之后会生成这个文件**

1.  meet
    
    > redis-cli -h 127.0.0.1 -p 7000 cluster meet 127.0.0.1 7001
    > 
    > 表示从7000 meet 7001
2.  指派槽
    
    > cluster addslots slot\[slot…\]
    > 
    > redis-cli -h 127.0.0.1 -p 7000 cluster addslots \{0…5461\}, 将0-5461的槽分配给7000节点
3.  设置主从
    
    > cluster replicate node-id
    > 
    > redis-cli -h 127.0.0.1 -p 7003 cluster replicate $\{node-id-7000\}, 表示7003节点去复制7000节点,作为7000节点的从节点
    
    **node-id在节点启动之后生成的cluster配置文件中查看**

### Cluster节点主要配置 ###

*  cluster-enabled yes : 表示当前节点是Cluster节点
 *  cluster-node-timeout 15000 : 故障转移的时间,节点超时的时间,Redis中这个配置有很多用处
 *  cluster-config-file “nodes.conf” : 集群节点的配置
 *  cluster-require-full-coverage yes : 是否需要集群内所有节点都正常才能提供服务, 默认是yes,通常设置为no

## 官方工具安装集群 ##

### Ruby环境准备 ###

*  下载, 编译, 安装Ruby
    
    > 1.  下载ruby:
    >     
    >     wget [https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz][https_cache.ruby-lang.org_pub_ruby_2.5_ruby-2.5.1.tar.gz]
    > 2.  解压: tar -zxvf ruby-2.5.1.tar.gz
    > 3.  ./configure -prefix=/usr/local/ruby
    > 4.  make
    > 5.  make install
    > 6.  cd /usr/local/ruby
    > 7.  cp bin/ruby /usr/local/bin
    > 8.  cp bin/gem /usr/local/bin
 *  安装rubygem redis客户端
    
    > 1.  下载rubygem redis客户端
    >     
    >     wget [https://rubygems.org/downloads/redis-3.3.0.gem][https_rubygems.org_downloads_redis-3.3.0.gem]
    >     
    >     gem install -l redis-3.3.0.gem
    >     
    >     gem list – check redis gem
 *  安装redis-trip.rb
    
    > 拷贝redis-trip.rb脚本到/usr/local/bin目录下
    > 
    > cp $\{REDIS\_HOME\}/src/redis-trib.rb /usr/local/bin/

### 创建集群 ###

*  一键开启
    
    > redis-trib.rb create –replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
    > 
    > **注: replicas 后面跟的1表示每个节点有几个从节点**

# 集群伸缩 #

## 扩容集群 ##

*  准备新节点
    
    > 1.  集群模式
    > 2.  配置和其他节点统一
    > 3.  启动后是孤儿节点
 *  加入集群 : 
    
    **加入集群-作用 :**
    
     *  为它迁移槽和数据实现扩容
     *  作为从节点负责故障转移
    
    **加入集群方式 :**
    
     *  直接执行meet命令加入集群
     *  使用redis官方提供的redis-trib.rb脚本加入集群
        
        >  *  redis-trip.rb add-node new\_host:new\_port existing\_host:existing\_port –slave –master-id 
        >  *  redis-trip.rb add-node 127.0.0.1:6385 127.0.0.1:6379
     *  建议使用redis-trip.rb,能够避免新节点已经加入其他集群,造成故障
 *  迁移槽和数据
    
     *  槽迁移计划
     *  迁移数据
        
        1.  对目标节点发送 : cluster setslot \{slot\} importing \{sourceNodeId\}命令, 让目标节点准备导入槽的数据.
        2.  对源节点发送 : cluster setslot \{slot\} migrating \{targetNodeId\}命令, 让源节点准备迁出槽的数据.
        3.  源节点循环执行 : cluster getkeysinslot \{slot\} \{count\}命令, 每次获取count个属于从槽的键.
        4.  在源节点上执行 : migrate \{targetIP\} \{targetPort\} key 0 \{timeout\} 命令把指定的key迁移.
        5.  重复执行步骤3~4直到槽下所有的键数据迁移到目标节点
        6.  向集群内所有主节点发送cluster setslot \{slot\} node \{targetNodeId\} 命令, 通知槽分配给目标节点
        
        **迁移数据-完整流程图如下:**
        
        ![迁移数据-完整流程图][- 2]
     *  添加从节点

## 收缩集群 ##

![收缩集群][70 8]

*  下线迁移槽
    
    ![下线迁移槽][70 9]
 *  忘记节点
    
    > cluster forget \{downNodeId\}
    
    ![忘记节点][70 10]
 *  关闭节点

# 客户端路由 #

## moved重定向 ##

![moved重定向][moved 1]

**槽命中 : **

![槽命中-直接返回][- 3]

**槽未命中 :**

![槽未命中-moved异常][-moved]

## ASK重定向 ##

![ASK重定向][ASK 1]

![ASK重定向流程][ASK 2]

## moved和ask区别 ##

*  两者都是客户单重定向
 *  moved : 槽已经确定迁移
 *  ask : 槽还在迁移中

## Smart客户端 : 追求性能 ##

1.  从集群中选一个可运行节点, 使用cluster slots初始化槽和节点映射
2.  将cluster slots的结果映射到本地, 为每个节点创建JedisPool
3.  准备执行命令, 客户端源码JedisClusterCommand

![Smart客户端-执行命令][Smart_-]

### smart客户端使用-JedisCluster ###

JedisCluster基本使用

1.  单例 : 内置了所有节点的连接池
2.  无需手动借还连接池
3.  合理设置commons-pool

![JedisCluster基本使用][JedisCluster 1]

多节点命令实现

![多节点命令实现][70 11]

批量命令实现

1.  串行mget
    
    ![串行mget][mget]
2.  串行IO
    
    ![串行IO][IO]
3.  并行IO
    
    ![并行IO][IO 1]
4.  hash\_tag

![hsah\_tag][hsah_tag]

四种方案优缺点分析

![四种批量方案优缺点][70 12]

# Redis Cluster故障转移 #

## 故障发现 ##

*  通过ping/pong消息实现故障发现 : 不需要sentinel
 *  主观下线和客观下线
    
     *  主观下线
    
    > **定义 :** 某个节点认为另一个节点不可用, “偏见”
    > 
    > **主观下线流程 :**
    > 
    > ![Redis Cluster-主观下线流程][Redis Cluster-]
    
     *  客观下线
    
    > **定义 :** 当半数以上持有槽的主节点都标记某节点主观下线
    > 
    > **客观下线逻辑流程 :**
    > 
    > ![Redis Cluster-客观下线逻辑流程][Redis Cluster- 1]
    > 
    > **尝试客观下线流程 :**
    > 
    > ![Redis Cluster-尝试客观下线流程][Redis Cluster- 2]
    > 
    >  *  通知集群内所有节点标记故障节点为客观下线
    >  *  通知故障节点的从节点触发故障转移流程

## 故障恢复 ##

*  资格检查
    
     *  每个从节点检查与故障主节点的断线时间
     *  超过cluster-node-timeout \* cluster-slave-validity-factor取消资格
     *  cluster-slave-validity-factor : 默认是10
 *  准备选举时间
    
    ![Redis Cluster故障恢复-准备选举时间][Redis Cluster_-]
 *  选举投票
    
    ![Redis Cluster故障恢复-选举投票][Redis Cluster_- 1]
 *  替换主节点
    
     *  当前从节点取消复制变为主节点(slaveof no one)
     *  执行clusterDelSlot撤销故障主节点负责的槽, 并执行clusterAddSlot把这些槽分配给自己
     *  向集群广播自己的pong消息, 表明已经替换了故障从节点

# Redis Cluster开发运维常见问题 #

## 集群完整性 ##

cluster-require-full-coverage默认为yes

*  集群中16384槽全部可用 : 保证集群完整性
 *  节点故障或者正在故障转移 : (error)CLUSTERDOWN The cluster is down

大多数业务无法容忍, cluster-require-full-coverage建议设置为no

## 带宽消耗 ##

![1535795652606][]

*  消息发送频率 : 节点发现与其它节点最后通信时间超过cluster-node-timeout/2时会直接发送ping消息
 *  消息数据量 : slots槽数组(2KB空间)和整个集群1/10的状态数据(10个节点状态数据约1KB)
 *  节点部署的机器规模 : 集群分布的机器越多且每台机器划分的节点数越均匀, 则集群内整体的可用带宽越高

**优化 :**

*  避免”大”集群 : 避免多业务使用一个集群, 大业务可以多集群
 *  cluster-node-timeout : 带宽和故障转移速度的均衡
 *  尽量均匀分配到多机器上 : 保证高可用和带宽

## Pub/Sub广播 ##

*  问题 : publish在集群每个节点广播, 加重带宽
 *  解决 : 单独”走”一套Redis Sentinel

## 集群倾斜 ##

### 数据倾斜 : 内存不均 ###

*  节点和槽分配不均
 *  不同槽对应键值数量差异较大 
    
     *  CRC16正常情况下比较均匀
     *  可能存在hash\_tag
     *  cluster countkeysinslot \{slot\}获取槽对应键值个数
 *  包含bigkey 
    
     *  如大字符中, 几百万元素的hash,set等
     *  从节点使用redis-cli –bigkeys 查找bigkey
     *  优化 : 优化数据结构
 *  内存相关配置不一致 
    
     *  hash-max-ziplist-value, set-max-insert-entries等
     *  优化 : 定期”检查”配置一致性

### 请求倾斜 : 热点 ###

*  热点key : 重要的key或者bigkey
 *  优化 :  
    
     *  避免bigkey
     *  热键不要用hash\_tag
     *  当一致性不高时, 可以用本地缓存 + MQ

## 读写分离 ##

**只读链接 : 集群模式的从节点不接受任何读写请求**

*  对从节点读取时, 会重定向到负责槽的主节点
 *  readonly命令可以读 : 连接级别命令

**读写分离 : 更加复杂, 不建议集群模式下使用读写分离**

*  同样的问题 : 复制延迟, 读取过期数据, 从节点故障
 *  修改客户端 : cluster slaves \{nodeId\}

## 数据迁移 ##

**官方迁移工具 : redis-trip.rb import**

*  只能从单机迁移到集群
 *  不支持在线迁移 : source需要停写
 *  不支持断点续传
 *  单线程迁移 : 影响速度

**在线迁移 :**

*  唯品会redis-migrate-tool
 *  豌豆荚 : redis-port

## 集群vs单机 ##

### 集群限制 ###

*  key批量操作支持有限 : mget, mset必须在一个slot
 *  Key事务和Lua支持有限 : 操作的key必须在一个节点
 *  key是数据分区的最小粒度 : 不支持bigkey分区
 *  不支持多个数据库 : 集群模式下只有一个db 0
 *  复制只支持一层 : 不支持树形复制结构

### 思考-分布式Redis不一定好 ###

1.  Redis Cluster : 满足容量和性能的扩展性, 很多业务”不需要” 
    
     *  大多数时客户端性能会”降低”
     *  命令无法跨节点使用 : mget, keys, scan, flush, sinter等
     *  Luau和事务无法跨节点使用
     *  客户端维护更复杂 : SDK和应用本身销毁
2.  很多场景Redis Sentinel已经足够好

# 集群总结 #

*  Redis cluster数据分区规则采用虚拟槽方式(16384个槽), 每个节点负责一部分槽和相关数据, 实现数据和请求的负载均衡
 *  搭建集群划分四个步骤 : 准备节点, 节点握手, 分配槽, 复制.redis-trip.rb工具用于快速搭建集群.
 *  集群伸缩通过在节点之间移动槽和相关数据实现 
    
     *  扩容时根据槽迁移计划把槽从源节点迁移到新节点
     *  收缩时如果下线的节点有负责的槽需要迁移到其他的节点, 再通过cluster forget命令让集群内所有节点忘记被下线节点
 *  使用smart客户端操作集群达到通信效率最大化, 客户端内部负责计算维护键->槽->节点的映射, 用于快速定位到目标节点
 *  集群自动故障转移过程分为故障发现和节点恢复. 节点下线分为主观下线和客观下线, 当超过半数节点认为故障节点为主观下线是标记它为客观下线状态.从节点负责对客观下线的主节点触发故障恢复流程, 保证集群的可用性.
 *  开发运维常见问题 : 超大规模集群带宽消耗, pub/sub广播问题, 集群倾斜问题, 单机和集群对比等

[https_blog.csdn.net_love905661433_article_details_82317635_-_redis]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%80%9D%E8%80%83-%E5%88%86%E5%B8%83%E5%BC%8Fredis%E4%B8%8D%E4%B8%80%E5%AE%9A%E5%A5%BD
[Link 1]: https://me.csdn.net/love905661433
[Redis]: https://blog.csdn.net/column/details/27172.html
[Link 2]: https://blog.csdn.net/love905661433/article/details/82317635#%E4%B8%BA%E4%BB%80%E4%B9%88%E9%9C%80%E8%A6%81%E9%9B%86%E7%BE%A4
[Link 3]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%95%B0%E6%8D%AE%E5%88%86%E5%B8%83
[-]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%88%86%E5%B8%83%E5%BC%8F%E6%95%B0%E6%8D%AE%E5%BA%93-%E6%95%B0%E6%8D%AE%E5%88%86%E5%8C%BA
[Link 4]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%93%88%E5%B8%8C%E5%88%86%E5%8C%BA
[Link 5]: https://blog.csdn.net/love905661433/article/details/82317635#%E8%8A%82%E7%82%B9%E5%8F%96%E4%BD%99%E4%B8%8D%E5%BB%BA%E8%AE%AE
[Link 6]: https://blog.csdn.net/love905661433/article/details/82317635#%E4%B8%80%E8%87%B4%E6%80%A7%E5%93%88%E5%B8%8C
[Link 7]: https://blog.csdn.net/love905661433/article/details/82317635#%E8%99%9A%E6%8B%9F%E6%A7%BD%E5%88%86%E5%8C%BA
[Link 8]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA
[Link 9]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%9F%BA%E6%9C%AC%E6%9E%B6%E6%9E%84
[Redis Cluster]: https://blog.csdn.net/love905661433/article/details/82317635#redis-cluster%E6%9E%B6%E6%9E%84
[Redis Cluster 1]: https://blog.csdn.net/love905661433/article/details/82317635#redis-cluster%E5%AE%89%E8%A3%85
[Link 10]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%8E%9F%E7%94%9F%E5%91%BD%E4%BB%A4%E5%AE%89%E8%A3%85
[Cluster]: https://blog.csdn.net/love905661433/article/details/82317635#cluster%E8%8A%82%E7%82%B9%E4%B8%BB%E8%A6%81%E9%85%8D%E7%BD%AE
[Link 11]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%AE%98%E6%96%B9%E5%B7%A5%E5%85%B7%E5%AE%89%E8%A3%85%E9%9B%86%E7%BE%A4
[Ruby]: https://blog.csdn.net/love905661433/article/details/82317635#ruby%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87
[Link 12]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%88%9B%E5%BB%BA%E9%9B%86%E7%BE%A4
[Link 13]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4%E4%BC%B8%E7%BC%A9
[Link 14]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%89%A9%E5%AE%B9%E9%9B%86%E7%BE%A4
[Link 15]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%94%B6%E7%BC%A9%E9%9B%86%E7%BE%A4
[Link 16]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%AE%A2%E6%88%B7%E7%AB%AF%E8%B7%AF%E7%94%B1
[moved]: https://blog.csdn.net/love905661433/article/details/82317635#moved%E9%87%8D%E5%AE%9A%E5%90%91
[ASK]: https://blog.csdn.net/love905661433/article/details/82317635#ask%E9%87%8D%E5%AE%9A%E5%90%91
[moved_ask]: https://blog.csdn.net/love905661433/article/details/82317635#moved%E5%92%8Cask%E5%8C%BA%E5%88%AB
[Smart_ _]: https://blog.csdn.net/love905661433/article/details/82317635#smart%E5%AE%A2%E6%88%B7%E7%AB%AF-%E8%BF%BD%E6%B1%82%E6%80%A7%E8%83%BD
[smart_-JedisCluster]: https://blog.csdn.net/love905661433/article/details/82317635#smart%E5%AE%A2%E6%88%B7%E7%AB%AF%E4%BD%BF%E7%94%A8-jediscluster
[JedisCluster]: https://blog.csdn.net/love905661433/article/details/82317635#jediscluster%E5%9F%BA%E6%9C%AC%E4%BD%BF%E7%94%A8
[Link 17]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%A4%9A%E8%8A%82%E7%82%B9%E5%91%BD%E4%BB%A4%E5%AE%9E%E7%8E%B0
[Link 18]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%89%B9%E9%87%8F%E5%91%BD%E4%BB%A4%E5%AE%9E%E7%8E%B0
[Link 19]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%9B%9B%E7%A7%8D%E6%96%B9%E6%A1%88%E4%BC%98%E7%BC%BA%E7%82%B9%E5%88%86%E6%9E%90
[Redis Cluster 2]: https://blog.csdn.net/love905661433/article/details/82317635#redis-cluster%E6%95%85%E9%9A%9C%E8%BD%AC%E7%A7%BB
[Link 20]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%95%85%E9%9A%9C%E5%8F%91%E7%8E%B0
[Link 21]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%95%85%E9%9A%9C%E6%81%A2%E5%A4%8D
[Redis Cluster 3]: https://blog.csdn.net/love905661433/article/details/82317635#redis-cluster%E5%BC%80%E5%8F%91%E8%BF%90%E7%BB%B4%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98
[Link 22]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4%E5%AE%8C%E6%95%B4%E6%80%A7
[Link 23]: https://blog.csdn.net/love905661433/article/details/82317635#%E5%B8%A6%E5%AE%BD%E6%B6%88%E8%80%97
[Pub_Sub]: https://blog.csdn.net/love905661433/article/details/82317635#pubsub%E5%B9%BF%E6%92%AD
[Link 24]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4%E5%80%BE%E6%96%9C
[Link 25]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%95%B0%E6%8D%AE%E5%80%BE%E6%96%9C-%E5%86%85%E5%AD%98%E4%B8%8D%E5%9D%87
[Link 26]: https://blog.csdn.net/love905661433/article/details/82317635#%E8%AF%B7%E6%B1%82%E5%80%BE%E6%96%9C-%E7%83%AD%E7%82%B9
[Link 27]: https://blog.csdn.net/love905661433/article/details/82317635#%E8%AF%BB%E5%86%99%E5%88%86%E7%A6%BB
[Link 28]: https://blog.csdn.net/love905661433/article/details/82317635#%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB
[vs]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4vs%E5%8D%95%E6%9C%BA
[Link 29]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4%E9%99%90%E5%88%B6
[Link 30]: https://blog.csdn.net/love905661433/article/details/82317635#%E9%9B%86%E7%BE%A4%E6%80%BB%E7%BB%93
[- 1]: /images/20220112/027899a606384192b47529201863a4c4.png
[70]: /images/20220112/561952888c454f4ba3fc5e7a463f8dda.png
[70 1]: /images/20220112/1fe21230284d4715b8e7d1ce54bd29c2.png
[70 2]: /images/20220112/a75d9de173594f299e64762d1b998c17.png
[1535588493216]: /images/20220112/b07d816fe897430c8d5f6dc93d7e386e.png
[70 3]: /images/20220112/9922aa6d41404366b98ac86dd35512b9.png
[70 4]: /images/20220112/a6e3ee4146454f4fbe4ba74ce34f646e.png
[70 5]: /images/20220112/3202db88eaa94c11b3ec1db2f2708d35.png
[meet]: /images/20220112/94ab590d0f004c108b6f2611e8a33d23.png
[70 6]: /images/20220112/870a8eec424248299f510afc4b4685c1.png
[70 7]: /images/20220112/3f07bfd3c7424eaa9072c0cf8c346a3f.png
[https_cache.ruby-lang.org_pub_ruby_2.5_ruby-2.5.1.tar.gz]: https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz
[https_rubygems.org_downloads_redis-3.3.0.gem]: https://rubygems.org/downloads/redis-3.3.0.gem
[- 2]: /images/20220112/f8d029d6b6e94fe8aadce5bba2f4fa33.png
[70 8]: /images/20220112/39a5404d391f47c48e40c3530b328d45.png
[70 9]: /images/20220112/3afe5a082e8b405e9d453ab217904d44.png
[70 10]: /images/20220112/aaf98f3ad8a246c8be559015ddf2c136.png
[moved 1]: /images/20220112/e5ed89d4670f4b74957ff04b214fcbb8.png
[- 3]: /images/20220112/8ea5270f7c70434c9ae96cac34c575a5.png
[-moved]: /images/20220112/13a119d1791f4086a1551de7b336a589.png
[ASK 1]: /images/20220112/09ef55826bce492e9a79826387949e0c.png
[ASK 2]: /images/20220112/1d213b4a973446e6a289186642901b85.png
[Smart_-]: /images/20220112/a5d44b89cba94e5b90fc8e3bb1356734.png
[JedisCluster 1]: /images/20220112/7c56401204cb4b4b9a17597ca74ab774.png
[70 11]: /images/20220112/bbb24564668c438b8009259d56967fd6.png
[mget]: /images/20220112/7005d2ab31694e4c8acf201d73a1f5c0.png
[IO]: /images/20220112/a6f92dfc0d024b01aa8d7d786256b331.png
[IO 1]: /images/20220112/8bdd51caf8574d6685721b90174a30d8.png
[hsah_tag]: /images/20220112/bf29995a36ee45279652474499da90af.png
[70 12]: /images/20220112/3b016f50ea91426d992f47e739ff034b.png
[Redis Cluster-]: /images/20220112/59223efbd0a8421d88dadd6a8e855c68.png
[Redis Cluster- 1]: /images/20220112/f05b7324e8d24a62b8883dd806ea425b.png
[Redis Cluster- 2]: /images/20220112/61377bfdb64b4572a1eff5dd6de7643e.png
[Redis Cluster_-]: /images/20220112/7c780946f06c4090927a759deb6d14ed.png
[Redis Cluster_- 1]: /images/20220112/8b3a7d81ec554964a3a1fe34f0557b42.png
[1535795652606]: /images/20220112/d695c87c3c1a4ed0ba142f57856af809.png