分布式缓存中【数据分片、数据迁移、客户端路由】的解决方案！

谁借莪１个温暖的怀抱￠ 2022-01-09 06:27 137阅读 0赞

点击上方石杉的架构笔记，右上角选择“**设为星标**”

每日早8点半，技术文章准时送上

公众号后台回复“**学习**”，获取作者独家秘制精品资料

![640?wx\_fmt=png][640_wx_fmt_png]

往期文章

[BAT 面试官是如何360°无死角考察候选人的（上篇）][BAT _360]

[每秒上万并发下的Spring Cloud参数优化实战][Spring Cloud]

[分布式事务如何保障实际生产中99.99%高可用][99.99]

[记一位朋友斩获 BAT 技术专家Offer的面试经历][BAT _Offer]

[亿级流量架构系列之如何支撑百亿级数据的存储与计算][Link 1]

![640?wx\_fmt=png][640_wx_fmt_png]

本文来自**程序员历小冰**的投稿

在此感谢历小冰同学的分享

上一篇《分布式数据缓存中的一致性哈希算法》文章中讲述了一致性哈希算法的基本原理和实现，今天就以 Redis Cluster 为例，详细讲解一下分布式数据缓存中的数据分片，上线下线时数据迁移以及请求重定向等操作。

### Redis 集群简介 ###

Redis Cluster 是 Redis 的分布式解决方案，在 3.0 版本正式推出，有效地解决了 Redis 分布式方面的需求。

Redis Cluster 一般由多个节点组成，节点数量至少为 6 个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。

三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。如下图：

![640?wx\_fmt=png][640_wx_fmt_png 1]图片来源 redislabs

如上图所示，该集群中包含 6 个 Redis 节点，3主3从，分别为M1，M2，M3，S1，S2，S3。除了主从 Redis 节点之间进行数据复制外，所有 Redis 节点之间采用 Gossip 协议进行通信，交换维护节点元数据信息。

一般来说，主 Redis 节点会处理 Clients 的读写操作，而从节点只处理读操作。

### 数据分片策略 ###

> 分布式数据存储方案中最为重要的一点就是数据分片，也就是所谓的 Sharding。

为了使得集群能够水平扩展，首要解决的问题就是如何将整个数据集按照一定的规则分配到多个节点上

常用的数据分片的方法有：范围分片，哈希分片，一致性哈希算法和虚拟哈希槽等。

范围分片假设数据集是有序，将顺序相临近的数据放在一起，可以很好的支持遍历操作。范围分片的缺点是面对顺序写时，会存在热点。

比如日志类型的写入，一般日志的顺序都是和时间相关的，时间是单调递增的，因此写入的热点永远在最后一个分片。

![640?wx\_fmt=png][640_wx_fmt_png 2]

对于关系型的数据库，因为经常性的需要表扫描或者索引扫描，基本上都会使用范围的分片策略。

哈希分片和一致性哈希算法在上一篇文章中已经总结过了，感兴趣的同学可以去了解一下《分布式数据缓存中的一致性哈希算法》

我们接下来主要来看Redis Cluster 的虚拟哈希槽策略。

Redis Cluster 采用虚拟哈希槽分区，所有的键根据哈希函数映射到 0 ~ 16383 整数槽内

计算公式：slot = CRC16(key) & 16383，每一个节点负责维护一部分槽以及槽所映射的键值数据。

**Redis 虚拟槽分区的特点：**

*  解耦数据和节点之间的关系，简化了节点扩容和收缩难度。
 *  节点自身维护槽的映射关系，不需要客户端或者代理服务维护槽分区元数据
 *  支持节点、槽和键之间的映射查询，用于数据路由，在线集群伸缩等场景。

![640?wx\_fmt=png][640_wx_fmt_png 3]

Redis 集群提供了灵活的节点扩容和收缩方案，在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以下线部分节点进行缩容。

可以说，**槽是 Redis 集群管理数据的基本单位**，集群伸缩就是槽和数据在节点之间的移动。

下面我们就先来看一下 Redis 集群伸缩的原理。然后再了解当 Redis 节点数据迁移过程中或者故障恢复时如何保证集群可用。

### 扩容集群 ###

为了让读者更好的理解上线节点时的扩容操作，我们通过 Redis Cluster 的命令来模拟整个过程。

![640?wx\_fmt=png][640_wx_fmt_png 4]

当一个 Redis 新节点运行并加入现有集群后，我们需要为其迁移槽和数据。首先要为新节点指定槽的迁移计划，确保迁移后每个节点负责相似数量的槽，从而保证这些节点的数据均匀。

**1)** 首先启动一个 Redis 节点，记为 M4。

**2)** 使用 cluster meet 命令，让新 Redis 节点加入到集群中。新节点刚开始都是主节点状态，由于没有负责的槽，所以不能接受任何读写操作，后续我们就给他迁移槽和填充数据。

**3)** 对 M4 节点发送 cluster setslot \{ slot \} importing \{ sourceNodeId \} 命令，让目标节点准备导入槽的数据。

**4)** 对源节点，也就是 M1，M2，M3 节点发送 cluster setslot \{ slot \} migrating \{ targetNodeId \} 命令，让源节点准备迁出槽的数据。

**5)** 源节点执行 cluster getkeysinslot \{ slot \} \{ count \} 命令，获取 count 个属于槽 \{ slot \} 的键，然后执行步骤六的操作进行迁移键值数据。

**6)** 在源节点上执行 migrate \{ targetNodeIp\} " " 0 \{ timeout \} keys \{ key... \} 命令，把获取的键通过 pipeline 机制批量迁移到目标节点，批量迁移版本的 migrate 命令在 Redis 3.0.6 以上版本提供。

**7)** 重复执行步骤 5 和步骤 6 直到槽下所有的键值数据迁移到目标节点。

**8)** 向集群内所有主节点发送 cluster setslot \{ slot \} node \{ targetNodeId \} 命令，通知槽分配给目标节点。为了保证槽节点映射变更及时传播，需要遍历发送给所有主节点更新被迁移的槽执行新节点。

### 收缩集群 ###

收缩节点就是将 Redis 节点下线，整个流程需要如下操作流程。

**1)** 首先需要确认下线节点是否有负责的槽，如果是，需要把槽迁移到其他节点，保证节点下线后整个集群槽节点映射的完整性。

**2)** 当下线节点不再负责槽或者本身是从节点时，就可以通知集群内其他节点忘记下线节点，当所有的节点忘记改节点后可以正常关闭。

下线节点需要将节点自己负责的槽迁移到其他节点，原理与之前节点扩容的迁移槽过程一致。

![640?wx\_fmt=png][640_wx_fmt_png 5]

迁移完槽后，还需要通知集群内所有节点忘记下线的节点，也就是说让其他节点不再与要下线的节点进行 Gossip 消息交换。

Redis 集群使用 cluster forget \{ downNodeId \} 命令来讲指定的节点加入到禁用列表中，在禁用列表内的节点不再发送 Gossip 消息。

### 客户端路由 ###

在集群模式下，Redis 节点接收任何键相关命令时首先计算键对应的槽，在根据槽找出所对应的节点，如果节点是自身，则处理键命令；

否则回复 MOVED 重定向错误，通知客户端请求正确的节点。这个过程称为 MOVED 重定向。

**需要注意的是 Redis 计算槽时并非只简单的计算键值内容，当键值内容包括大括号时，则只计算括号内的内容。**

比如说，key 为 user:\{10000\}:books时，计算哈希值只计算10000。

MOVED 错误示例显示的信息如下，键 `x` 所属的哈希槽 `3999` ，以及负责处理这个槽的节点的 IP 和端口号 `127.0.0.1:6381` 。

客户端需要根据这个 IP 和端口号， 向所属的节点重新发送一次 GET 命令请求。

*  GET x-MOVED 3999 127.0.0.1:6381

由于请求重定向会增加 IO 开销，这不是 Redis 集群高效的使用方式，而是要使用 Smart 集群客户端。

Smart 客户端通过在内部维护 slot 到 Redis 节点的映射关系，本地就可以实现键到节点的查找，从而保证 IO 效率的最大化，而 MOVED 重定向负责协助客户端更新映射关系。

Redis 集群支持在线迁移槽( slot ) 和数据来完成水平伸缩，当 slot 对应的数据从源节点到目标节点迁移过程中，客户端需要做到智能迁移，保证键命令可正常执行。

例如当 slot 数据从源节点迁移到目标节点时，期间可能出现一部分数据在源节点，而另一部分在目标节点。如下图所示：

![640?wx\_fmt=png][640_wx_fmt_png 6]

所以，综合上述情况，客户端命令执行流程如下所示：

*  客户端根据本地 slot 缓存发送命令到源节点，如果存在键对应则直接执行并返回结果给客户端。
 *  如果节点返回 MOVED 错误，更新本地的 slot 到 Redis 节点的映射关系，然后重新发起请求。
 *  如果数据正在迁移中，节点会回复 ASK 重定向异常。格式如下: ( error ) ASK \{ slot \} \{ targetIP \} : \{ targetPort \}
 *  客户端从 ASK 重定向异常提取出目标节点信息，发送 asking 命令到目标节点打开客户端连接标识，再执行键命令。

ASK 和 MOVED 虽然都是对客户端的重定向控制，但是有着本质区别。

ASK 重定向说明集群正在进行 slot 数据迁移，客户端无法知道什么时候迁移完成，因此只能是临时性的重定向，客户端不会更新 slot 到 Redis 节点的映射缓存。

但是 MOVED 重定向说明键对应的槽已经明确指定到新的节点，因此需要更新 slot 到 Redis 节点的映射缓存。

### 故障转移 ###

当 Redis 集群内少量节点出现故障时通过自动故障转移保证集群可以正常对外提供服务。

当某一个 Redis 节点客观下线时，Redis 集群会从其从节点中通过选主选出一个替代它，从而保证集群的高可用性。这块内容并不是本文的核心内容，感兴趣的同学可以自己学习。

但是，有一点要注意。默认情况下，当集群 16384 个槽任何一个没有指派到节点时整个集群不可用。执行任何键命令返回 CLUSTERDOWN Hash slot not served 命令。

**当持有槽的主节点下线时，从故障发现到自动完成转移期间整个集群是不可用状态，对于大多数业务无法忍受这情况**

**因此建议将参数 cluster-require-full-coverage 配置为 no ，当主节点故障时只影响它负责槽的相关命令执行，不会影响其他主节点的可用性**。

**END**

**划至底部，点击“在看”，是你来过的仪式感！**

![640?wx\_fmt=png][640_wx_fmt_png]

**推荐阅读**：

*  [简历写了会Kafka，面试官90%会让你讲讲acks参数对消息持久化的影响！][Kafka_90_acks]  
    
    
      
    
 *  [面试最让你手足无措的一个问题：你的系统如何支撑高并发？][Link 2]

*  [Java高阶必备：如何优化Spring Cloud微服务注册中心架构？][Java_Spring Cloud]

*  [高并发场景下，如何保证生产者投递到消息中间件的消息不丢失？][Link 3]

*  [从团队自研的百万并发中间件系统的内核设计看Java并发性能优化！][Java]

*  [如果20万用户同时访问一个热点缓存，如何优化你的缓冲架构？][20]

**更多文章：**

*  [2018年原创汇总][2018]
 *  [2019年原创汇总（持续更新）][2019]
 *  [爆款推荐][Link 4]
 *  [面试专栏][Link 5]

![640?wx\_fmt=png][640_wx_fmt_png]

欢迎长按下图关注公众号**石杉的架构笔记**，后台回复“**学习**”，获取作者独家秘制精品资料

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

**BAT架构经验倾囊相授**

![640?wx\_fmt=gif][640_wx_fmt_gif]

[640_wx_fmt_png]: /images/20220109/b3d3d9cbb3544f0c85db1d87f0c73a0e.png
[BAT _360]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484144&idx=1&sn=a6b86d38a762e317ba78e2500fb1a8ff&chksm=fba6eaf3ccd163e5403a01be51216780040511b2ddc4d5750ace6e46b4242ceaf77d0432c680&scene=21#wechat_redirect
[Spring Cloud]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483777&idx=1&sn=f144ee415bb743f5422314907fc7d819&chksm=fba6e982ccd160945aa5c53434e933e2f03e89d9faf634f0b573c1f7b6f4d6d2635cad091276&scene=21#wechat_redirect
[99.99]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483876&idx=1&sn=51f8eadc16efd6b89eb1f3c6abe67e25&chksm=fba6e9e7ccd160f183b344d4773841ad8df9a2c099a16aae516ddb45aef7eaccb83570d171fe&scene=21#wechat_redirect
[BAT _Offer]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484170&idx=1&sn=6c178884c1c5399e37562b9dc66cff6c&chksm=fba6eb09ccd1621ff8821b37f12d6df8a1d269ddc95ad10c0a4e71a3bf0017952bf19978d8ec&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247483948&idx=1&sn=e75aa8b5cfae1363391801e2f74bd2ee&chksm=fba6ea2fccd163390520dbc62b6170c7f3d456207e623fce4ded036fea525a6782a31098b905&scene=21#wechat_redirect
[640_wx_fmt_png 1]: /images/20220109/9870cd1b5b2d4cb786c062ee7e1296cd.png
[640_wx_fmt_png 2]: /images/20220109/0902cd983b0a4593938f5468d2562b8c.png
[640_wx_fmt_png 3]: /images/20220109/b4e28c06556442e4bb7d2a248e315f62.png
[640_wx_fmt_png 4]: /images/20220109/549f7ed3c80a458a9d048dd5f2155f9c.png
[640_wx_fmt_png 5]: /images/20220109/c48ab288fbc54e7aae3aad0d5f22d8fb.png
[640_wx_fmt_png 6]: /images/20220109/f3399a29b602469e81ac17629b23376f.png
[Kafka_90_acks]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485069&idx=1&sn=abd8ddc19fbb49c11c8ad9e1ffdff147&chksm=fba6ee8eccd1679874d5bd19109ed8cb3daadf59dabe67c906f8caed0714ba2dda16f5a032ce&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484429&idx=1&sn=d8038c21ecd733b8bb7ff784014243f9&chksm=fba6ec0eccd165189e92a294ab2b7cd6796982c188befe05c27f4e96ae5cd39f2baf436cf37d&scene=21#wechat_redirect
[Java_Spring Cloud]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484680&idx=1&sn=d25e1f81ad75f68dd88755173843efad&chksm=fba6ed0bccd1641d7edfd05431904b96f2e3da7c04b3a75c2a350e374733f59971c01ddd9ae6&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484377&idx=1&sn=373832e0d050bb0618448f4403f02f2a&chksm=fba6ebdaccd162cca4a26199554cbfbc37c4aec56fe54c3864a0a9cfc3255884ed212512e5cd&scene=21#wechat_redirect
[Java]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484395&idx=1&sn=46c756600ba36d94eb4439cf29810cae&chksm=fba6ebe8ccd162fef42bb35360df8ec6c75e1a9af1acc83ba333b3f35191ba8864c16e0a31da&scene=21#wechat_redirect
[20]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484401&idx=1&sn=823cffa4a1aa73335bdfb7c02e8c85f0&chksm=fba6ebf2ccd162e422b1b496f5790ebdf7f6d11adb8d2e00957ca371dcca0514a3fde09af521&scene=21#wechat_redirect
[2018]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485040&idx=2&sn=e6eba27a4a912cbd320f28e6d8716241&chksm=fba6ee73ccd16765d9d59ad38dc29bb983439f8c91bda5aef068e79ce35cc6c87869e96481cb&scene=21#wechat_redirect
[2019]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485185&idx=2&sn=df2470abbcedee1792246dfb81acb446&chksm=fba6ef02ccd166143a04c7a233c1a32b43ce003e6790543354c0248a01d92421de6f3e3b42c5&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247484866&idx=3&sn=b1018261f230a065b0888bc9b66d6df9&chksm=fba6edc1ccd164d70ff5cc4d31641562f9ba747e992b64041c29317b66f61e3c86566fce0a3d&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU0OTk3ODQ3Ng==&mid=2247485185&idx=3&sn=278ce173dd5af6bce78ad9125bed2f45&chksm=fba6ef02ccd16614b5f562c021d18f5db2bc79ba3b33a2bf590db8cc121a3f8e94b4284990c4&scene=21#wechat_redirect
[640_wx_fmt_jpeg]: /images/20220109/8a07ff9a3cf14137b0721c9f4db7eeee.png
[640_wx_fmt_gif]: /images/20220109/7f1634d866274f8ea5adf1b419bd0e74.png