redis“集群”的前世今生

骑猪看日落 2021-05-12 11:55 419阅读 0赞

Redis在3.0版本前只支持**单实例模式**，虽然现在的服务器内存可以到100GB、200GB的规模，但是单实例模式限制了Redis没法满足业务的需求。Redis的开发者Antirez早在博客上就提出在Redis 3.0版本中加入集群的功能，但3.0版本等到2015年才发布正式版。各大企业在3.0版本还没发布前为了解决Redis的存储瓶颈，纷纷推出了各自的Redis集群方案。这些方案主要分为一下几种：

*  把数据分片（sharding）存储在多个Redis实例中，每一片就是一个Redis实例；
 *  使用代理，将多个redis实例代理起来；

**一、Redis集群的简单方案：Redis Sharding**

**1、redis sharding：**

Redis Sharding可以说是Redis Cluster出来之前，业界普遍使用的多Redis实例集群方法。其主要思想是采用**哈希算法将Redis数据的key进行散列**，通过hash函数将key映射到特定的Redis节点上。这样，客户端就知道该向哪个Redis节点操作数据。通常，分片逻辑放到了客户端（Redis客户端实现），通过Redis客户端预先定义好的路由规则，把对Key的访问转发到不同Redis实例中，最后把返回结果汇集

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70][]

客户端分片的好处是**所有的逻辑都是可控**的，不依赖于第三方分布式中间件。开发人员清楚怎么实现分片、路由的规则，不用担心踩坑。客户端分片方案有下面这些缺点。  
1. 这是一种静态的分片方案，需要增加或者减少Redis实例的数量，需要**手工调整分片**的程序。  
2. 可运维性差，集群的数据出了任何问题都需要运维人员和开发人员一起合作。  
3. 在不同的客户端程序中，维护相同的**分片逻辑**成本巨大。例如，系统中有两套业务系统共用一套Redis集群，一套业务系统用Java实现，另一套业务系统用PHP实现。为了保证分片逻辑的一致性，在Java客户端中实现的分片逻辑也需要在PHP客户端实现一次。相同的逻辑在不同的系统中分别实现，这种设计本来就非常糟糕，而且需要耗费巨大的开发成本保证两套业务系统分片逻辑的一致性。

一致性hash可以参考：

**2、Redis Sharding的扩容问题**

Redis Sharding采用客户端Sharding方式，服务端Redis还是一个个相对独立的Redis实例节点，没有做任何变动。同时，我们也不需要增加额外的中间处理组件，这是一种非常轻量、灵活的Redis多实例集群方法。  
当然，Redis Sharding这种轻量灵活方式必然在集群其它能力方面做出妥协。比如**扩容**，当想要增加Redis节点时，尽管采用一致性哈希，毕竟还是会有key匹配不到而丢失，这时需要**键值迁移**。  
作为轻量级客户端sharding，处理Redis键值迁移是不现实的，这就要求应用层面允许Redis中数据丢失或从后端数据库重新加载数据。但有些时候，击穿缓存层，直接访问数据库层，会对系统访问造成很大压力。有没有其它手段改善这种情况？  
Redis作者给出了一个比较讨巧的办法–**presharding**，即预先根据系统规模尽量部署好多个Redis实例，这些实例占用系统资源很小，一台物理机可部署多个，让他们都参与sharding，当需要扩容时，**选中一个实例作为主节点**，新加入的Redis节点**作为从节点进行数据复制**。数据同步后，修改sharding配置，让指向**原实例的Shard指向新机器上扩容后的Redis节点**，同时调整新Redis节点为主节点，原实例可不再使用。  
这样，我们的架构模式变成一个Redis节点切片包含**一个主Redis和一个备Redis**。在主Redis宕机时，备Redis接管过来，上升为主Redis，继续提供服务。主备共同组成一个Redis节点，通过自动故障转移，保证了节点的高可用性。则Sharding架构演变成：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 1][]

**3、Redis Sentinel实现故障转移**

详情见：

**4、Jedis Sharding：ShardedJedis和ShardedJedisPool的使用**

Java redis客户端驱动jedis已支持Redis Sharding功能，即ShardedJedis以及结合缓存池的ShardedJedisPool。  
Jedis的Redis Sharding实现具有如下特点：  
1、采用一致性哈希算法(consistent hashing)，将key和节点name同时hashing，然后进行映射匹配，采用的算法是**MURMUR\_HASH**。采用一致性哈希而不是采用简单类似哈希求模映射的主要原因是当增加或减少节点时，不会产生由于重新匹配造成的rehashing。一致性哈希只影响相邻节点key分配，影响量小。  
2.为了避免一致性哈希只影响相邻节点造成节点分配压力，ShardedJedis会对每个Redis节点根据名字(没有，Jedis会赋予缺省名字)会虚拟化出**160个虚拟节点**进行散列。根据权重weight，也可虚拟化出160倍数的虚拟节点。用虚拟节点做映射匹配，可以在增加或减少Redis节点时，key在各Redis节点移动再分配更均匀，而不是只有相邻节点受影响。  
3.ShardedJedis支持keyTagPattern模式，即抽取key的一部分keyTag做sharding，这样通过合理命名key，可以将一组相关联的key放入同一个Redis节点，这在避免跨节点访问相关数据时很重要。

ShardedJedis的使用方法除了配置时有点区别，其他和Jedis基本类似，有一点要注意的是 ShardedJedis不支持多命令操作，像mget、mset、brpop等可以在redis命令后一次性操作多个key的命令，具体包括哪些，大家可以看Jedis下的 MultiKeyCommands 这个类，这里面就包含了所有的多命令操作。很贴心的是，Redis作者已经把这些命令从ShardedJedis过滤掉了，使用时也调用不了这些方法，大家知道下就行了。好了，现在来看基本的使用。

//设置连接池的相关配置
            JedisPoolConfig poolConfig = new JedisPoolConfig();
            poolConfig.setMaxTotal(2);
            poolConfig.setMaxIdle(1);
            poolConfig.setMaxWaitMillis(2000);
            poolConfig.setTestOnBorrow(false);
            poolConfig.setTestOnReturn(false);
     
            //设置Redis信息
            String host = "127.0.0.1";
            JedisShardInfo shardInfo1 = new JedisShardInfo(host, 6379, 500);
            shardInfo1.setPassword("test123");
            JedisShardInfo shardInfo2 = new JedisShardInfo(host, 6380, 500);
            shardInfo2.setPassword("test123");
            JedisShardInfo shardInfo3 = new JedisShardInfo(host, 6381, 500);
            shardInfo3.setPassword("test123");
     
            //初始化ShardedJedisPool
            List<JedisShardInfo> infoList = Arrays.asList(shardInfo1, shardInfo2, shardInfo3);
            ShardedJedisPool jedisPool = new ShardedJedisPool(poolConfig, infoList);
     
            //进行查询等其他操作
            ShardedJedis jedis = null;
            try {
                jedis = jedisPool.getResource();
                　　jedis.set("test", "test");
                　　jedis.set("test1", "test1");
                String test = jedis.get("test");
                System.out.println(test);
                ......
            } finally {
                 //使用后一定关闭，还给连接池
    　　　  if(jedis!=null) {
    　　　　    jedis.close();
    　　　　}

**二、Redis集群的折中方案：中间件实现的Redis集群**

**1、Twemproxy**  
Twemproxy是一种代理分片机制，由Twitter开源。Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。该方案很好的解决了单个Redis实例承载能力的问题。

当然，Twemproxy本身也是单点，需要用Keepalived做高可用方案。通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免单点故障问题。虽然使用Twemproxy需要更多的硬件资源和在redis性能有一定的损失（twitter测试约20%），但是能够提高整个系统的HA也是相当划算的。不熟悉twemproxy的同学，如果玩过nginx反向代理或者mysql proxy，那么你肯定也懂twemproxy了。其实twemproxy不光实现了redis协议，还实现了memcached协议，什么意思？换句话说，twemproxy不光可以代理redis，还可以代理memcached。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 2][]

上面twemproxy是单点。通常会结合keepalived来实现Twemproxy的高可用。架构图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 3][]

**2. Codis**

Codis是一个分布式的Redis解决方案对于上层的应用来说，连接Codis Proxy和连接原生的Redis Server没有明显的区别，上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的数据迁移等工作，所有后边的一切事情，**对于前面客户端来说是透明的**，可以简单的认为后边连接是一个内存无限大的Redis服务。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 4][]

以上我们可以看到codis-proxy是单个节点的，因为我们可以通过结合keepalived来实现高可用：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 5][]

其系统中包含的组件如下：

**codis-proxy** : 是客户端连接的Redis代理服务，codis-proxy 本身实现了Redis协议，表现得和一个原生的Redis没什么区别（就像Twemproxy），对于一个业务来说，可以部署多个codis-proxy，codis-proxy本身是没状态的。  
**codis-config **：是Codis的管理工具，支持包括，添加/删除Redis节点，添加/删除Proxy节点，发起数据迁移等操作，codis-config本身还自带了一个http server，会启动一个dashboard，用户可以直接在浏览器上观察Codis集群的状态。  
**codis-server**：是Codis项目维护的一个Redis分支，基于2.8.13开发，加入了slot的支持和原子的数据迁移指令，Codis上层的codis-proxy和codis-config只能和这个版本的Redis交互才能正常运行。  
**ZooKeeper **：用来存放数据路由表和codis-proxy节点的元信息，codis-config发起的命令都会通过ZooKeeper同步到各个存活的codis-proxy

具体搭建过程见[Codis集群的搭建与使用][Codis]。

**三、Redis集群的官方方案：Redis Cluster**

Redis 3正式推出了官方集群技术，解决了多Redis实例协同服务问题。Redis Cluster可以说是服务端Sharding分片技术的体现，即将键值按照一定算法合理分配到各个实例分片上，同时各个实例节点协调沟通，共同对外承担一致服务。

redis的集群分区，最主要的目的都是在移除、添加一个节点时对已经存在的缓存数据的定位影响尽可能的降到最小。redis将哈希槽分布到不同节点的做法使得用户可以很容易地向集群中添加或者删除节点， 比如说：

1.  如果用户将新节点 D 添加到集群中， 那么集群只需要将节点 A 、B 、 C 中的某些槽移动到节点 D 就可以了。
2.  与此类似， 如果用户要从集群中移除节点 A ， 那么集群只需要将节点 A 中的所有哈希槽移动到节点 B 和节点 C ， 然后再移除空白（不包含任何哈希槽）的节点 A 就可以了。

因为将一个哈希槽从一个节点移动到另一个节点不会造成节点阻塞， 所以无论是添加新节点还是移除已存在节点， 又或者改变某个节点包含的哈希槽数量， 都不会造成集群下线，从而保证集群的可用性。

**1、Redis Cluster的架构**

Redis 集群键分布算法使用**数据分片**（sharding）而非**一致性哈希**（consistency hashing）来实现： 一个 Redis 集群包含 16384 个哈希槽（hash slot）， 它们的编号为0、1、2、3……16382、16383，这个槽是一个逻辑意义上的槽，实际上并不存在。redis中的每个key都属于这 16384 个哈希槽的其中一个，存取key时都要进行key->slot的映射计算。

和memcached一样，redis也采用一定的算法进行键-槽（key->slot）之间的映射。memcached采用一致性哈希（consistency hashing）算法进行键-节点（key-node）之间的映射，而redis集群使用集群公式来计算键 key 属于哪个槽：

HASH_SLOT（key）= CRC16(key) % 16384

其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。key经过公式计算后得到所对应的哈希槽，而哈希槽被某个主节点管理，从而确定key在哪个主节点上存取，这也是redis将数据均匀分布到各个节点上的基础。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 6][]  
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.  
(2)节点的fail是通过集群中**超过半数的节点检测失效时**才生效.  
(3)客户端与redis节点直连,**不需要中间proxy层**.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。  
(4)redis-cluster把所有的物理节点映射到\[**0-16383**\]slot上(哈希槽),cluster 负责维护。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 7][]

Redis集群内的机器定期交换数据，工作流程如下。  
（1） Redis客户端在Redis2实例上访问某个数据。  
（2） 在Redis2内发现这个数据是在Redis3这个实例中，给Redis客户端发送一个**重定向**的命令。  
（3） Redis客户端收到重定向命令后，访问Redis3实例获取所需的数据。

**2、Redis-cluster投票:容错**

(1) 领着投票过程是集群中所有master参与,如果**半数以上master节点与其中一个master节点通信超时**(cluster-node-timeout),认为当前master节点挂掉.  
(2) 什么时候整个集群不可用(cluster\_state:fail)?   
a:如果集群**任意master挂掉,且当前master没有slave.集群进入fail状态**,也可以理解成集群的slot映射\[0-16383\]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.  
b:如果集群超过**半数以上master挂掉**，无论是否有slave集群进入fail状态.  
ps:当集群不可用时,所有对集群的操作做都不可用，收到((error)CLUSTERDOWN The cluster is down)错误。

**3、Redis cluster问题**

1.  一个Redis实例具备了“**数据存储**”和“**路由重定向**”，完全去中心化的设计。这带来的好处是部署非常简单，直接部署Redis就行，不像Codis有那么多的组件和依赖。但带来的问题是**很难对业务进行无痛的升级**，如果哪天Redis集群出了什么严重的Bug，就只能回滚整个Redis集群。
2.  对协议进行了较大的修改，对应的**Redis客户端也需要升级**。升级Redis客户端后谁能确保没有Bug？而且对于线上已经大规模运行的业务，升级代码中的Redis客户端也是一个很麻烦的事情。

综合上面所述的两个问题，Redis 3.0集群在业界并没有被大规模使用。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70]: /images/20210511/35fdaf49613f4622a910f2ae4b1a884e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 1]: /images/20210511/5da4ecf44cbe426dbda131fe62286a3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 2]: /images/20210511/af0fde7c93d0415ba4fe8bcc7522ef93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 3]: /images/20210511/82677e46a980431085d6ad9d99285a55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 4]: /images/20210511/1aafe737065d4dbca8019931f80e8c38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 5]: /images/20210511/955e377994594e33b8e9e3f33fc0eabb.png
[Codis]: http://www.cnblogs.com/xuanzhi201111/p/4425194.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 6]: /images/20210511/7af3d689c2c24ed99873be6bc29aba62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdXhpYW83MjM4NDY_size_16_color_FFFFFF_t_70 7]: /images/20210511/4fe073f0b8bb47f5bd9600119b4edb6f.png