转：ShardedJedis源码分析

女爷i 2022-03-02 20:06 251阅读 0赞

转自：[https://www.cnblogs.com/vhua/p/redis\_2.html][https_www.cnblogs.com_vhua_p_redis_2.html]

上一篇中介绍了ShardedJedis的基本使用方法以及演示了一个简单的例子，在这一篇中我们来介绍了ShardedJedis的原理。

## 1.ShardedJedis内部实现 ##

首先我们来看一下ShardedJedis的一个继承关系

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3J1YW5oYW8xMjAz_size_16_color_FFFFFF_t_70][]

看完了图，那么我们一步一步跟着我们的代码调用来看，以我们最简单的** ShardedJedis.get(key)**方法为例：

public String get(String key) {
        Jedis j = getShard(key);
        return j.get(key);
      }

这边有调用一个**getShard **方法，参数为我们传入的**key**，然后返回一个普通的**jedis**对象，那么这个**getShard**是用来做什么的呢，大家可能已经猜到了，这个方法就是会根据我们传入的**key**做一致性哈希判断，然后返回**key**落到的那个**redis**实例上的一个**redis**连接，不同的key返回的redis连接可能是不同的。

进入**getShard **方法，你会发现这个实现是在**Sharded**类中实现的（看上面的类图可以发现顶层的Sharded类），代码如下：

![复制代码][copycode.gif]

public R getShard(String key) {
        return resources.get(getShardInfo(key));
      }
    
      public S getShardInfo(byte[] key) {
        SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key));
        if (tail.isEmpty()) {
          return nodes.get(nodes.firstKey());
        }
        return tail.get(tail.firstKey());
      }
    
      public S getShardInfo(String key) {
        return getShardInfo(SafeEncoder.encode(getKeyTag(key)));
      }

![复制代码][copycode.gif]

上面的方法是层层调用的关系，在这边不细说，我们主要看下第二个方法（getShardInfo(byte\[\] key)）实现（上面的**nodes**变量是一个**TreeMap **类型， **algo **是**Hashing**类型，即key分片所使用的hash算法，这个在前一篇有简单说过），那么这段代码的含义我们大概成猜出来了，

1.  就是在一个TreeMap中取出大于等于key之后的部分视图SortMap
2.  在SortMap取得第一个键值对的值，然后返回一个 **S **对象，
3.  然后根据这个**S **对象，去**resources（resources = new LinkedHashMap<ShardInfo<R>, R>()）**中get一个**R**对象

那么这个**S、 R**对象各自代表什么呢？看下面的代码

public class Sharded<R, S extends ShardInfo<R>>

public class BinaryShardedJedis extends Sharded<Jedis, JedisShardInfo> implements
        BinaryJedisCommands

可以得出  **S** = JedisShardInfo， **R** = Jedis 对象，即在TreeMap存储了服务器划分的虚拟节点的信息，LinkedHashMap中存储了服务器的物理连接。

JedisShardInfo具体信息如下：里面包含了jedis服务器的一些信息，最重要的是它的父类中有一个weight字段，作为本jedis服务器的权值。

[![183945_BFEK_1469576.png][]][183945_BFEK_1469576.png]

ok，那我们了解了实际上就是根据jedis服务器的信息去获取一个jedis的连接，返回给上层调用。

我们可以梳理下这个逻辑：

1.  当我们使用ShardedJedis去查一个key时，首先它会把这个key进行一个hash算法
2.  根据这个hash值然后去treeMap中，查出这个key落在哪个实例中，并返回redis实例对应的具体信息
3.  根据这个redis的实例信息，到一个保存jedis链接和实例信息对应关系的**LinkedHashMap**中找到这个jedis连接
4.  最终返回jedis连接，执行对象的命令操作（到这步后实际上和单机操作一样了）

那么我们的**nodes **服务器虚拟节点和**resources **服务器物理连接是什么时候初始化的呢，接下来继续看

## 2.redis虚拟节点（nodes）和物理连接（resources） 初始化 ##

我们继续看Sharded的构造方法

![复制代码][copycode.gif]

public Sharded(List<S> shards, Hashing algo) {
        this.algo = algo;
        initialize(shards);
      }
    
    public Sharded(List<S> shards, Hashing algo, Pattern tagPattern) {
        this.algo = algo;
        this.tagPattern = tagPattern;
        initialize(shards);
      }

![复制代码][copycode.gif]

这边有一个initialize方法，就是用来对虚拟节点和物理连接进行初始化的，看其实现

![复制代码][copycode.gif]

private void initialize(List<S> shards) {
        nodes = new TreeMap<Long, S>();
    
        for (int i = 0; i != shards.size(); ++i) {
          final S shardInfo = shards.get(i);
          if (shardInfo.getName() == null) for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {
            nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo);
          }
          else for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {
            nodes.put(this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n), shardInfo);
          }
          resources.put(shardInfo, shardInfo.createResource());
        }
      }

![复制代码][copycode.gif]

具体细节就不说了，根据上面的，我们就知道是在这边进行了初始化，将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)，保存在TreeMap中，

然后把每台服务器节点的信息和物理连接以键值对保存LinkedHashMap中。

然后通过一系列的查找，发现Sharded的构造方法其实是在我们 **jedisPool.getResource() **时就完成的

//初始化ShardedJedisPool
            List<JedisShardInfo> infoList = Arrays.asList(shardInfo1, shardInfo2, shardInfo3);
            ShardedJedisPool jedisPool = new ShardedJedisPool(poolConfig, infoList);
            ShardedJedis jedis = jedisPool.getResource();

纳尼？ 每次**jedisPool.getResource() **才初始化？那会不会造成很慢呢，其实不用担心，其底层是使用了**commons.pool来**进行连接池的一些操作，会根据我们配置的连接池参数来生成对应的连接并保存，其中的细节很复杂，博主没有继续深究，实现其实和数据库连接池是一致的。

## 3.总结 ##

ShardedJedis分布式具体的的实现思路：

>  *  redis服务器节点划分：***将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)***
>  *  将划分虚拟节点采用TreeMap存储
>  *  对每个redis服务器的物理连接采用LinkedHashMap存储
>  *  对Key or KeyTag 采用同样的hash算法，然后从TreeMap获取大于等于键hash值得节点，取最邻近节点存储；当key的hash值大于虚拟节点hash值得最大值时，存入第一个虚拟节点
>  *  sharded采用的hash算法：MD5 和 MurmurHash两种；默认采用64位的MurmurHash算法；

[https_www.cnblogs.com_vhua_p_redis_2.html]: https://www.cnblogs.com/vhua/p/redis_2.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3J1YW5oYW8xMjAz_size_16_color_FFFFFF_t_70]: /images/20220303/71b403dc809047968e98b406bfd94b95.png
[copycode.gif]: /images/20220303/cdcf7edfab23436db1212879e1c2af30.png
[183945_BFEK_1469576.png]: /images/20220303/595ff820a7854ce7b2e5a60eb4a7e3fb.png