分页列表缓存，你真的会吗？

今天药忘吃喽~ 2024-03-16 17:49 28阅读 0赞

写这篇文章，我们聊聊**分页列表缓存**，希望能帮助大家提升缓存技术认知。

## 1 直接缓存分页列表结果 ##

显而易见，这是最简单易懂的方式。

![51851fe15df5a62a68a7fe1aef27210d.png][]

我们按照不同的分页条件来缓存分页结果 ，伪代码如下：

public List<Product> getPageList(String param,int page,int size) {
      String key = "productList:page:" + page + ”size:“ + size + 
                   "param:" + param ;
      List<Product> dataList = cacheUtils.get(key);
      if(dataList != null) {
        return dataList;
      }
      dataList = queryFromDataBase(param,page,size);
      if(dataList != null) {
           cacheUtils.set(key , dataList , Constants.ExpireTime);
      }
    }

这种方案的优点是工程简单，性能也快，但是有一个非常明显的缺陷基因：**列表缓存的颗粒度非常大**。

假如列表中数据发生增删，为了保证数据的一致性，需要修改分页列表缓存。

有两种方式 ：

1、依靠缓存过期来惰性的实现 ，但业务场景必须包容；

2、使用 Redis 的 keys 找到该业务的分页缓存，执行删除指令。 但 keys 命令对性能影响很大，会导致 Redis 很大的延迟 。

**生产环境使用 keys 命令比较危险，发生事故的几率高，非常不推荐使用**。

## 2 查询对象ID列表，再缓存每个对象条目 ##

缓存分页结果虽然好用，但缓存的颗粒度太大，保证数据一致性比较麻烦。

所以我们的目标是**更细粒度的控制缓存** 。

![31648ca6c271e29f9d16479a438c963e.png][]

我们查询出商品分页对象ID列表，然后为每一个商品对象创建缓存 , 通过商品ID和商品对象缓存聚合成列表返回给前端。

伪代码如下：

![9802a77392e5e1312ff1d84213e9a5e6.png][]

核心流程：

**1、从数据库中查询分页 ID 列表**

// 从数据库中查询分页商品 ID 列表
    List<Long> productIdList = queryProductIdListFromDabaBase(
                               param, 
                               page, 
                               size);

对应的 SQL 类似：

SELECT id FROM products
    ORDER BY id 
    LIMIT (page - 1) * size , size

**2、批量从缓存中获取商品对象**

Map<Long, Product> cachedProductMap = cacheUtils.mget(productIdList);

假如我们使用本地缓存，直接一条一条从本地缓存中聚合也极快。

假如我们使用分布式缓存，Redis 天然支持批量查询的命令 ，比如 mget ，hmget 。

**3、组装没有命中的商品ID**

List<Long> noHitIdList = new ArrayList<>(cachedProductMap.size());
    for (Long productId : productIdList) {
         if (!cachedProductMap.containsKey(productId)) {
             noHitIdList.add(productId);
         }
    }

因为缓存中可能因为过期或者其他原因导致缓存没有命中的情况，所以我们需要找到哪些商品没有在缓存里。

**4、批量从数据库查询未命中的商品信息列表，重新加载到缓存**

首先从数据库里**批量**查询出未命中的商品信息列表 ，请注意是**批量**。

List<Product> noHitProductList = batchQuery(noHitIdList);

参数是未命中缓存的商品ID列表，组装成对应的 SQL，这样性能更快 ：

SELECT * FROM products WHERE id IN
                             (1,
                              2,
                              3,
                              4);

然后这些未命中的商品信息存储到缓存里 , 使用 Redis 的 mset 命令。

//将没有命中的商品加入到缓存里
    Map<Long, Product> noHitProductMap =
             noHitProductList.stream()
             .collect(
               Collectors.toMap(Product::getId, Function.identity())
             );
    cacheUtils.mset(noHitProductMap);
    //将没有命中的商品加入到聚合map里
    cachedProductMap.putAll(noHitProductMap);

**5、 遍历商品ID列表，组装对象列表**

for (Long productId : productIdList) {
        Product product = cachedProductMap.get(productId);
        if (product != null) {
           result.add(product);
        }
    }

当前方案里，缓存都有命中的情况下，经过两次网络 IO ，第一次数据库查询 IO ，第二次 Redis 查询 IO , 性能都会比较好。

所有的操作都是批量操作，就算有缓存没有命中的情况，整体速度也较快。

”**查询对象ID列表，再缓存每个对象条目**“ 这个方案比较灵活，当我们**查询对象ID列表**，可以不限于数据库，还可以是搜索引擎，Redis 等等。

下图是开源中国的搜索流程：

![5f8e353e15338be817ab0616461acba6.png][]

精髓在于：**搜索的分页结果只包含业务对象 ID ，对象的详细资料需要从缓存 + MySQL 中获取。**

## 3 缓存对象ID列表,同时缓存每个对象条目 ##

笔者曾经重构过类似朋友圈的服务，进入班级页面 ，瀑布流的形式展示班级成员的所有动态。

![14a3323c9876e20b307c572957be8ed0.png][]

我们使用推模式将每一条动态 ID 存储在 Redis ZSet 数据结构中 。Redis ZSet 是一种类型为有序集合的数据结构，它由多个有序的唯一的字符串元素组成，每个元素都关联着一个浮点数分值。

ZSet 使用的是 member -> score 结构 ：

*  member : 被排序的标识，也是默认的第二排序维度（ score 相同时，Redis 以 member 的字典序排列）
 *  score : 被排序的分值，存储类型是 double

![894f455db9c0d7c2370ddb75b522aa45.png][]

如上图所示：**ZSet 存储动态 ID 列表 , member 的值是动态编号 , score 值是创建时间**。

通过 ZSet 的 **ZREVRANGE 命令**就可以实现分页的效果。

ZREVRANGE 是 Redis 中用于有序集合（sorted set）的命令之一，它用于按照成员的分数从大到小返回有序集合中的指定范围的成员。

![313183652cca14a5e3a3166ab703b9a5.png][]

为了达到分页的效果，传递如下的分页参数 ：

![6ac528eb558919e85f1b250d7bff82fc.png][]

通过 ZREVRANGE 命令，我们可以查询出动态 ID 列表。

查询出动态 ID 列表后，还需要缓存每个动态对象条目，动态对象包含了详情，评论，点赞，收藏这些功能数据 ，我们需要为这些数据提供单独做缓存配置。

![21b815ad6f6606072f75c5cb6def1238.png][]

无论是查询缓存，还是重新写入缓存，为了提升系统性能，批量操作效率更高。

若**缓存对象结构简单，使用 mget 、hmget 命令；若结构复杂，可以考虑使用 pipleline，Lua 脚本模式 。**笔者选择的批量方案是 Redis 的 pipleline 功能。

我们再来模拟获取动态分页列表的流程：

1.  使用 ZSet 的 ZREVRANGE 命令 ，传入分页参数，查询出动态 ID 列表 ；
2.  传递动态 ID 列表参数，通过 Redis 的 pipleline 功能从缓存中批量获取动态的详情，评论，点赞，收藏这些功能数据 ，组装成列表 。

## 4 总结 ##

本文介绍了实现分页列表缓存的三种方式：

1.  直接缓存分页列表结果
2.  查询对象ID列表，只缓存每个对象条目
3.  缓存对象ID列表，同时缓存每个对象条目

这三种方式是一层一层递进的，要诀是：

**细粒度的控制缓存**和**批量加载对象**。

[51851fe15df5a62a68a7fe1aef27210d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/81a9b5da26764da4baf7f1c6fd28cfb4.png
[31648ca6c271e29f9d16479a438c963e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/415c12e40742405a8664e8aa8c122e11.png
[9802a77392e5e1312ff1d84213e9a5e6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/22285299777944b0b9b1f64d2b1a4c39.png
[5f8e353e15338be817ab0616461acba6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/f09823d2a5cb48ea8ea2f4dadb5dbc2a.png
[14a3323c9876e20b307c572957be8ed0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/dad55d15f0c5477fab145c47937cc959.png
[894f455db9c0d7c2370ddb75b522aa45.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/9409de4dc3154d00beea8943e5130425.png
[313183652cca14a5e3a3166ab703b9a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/da8b120a17d04b0191956afcfd424e45.png
[6ac528eb558919e85f1b250d7bff82fc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/619f6c93af1b4397873f3a3e59b3c830.png
[21b815ad6f6606072f75c5cb6def1238.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/d07998c6926646f89815e5b9eb2da9c8.png