[redis] Redis数据淘汰策略

痛定思痛。 2023-06-30 02:45 1阅读 0赞

前言:  
今天来介绍一下redis的6中淘汰策略。总是记不全，在此做个记录方便以后的查找。

### 淘汰策略的原因 ###

Mysql里有2000W数据，Redis中只存20W数据，如何保证redis中的数据都是热点数据。  
Redis是当前最常用的开源内存数据库，性能很高，并且Redis支持数据的持久化，众多数据结构存储，master-slave模式数据备份。但是长期将Redis作为缓存应用，会遇到内存空间存储瓶颈，当Redis性能急剧下降。所以此时需要淘汰无用数据释放空间，存储新数据就变得尤为重要了。

在redis生产环境中，采用配置参数maxmemory的方式来限制内存大小。当实际存储内存超出maxmemory参数值时，就可以使用Redis内存淘汰策略，来决定淘汰哪些。

### 6种淘汰策略 ###

1.  volatile-lru  
    从设置过期时间的数据集中挑选出最近最少使用的数据淘汰。没有设置过期时间的key不会被淘汰，这样就可以在增加内存空间的同时保证需要持久化的数据不会丢失。
2.  volatile-ttl  
    除了淘汰机制采用LRU，策略上基本上与volatile-lru相似，从设置过期时间的数据集中挑选出要过期的数据淘汰，ttl值越大越有先被淘汰。
3.  volatile-random  
    从已设置过期时间的数据集中任意选择数据淘汰。当内存达到限制无法写入非过期时间的数据集时，可以通过淘汰策略在主键空间中随机移除某个key。
4.  allkeys-lru  
    从数据集中挑选出最近使用的数据淘汰，该策略要淘汰key面向的是全体key集合，而非过期的key集合。
5.  allkeys-random  
    从数据集中选择任意数据淘汰。
6.  no-envication  
    禁止驱逐数据，也就是当内存不足以容纳新入数据时，新写入操作就会报错，请求可以继续进行，线上任务也不能持续进行，采用no-envication策略可以保证数据不被丢失，这也是系统默认的一种淘汰策略。

### 使用举例 ###

*  在Redis中，数据有一部分访问频率较高，其余部分访问频率较低，或者无法预测数据的使用频率时，设置allkeys-lru是比较合适的。
 *  如果所有数据访问概率大致相等时，可以选择allkeys-random
 *  如果研发者需要通过设置不同的ttl来判断数据过期的先后顺序，此时可以选择volatile-ttl策略。
 *  如果希望一些数据能长期被保存，而一些数据可以被淘汰掉时，选择volatile-lru或volatile-random都是比较不错的。
 *  由于设置expire会消耗额外的内存，如果计划避免Redis内存在此项上的浪费，可以选用allkeys-lru 策略，这样就可以不再设置过期时间，高效利用内存了。  
    Redis缓存功能，是由edis.c文件中的freeMemoryIfNeeded函数来实现的。如果maxmemry被设置，那么每次在执行命令时，该函数都会被调用来判断内存是否够用、释放内存、返回错误。如果没有足够的内存程序主逻辑将会阻止设置了REDIS\_COM\_DENYOOM flag的命令执行，对其返回command not allowed when used memory > ‘maxmemory’的错误消息。  
    区分不同的淘汰策略选择不同的key，Redis淘汰策略主要分为LRU淘汰、TTL淘汰、随机淘汰三种机制。

### LRU淘汰 ###

LRU(Least recently used，最近最少使用)算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。

在服务器配置中保存了 lru 计数器 server.lrulock，会定时(redis 定时程序 serverCorn())更新，server.lrulock 的值是根据 server.unixtime 计算出来进行排序的，然后选择最近使用时间最久的数据进行删除。另外，从 struct redisObject 中可以发现，每一个 redis 对象都会设置相应的 lru。每一次访问数据，会更新对应redisObject.lru。

在Redis中，LRU算法是一个近似算法，默认情况下，Redis会随机挑选5个键，并从中选择一个最久未使用的key进行淘汰。在配置文件中，按maxmemory-samples选项进行配置，选项配置越大，消耗时间就越长，但结构也就越精准。

### TTL淘汰 ###

Redis 数据集数据结构中保存了键值对过期时间的表，即 redisDb.expires。与 LRU 数据淘汰机制类似，TTL 数据淘汰机制中会先从过期时间的表中随机挑选几个键值对，取出其中 ttl \*\*\*的键值对淘汰。同样，TTL淘汰策略并不是面向所有过期时间的表中最快过期的键值对，而只是随机挑选的几个键值对。

### 随机淘汰 ###

在随机淘汰的场景下获取待删除的键值对，随机找hash桶再次hash指定位置的dictEntry即可。

Redis中的淘汰机制都是几近于算法实现的，主要从性能和可靠性上做平衡，所以并不是完全可靠，所以开发者们在充分了解Redis淘汰策略之后还应在平时多主动设置或更新key的expire时间，主动删除没有价值的数据，提升Redis整体性能和空间。