正则匹配删除redis中大量无用key

向右看齐 2022-06-09 00:44 562阅读 0赞

## **正则匹配删除redis中大量无用key** ##

目前线上一个单实例Redis中无用的key太多，决定删除一部分。

### **1、删除指定用户的key，使用redis的pipeline** ###

根据一定条件把需要删除的用户统计出来，放到一个表里面，表为 del_user(int user_id)，rows大约在1千万。
    
    要删除的key为 "login:%s" %s匹配 user_id .
    
    写sql文如下：把sql文保存在一个文件里面，命名为 1.sql

SELECT CONCAT(

“\*2\\r\\n”,  
‘3\\r\\n′,‘DEL\\r\\n′,‘’, LENGTH(redis\_key), ‘\\r\\n’,  
redis\_key, ‘\\r’  
)  
FROM (  
SELECT  
CONCAT(‘login:’,user\_id) AS redis\_key  
FROM del\_user  
) AS t;  
然后执行命令：

MySQL –raw –skip-column-names –default-character-set utf8 -h2.6.3.101 -P1067 -uroot -p’123456’ test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a “password” -n 0 -p 6379 –pipe

实际执行速度非常快，每分钟大概删除300多万个key。

### **2、删除模式匹配下的key，使用lua脚本** ###

比如有个需求，需要删除以”:login”结尾的所有key， 业务中key的设计是这样的 %s:login

#### **第一种方式：** ####

redis-cli -a “password” -n 0 -p 6379 keys “\*:login” | xargs -i redis-cli -a “password” -n 0 -p 6379 del \{\}

这样一个坏处每次都要建立一个连接，量小的话还可以接受，量大的话，效率不行。

#### **第二种方式:** ####

redis-cli -a “password” -n 0 -p 6379 EVAL “return redis.call(‘del’, unpack(redis.call(‘keys’, ARGV\[1\])))” 0 \*:login

这样的方式，通过内置的 Lua 解释器，可以使用 EVAL 命令对 Lua 脚本

但这种处理方式，量大的情况下，lua函数unpack会出现问题，会报错误

(error) ERR Error running script (call to f\_e177a091510d969af3b388ee986dbe6658df6b57): user\_script:1: too many results to unpack

#### **第三种方式：** ####

实际上是第二种的改进方式，一次性unpack太多出问题，那就干脆一次5000吧，这样就不会有问题了

redis-cli -a “password” -n 0 -p 6379 EVAL “local keys = redis.call(‘keys’, ARGV\[1\]) for i=1,\#keys,5000 do redis.call(‘del’, unpack(keys, i, math.min(i+4999, \#keys))) end return \#keys” 0 \*:login

这段脚本的意思，首先定义一个数组 keys，里面存储了模式匹配的所有的以 \*:login结尾的key，然后for循环，每次处理5000，也就是说每次del 5000个key。

目前测试下来，1000万个key，也就需要2分40多秒，速度非常快。

原文出处： [刘晓的博客][Link 1]

[Link 1]: https://www.18188.org/