redis集群批量删除模糊key shell脚本

一时失言乱红尘 2024-04-18 07:38 77阅读 0赞

# 1. 命令删除： #

## 1. 1批量删除Key ##

Redis 中有删除单个 Key 的指令 DEL，但好像没有批量删除 Key 的指令，不过我们可以借助 Linux 的 xargs 指令来完成这个动作

**redis-cli keys "\*" | xargs redis-cli del**

//如果redis-cli没有设置成系统变量，需要指定redis-cli的完整路径  
//如：/opt/redis/redis-cli keys "\*" | xargs /opt/redis/redis-cli del

## 1.2 模糊删除： ##

./redis-cli keys "\*lz\*"|xargs ./redis-cli del

## 1.3 需要密码 ##

如果要指定 Redis 数据库访问密码，使用下面的命令

redis-cli -a password keys "\*" | xargs redis-cli -a password del

## 1.4 指定数据库 ##

如果要访问 Redis 中特定的数据库，使用下面的命令  
//下面的命令指定数据序号为0，即默认数据库

redis-cli -n 0 keys "\*" | xargs redis-cli -n 0 del

## 1.5 删除所有Key ##

删除所有Key，可以使用Redis的flushdb和flushall命令  
//删除当前数据库中的所有Key  
flushdb  
//删除所有数据库中的key  
flushall  
注：keys 指令可以进行模糊匹配，但如果 Key 含空格，就匹配不到了，暂时还没发现好的解决办法。

# 2. shell 脚本删除 #

## 2.1. 方法1： ##

网上查的资料

redis_list=("redis-cluster:16301" "redis-cluster:16302" "redis-cluster:16303")
    password='password'
    redis_comm=/home/woapp/middleware/redis-cluster/redis-3.2.1/src/redis-cli
    read -p "请输入要删除的key格式：" searchkey
    read -p "是否显示查询的所有key(Y/N): " searchFlag
    
    if [ $searchFlag = "Y" ] || [ $searchFlag = "y" ]; then
        for info in ${redis_list[@]}
        do
            echo "开始查询:$info"
            ip=`echo $info | cut -d : -f 1`
            port=`echo $info | cut -d : -f 2`
            $redis_comm -c -h $ip -p $port -a $password  keys $searchkey
        done
    fi
    
    read -p "确定删除（Y/N）：" runCommand
    if [ $runCommand = "Y" ] || [ $runCommand = "y" ]; then
        for info in ${redis_list[@]}
        do
            echo "开始执行:$info"
            ip=`echo $info | cut -d : -f 1`
            port=`echo $info | cut -d : -f 2`
         $redis_comm -c -h $ip -p $port -a $password  keys $searchkey | xargs -i ./redis-cli -h $ip -p $port -a $password  del {}
        done
        echo "完成"
    fi

缺点：集群节点写入了shell，改起来麻烦

## 2.2 方法2： ##

1、说明

redis cluster集群上有时候会需要删除多个key，就必须需要登录到每个节点上，而且有可能这个key不在这个节点，删除起来就比较麻烦，测试的时候极不方便。于是就自己动手写了一个支持模糊删除key的脚本，分享给大家。

2、新建del\_redis.sh，内容如下

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 </td> 
 <td> <code>#!/bin/bash</code> &nbsp; <code># 配置redis-cli地址</code> <code>redis_cmd=redis-cli</code> <code># 配置reids集群IP地址</code> <code>host=192.168.1.2</code> <code># 配置reids集群节点端口</code> <code>ports=(6380 6381 6382 6383 6384 6385)</code> <code># 配置reids密码</code> <code>password=</code><code>"test"</code> &nbsp; <code>for</code>&nbsp;<code>port&nbsp;</code><code>in</code>&nbsp;<code>${ports[@]}</code> <code>do</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>$redis_cmd -c -h $host -p $port -a $password 2&gt;</code><code>/dev/null</code>&nbsp;<code>keys $1 |&nbsp;</code><code>xargs</code>&nbsp;<code>-i $redis_cmd -h $host -p $port -a $password 2&gt;</code><code>/dev/null</code>&nbsp;<code>del {}</code> <code>done</code><code>;</code> <code>echo</code>&nbsp;<code>"success"</code> </td> 
 </tr> 
 </tbody> 
</table>

ps：参数说明

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>-c&nbsp;</code><code># 启动集群模式进入redis集群服务</code> <code>-h&nbsp;</code><code># redis主机地址</code> <code>-p&nbsp;</code><code># redis节点的端口</code> <code>-a&nbsp;</code><code># redis的密码</code> <code>2&gt;</code><code>/dev/null</code>&nbsp;<code># 过滤使用密码连接redis时报的警告：Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.</code> <code>xargs</code>&nbsp;<code>-i&nbsp;</code><code># -i 选项告诉 xargs 可以使用{}代替传递过来的参数</code> </td> 
 </tr> 
 </tbody> 
</table>

3、执行脚本

<table> 
 <tbody> 
 <tr> 
 <td style="width:25px;"> 1 </td> 
 <td> <code>sh del_redis.sh&nbsp;</code><code>test</code><code>:*</code> </td> 
 </tr> 
 </tbody> 
</table>

这样就删除了所有以test开头的key了

## 2.3 方法3： ##

有很多场景，我们都需要删除[redis][]中某些具有相似特征的key,即使是线上环境也是。**如果key数量很小容易处理，如果这些key很 多很多，必须通过scan命令循环扫描一一删除，如果直接执行keys命令会堵死redis服务**。下面这个脚本就是通过循环扫码key再删除，直至结束。

**redis-del-keys.sh**

#!/bin/bash
    ##redis主机IP
    host=$1
    ##redis端口
    port=$2
    ##key模式
    pattern=$3
    ##游标
    cursor=0
    ##退出信号
    signal=0
    
    ##循环获取key并删除
    while [ $signal -ne 1 ]
        do
            echo "cursor:${cursor}"
            sleep 2
            ##将redis scan得到的结果赋值到变量
            re=$(redis-cli -h $host -p $p -c  scan $cursor count 1000 match $pattern)
            ##以换行作为分隔符
            IFS=$'\n' 
            #echo $re
            echo 'arr=>'
            ##转成数组
            arr=($re)
            ##打印数组长度
            echo 'len:'${#arr[@]}
            ##第一个元素是游标值
            cursor=${arr[0]}
            ##游标为0表示没有key了
            if [ $cursor -eq 0 ];then
                signal=1
            fi
            ##循环数组
        for key in ${arr[@]}
            do
                echo $key
                if [ $key != $cursor ];then
                    echo "key:"$key
                    ##删除key
                    redis-cli -h $host -p $port -c del $key >/dev/null  2>&1
                fi
        done
    done
    echo 'done'

使用方式：

./redis-del-keys.sh localhost 6379 user:*

表示删除本机6379端口的redis中user:开头的所以key。

## 2.4 方法4： ##

明确知道master的ip和端口

#!/bin/bash
    redis_comm=/home/zhongcy/redis/bin/redis-cli
    redis_ser01=10.106.157.104
    redis_ser02=10.105.179.236
    redis_ser03=10.105.179.236
    
    $redis_comm -c -h $redis_ser01 -p 9001 keys "$1" | xargs -i $redis_comm -c -h $redis_ser01 -p 9001 del {}
    $redis_comm -c -h $redis_ser02 -p 9001 keys "$1" | xargs -i $redis_comm -c -h $redis_ser02 -p 9001 del {}
    $redis_comm -c -h $redis_ser03 -p 9002 keys "$1" | xargs -i $redis_comm -c -h $redis_ser03 -p 9002 del {}

# 3 我的优化版本 #

#!/bin/bash
 redis_comm=/home/zhongcy/redis/bin/redis-cli
 
 #从当前节点查询集群信息, 查询所有master节点 生成数组
 redis_list=$($redis_comm -p 9001 cluster nodes | grep master | awk '{print $2}' | awk -F['@'] '{print $1}')
 
 #用临时文件也行 
 #$redis_comm -p 9001 cluster nodes | grep master | awk '{print $2}' | awk -F['@'] '{print $1}' > tmp
 #i=0
 #while read line
 #do
 # redis_list[i]=$line
 # i=$(($i+1))
 #done < ./tmp
 
 
 read -p "请输入要删除的key格式: " searchkey
 read -p "是否显示查询的所有key(Y/N): " searchFlag
 
 if [ $searchFlag = "Y" ] || [ $searchFlag = "y" ]; then
 for info in ${redis_list[@]}
 do
 echo "开始查询: $info"
 ip=`echo $info | cut -d : -f 1`
 port=`echo $info | cut -d : -f 2`
 $redis_comm -c -h $ip -p $port keys "$searchkey"
 done
 fi
 
 read -p "确定删除(Y/N): " runCommand
 if [ $runCommand = "Y" ] || [ $runCommand = "y" ]; then
 for info in ${redis_list[@]}
 do
 echo "开始执行: $info"
 ip=`echo $info | cut -d : -f 1`
 port=`echo $info | cut -d : -f 2`
 $redis_comm -c -h $ip -p $port keys "$searchkey" | xargs -i $redis_comm -h $ip -p $port del {}
 done
 echo "完成"
 fi

后面有时间可以优化用**scan命令循环扫描。**

[https://blog.csdn.net/caiquanwei/article/details/84309111][https_blog.csdn.net_caiquanwei_article_details_84309111]

[https://www.centos.bz/2017/09/%E5%88%86%E4%BA%AB%E4%B8%80%E4%B8%AA%E5%88%A0%E9%99%A4redis%E4%B8%AD%E6%8C%87%E5%AE%9Akey%E6%A8%A1%E5%BC%8F%E7%9A%84%E6%95%B0%E6%8D%AE%E7%9A%84shell%E8%84%9A%E6%9C%AC/][https_www.centos.bz_2017_09_E5_88_86_E4_BA_AB_E4_B8_80_E4_B8_AA_E5_88_A0_E9_99_A4redis_E4_B8_AD_E6_8C_87_E5_AE_9Akey_E6_A8_A1_E5_BC_8F_E7_9A_84_E6_95_B0_E6_8D_AE_E7_9A_84shell_E8_84_9A_E6_9C_AC]  
[https://www.cnblogs.com/feng0520/p/11067025.html][https_www.cnblogs.com_feng0520_p_11067025.html]

[https://blog.csdn.net/zj20142213/article/details/80879744][https_blog.csdn.net_zj20142213_article_details_80879744]

[https://my.oschina.net/u/1255588/blog/1563672][https_my.oschina.net_u_1255588_blog_1563672]

[https://blog.csdn.net/badyting/article/details/76176824][https_blog.csdn.net_badyting_article_details_76176824]

[redis]: https://www.centos.bz/tag/redis/
[https_blog.csdn.net_caiquanwei_article_details_84309111]: https://blog.csdn.net/caiquanwei/article/details/84309111
[https_www.centos.bz_2017_09_E5_88_86_E4_BA_AB_E4_B8_80_E4_B8_AA_E5_88_A0_E9_99_A4redis_E4_B8_AD_E6_8C_87_E5_AE_9Akey_E6_A8_A1_E5_BC_8F_E7_9A_84_E6_95_B0_E6_8D_AE_E7_9A_84shell_E8_84_9A_E6_9C_AC]: https://www.centos.bz/2017/09/%E5%88%86%E4%BA%AB%E4%B8%80%E4%B8%AA%E5%88%A0%E9%99%A4redis%E4%B8%AD%E6%8C%87%E5%AE%9Akey%E6%A8%A1%E5%BC%8F%E7%9A%84%E6%95%B0%E6%8D%AE%E7%9A%84shell%E8%84%9A%E6%9C%AC/
[https_www.cnblogs.com_feng0520_p_11067025.html]: https://www.cnblogs.com/feng0520/p/11067025.html
[https_blog.csdn.net_zj20142213_article_details_80879744]: https://blog.csdn.net/zj20142213/article/details/80879744
[https_my.oschina.net_u_1255588_blog_1563672]: https://my.oschina.net/u/1255588/blog/1563672
[https_blog.csdn.net_badyting_article_details_76176824]: https://blog.csdn.net/badyting/article/details/76176824