Redis --- 从海量Key里面查询出某一固定前缀

本是古典何须时尚 2022-04-25 05:08 285阅读 0赞

留言细节

摸清数据规模，即问清楚边界

使用 keys 对线上的业务的影响

KEYS pattern ： 查询所有符号给定模式pattern 的key

dbsize 查看数据量

批量生成Redis的测试数据

1、linux Bash 下面执行

for((i=1;i<=20000000;i++));do echo "set k$i v$i " >> /tmp/redisTest ;done;

生成2千万条批量测试kv的语句（key=kn）(value=vn) 写入到/tmp目录下的redisTest.txt 文件中

2、用vim去掉行尾的^M符号，使用方式如下：

vim /temp/redisTest

:set fileformat=dos \#设置文件格式，通过这句话去掉行尾的^M符号

: : wq 保存退出

3、通过Redis提供的管道--pipe形式，去跑Redis，传入文件指令批量灌输数据，需要花十分钟左右

cat /temp/redisTest.txt | 路径/redis-5.0.0/src/redis-cli -h 主机ip -p 端口号pipe

一、使用keys k1\*

当Redis中的key非常多的时候，对内存的消化，和Redis服务器是一个隐患

KEYS 指令一次性返回所有匹配的key

键的数量过于大会使服务卡顿

二、SCAN cursor \[MATCH pattern\] \[COUNT count\]

基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程

以0作为游标开始一次新的迭代，直到命令返回游标0完成一次遍历

不保证每次执行都返回某个给定数量的元素，支持模糊查询

一次返回的数量不可控，只能是大概率符号count参数

clear

scan 0 match k1\*  count 10  传入0 代表 ，刚开始进行迭代

返回两个，第一个参数代表游标，就是迭代到了哪

第二个参数是返回key的结果集。

但是每次返回的cousor 都是不一定是递增的，可能查询到重复的数据。

所以我们需要在代码层面去重，可以把数据存入HashSet 里面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbmJ1bWk_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpbmJ1bWk_size_16_color_FFFFFF_t_70]: /images/20220210/81c5013bac7c45b795ff0c70236d87a6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，285人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis里面的Key设计

Redis里面的Key设计本文讲解Redis里面的Key设计。详细讲解 Redis的Key设计也是Redis数据库设计的重要一环。在Redis中，键值对（Ke

电玩女神/ 2024年03月16日 14:31/ 0 赞/ 40 阅读

相关面试突击 | Redis 如何从海量数据中查询出某一个 Key？附视频

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

素颜马尾好姑娘i/ 2023年10月07日 10:02/ 0 赞/ 27 阅读

相关面试突击 | Redis 如何从海量数据中查询出某一个 Key？视频版

![format_png][] 作者 | 王磊面试突击 | 第 001 期 1 考察知识点本题考察的知识点有以下几个： 1. Keys 和 Scan 的区别

曾经终败给现在/ 2023年10月06日 11:26/ 0 赞/ 32 阅读

相关 redis根据前缀删除key

对于redis的批量删除指定key，有没有好的方法 redis可以用flushdb/flushall删除所有的key。用del只能根据key去删除。另外一种方式,你可以通

青旅半醒/ 2023年09月25日 11:10/ 0 赞/ 69 阅读

相关 Redis从海量key里查询出某一固定前缀的key

引入问题: 常规的查找key,使用的是KEYS pattern 查找所有符合给定模式pattern的key 但使用keys命令在海量数据下是有问题的 1. keys

我会带着你远行/ 2023年08月17日 17:47/ 0 赞/ 95 阅读

相关 redis key前缀的设计

模板方法具体类实现抽象类 -->实现接口 public interface KeyPrefix { publ

分手后的思念是犯贱/ 2023年06月12日 14:30/ 0 赞/ 24 阅读

相关 Redis查询Key

http://www.redis.net.cn/order/3535.html Redis命令：http://www.redis.net.cn/order/ Redi

傷城~/ 2022年06月10日 08:55/ 0 赞/ 180 阅读

相关 Redis --- 从海量Key里面查询出某一固定前缀

留言细节摸清数据规模，即问清楚边界使用 keys 对线上的业务的影响 KEYS pattern ：查询所有符号给定模式pattern 的key dbsize 查看

本是古典何须时尚/ 2022年04月25日 05:08/ 0 赞/ 286 阅读

相关获取Redis所有Key / 删除指定前缀的Key

获取Redis所有Key的方法： 1. 终端获取所有Key命令：keys ‘\’ 获取指定前缀的key：keys “edu:\" 删除指定前缀的Key: keys

╰半橙微兮°/ 2022年04月18日 03:05/ 0 赞/ 936 阅读

相关怎么从redis中查询某一固定前缀的key

想要测试数据，先用Linux脚本插入2百万条数据，再来测试。等会附上bash脚本。 1. !/bin/bash for((i = 0;i<=2000000;

旧城等待，/ 2022年01月07日 02:37/ 0 赞/ 1018 阅读