超大批量向redis导入数据

叁歲伎倆 2022-04-14 03:29 508阅读 0赞

### [Redis 号称每秒可写入好几万的数据。为什么我执行下面代码要很长时间。][Redis] ###

下面提供一些思路：

1、**循环导入**

key的类型为string，下面是例子脚本

for((i=1;i<=1000000;i++))  
do  
redis-cli -a "password" -n 0 -p 6379 set "k"$i "v"$i  
done

这样的坏处显而易见，每次都要建立连接，效率低下，不可取。

当然你导入几百几千个key倒是没什么问题。

2、**pipeline方式导入**

先把预先的命令导入到一个文本里面

for((i=1;i<=1000000;i++))  
do  
echo "set k$i v$i" >> /tmp/\_t.txt  
done

执行格式转换

unix2dos /tmp/\_t.txt

pipeline导入

cat /tmp/\_t.txt | redis-cli -a "password" -n 0 -p 6379 --pipe

以上测试下来，100万的数据，在几十秒中搞定，速度嗷嗷的

参考：http://redis.io/topics/mass-insert

还有一种情况，比如需要把MySQL中的数据批量导入redis

假如目前需要把用户元宝表导入到redis中，表 user\_gold(user\_id, amount) ,每个用户一个key，string类型。

我们可以这样操作：

\-- 1.sql 保存sql到 1.sql中

SELECT CONCAT(    
  "\*3\\r\\n",    
  '$3\\r\\n',    
  'SET\\r\\n',    
  '$', LENGTH(redis\_key), '\\r\\n',    
  redis\_key, '\\r\\n',  
  '$', LENGTH(redis\_value), '\\r\\n',  
  redis\_value, '\\r'  
)    
FROM (    
  SELECT   
  CONCAT('user:gold:',user\_id) AS redis\_key,  
  amount AS redis\_value  
  FROM test.user\_gold  
) AS t;

执行导入操作

mysql --raw --skip-column-names -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe

[Redis]: https://q.cnblogs.com/q/77251/

发表评论取消回复

表情：

评论列表（有 0 条评论，508人围观）

还没有评论，来说两句吧...

相关阅读

相关阿里EasyExcel导入Excel大批量数据用法

阿里EasyExcel导入Excel大批量数据用法 \-pom文件依赖  <dependen

约定不等于承诺〃/ 2024年04月03日 11:42/ 0 赞/ 68 阅读

相关 mysql数据向Redis快速导入

编写SQL语句，把mysql数据组合成Redis协议数据流 SELECT CONCAT( "16\r\n", '$', LENGTH(redis_cm

爱被打了一巴掌/ 2024年02月18日 15:04/ 0 赞/ 44 阅读

相关 mysql 批量数据导入报错_MySQL导入大批量数据报错

问题描述 MySQL5.7中,采用innodb引擎的数据表中执行大批量数据的更新，插入，删除操作时，会因默认的引擎参数太小而报错：the total number of lo

﹏ヽ暗。殇╰゛Y/ 2022年10月27日 02:36/ 0 赞/ 3 阅读

相关 mysql大批量去重并导入

今天拿到这个文件，里面有联系人及其地址，如图 ![Image 1][] 这时候就要我去将这些数据导入现在开发的系统之中。其实2个字段不是太复杂

小咪咪/ 2022年07月18日 05:47/ 0 赞/ 278 阅读

相关 InnoDB引擎之大批量数据导入导出

InnoDB大批量导出导入数据使用 `infile` 和 `outfile` 代替 `mysqldump`，因为 `mysqldump` 会导出大量的表结构语句 `

偏执的太偏执、/ 2022年05月28日 11:11/ 0 赞/ 260 阅读

相关大批量插入sqlserver数据

大批量插入sqlserver数据工作需要测试数据，每张表最大一亿条数据，30至60个字段，原本写好了sql脚本直接运行，但是使用insert循环插入实在太慢了，平均只有每秒

╰+攻爆jí腚メ/ 2022年05月18日 04:50/ 0 赞/ 320 阅读

相关超大批量向redis导入数据

[Redis 号称每秒可写入好几万的数据。为什么我执行下面代码要很长时间。][Redis] 下面提供一些思路： 1、循环导入 key的类型为string，下面是

叁歲伎倆/ 2022年04月14日 03:29/ 0 赞/ 509 阅读

相关 Linux向mysql导入数据

方式1： 1）登录mysql，命令：mysql -uroot -ppassword 2)创建mysql数据库：create database dbname; 3）设置编码

客官°小女子只卖身不卖艺/ 2022年04月13日 14:59/ 0 赞/ 140 阅读

相关大批量数据入库方法

项目中遇到的导入大批量数据的方法，数据库是MySQL，数据库连接直接使用的是JDBC。大概流程是：先将一行行的记录写入到一个临时文件中，然后一次性将临时文件中的数据导入到

桃扇骨/ 2022年03月31日 06:20/ 0 赞/ 438 阅读

相关 MySql 大批量导入数据时关闭索引

本文通过实验验证：大批量导入数据时需要关闭索引。 1.建表 create table goods( id int primary key,

迈不过友情╰/ 2022年01月31日 03:27/ 0 赞/ 363 阅读