linux系统重启redis丢失找回,从Redis的数据丢失说起

痛定思痛。 2023-01-21 08:23 15阅读 0赞

碰到一个悲催的事情：一台Redis服务器，4核，16G内存且没有任何硬件上的问题。持续高压运行了大约3个月，保存了大约14G的数据，设置了比较完备的Save参数。而就是这台主机，在一次重起之后，丢失了大量的数据，14G的数据最终只恢复了几百兆而已。

正常情况下，像Redis这样定期回写磁盘的内存数据库，丢失几个数据也是在情理之中，可超过80%数据丢失率实在太离谱。排除了误操作的可能性之后，开始寻找原因。

重启动时的日志：

\[26641\] 21 Dec 09:46:34 \* Slave ask for synchronization

\[26641\] 21 Dec 09:46:34 \* Starting BGSAVE for SYNC

\[26641\] 21 Dec 09:46:34 \# Can’t save in background: fork: Cannot allocate memory

\[26641\] 21 Dec 09:46:34 \* Replication failed, can’t BGSAVE

\[26641\] 21 Dec 09:46:34 \# Received SIGTERM, scheduling shutdown…

\[26641\] 21 Dec 09:46:34 \# User requested shutdown…

很明显的一个问题，系统不能在后台保存，fork进程失败。

翻查了几个月的日志，发觉系统在频繁报错：

\[26641\] 18 Dec 04:02:14 \* 1 changes in 900 seconds. Saving…

\[26641\] 18 Dec 04:02:14 \#Can’t save in background: fork: Cannot allocate memory

系统不能在后台保存，fork进程时无法指定内存。

对源码进行跟踪，在src/rdb.c中定位了这个报错：int rdbSaveBackground(char \*filename) \{

pid\_t childpid;

long long start;

if (server.bgsavechildpid != -1) return REDIS\_ERR;

if (server.vm\_enabled) waitEmptyIOJobsQueue();

server.dirty\_before\_bgsave = server.dirty;

start = ustime();

if ((childpid = fork()) == 0) \{

/\* Child \*/

if (server.vm\_enabled) vmReopenSwapFile();

if (server.ipfd > 0) close(server.ipfd);

if (server.sofd > 0) close(server.sofd);

if (rdbSave(filename) == REDIS\_OK) \{

\_exit(0);

\} else \{

\_exit(1);

\}

\} else \{

/\* Parent \*/

server.stat\_fork\_time = ustime()-start;

if (childpid == -1) \{

redisLog(REDIS\_WARNING,"Can't save in background: fork: %s",

strerror(errno));

return REDIS\_ERR;

\}

redisLog(REDIS\_NOTICE,"Background saving started by pid %d",childpid);

server.bgsavechildpid = childpid;

updateDictResizePolicy();

return REDIS\_OK;

\}

return REDIS\_OK; /\* unreached \*/

\}

数据丢失的问题总算搞清楚了！

Redis的数据回写机制分同步和异步两种，

同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间，所以一般不是推荐的。

异步回写即BGSAVE命令，主进程fork后，复制自身并通过这个新的进程回写磁盘，回写结束后新进程自行关闭。由于这样做不需要主进程阻塞，系统不会假死，一般默认会采用这个方法。

个人感觉方法２采用fork主进程的方式很拙劣，但似乎是唯一的方法。内存中的热数据随时可能修改，要在磁盘上保存某个时间的内存镜像必须要冻结。冻结就会导致假死。fork一个新的进程之后等于复制了当时的一个内存镜像，这样主进程上就不需要冻结，只要子进程上操作就可以了。

在小内存的进程上做一个fork,不需要太多资源，但当这个进程的内存空间以Ｇ为单位时，fork就成为一件很恐怖的操作。何况在16G内存的主机上fork 14G内存的进程呢？肯定会报内存无法分配的。更可气的是，越是改动频繁的主机上fork也越频繁，fork操作本身的代价恐怕也不会比假死好多少。

找到原因之后，直接修改内核参数vm.overcommit\_memory = 1

Linux内核会根据参数vm.overcommit\_memory参数的设置决定是否放行。

如果 vm.overcommit\_memory = 1，直接放行

vm.overcommit\_memory = 0：则比较 此次请求分配的虚拟内存大小和系统当前空闲的物理内存加上swap，决定是否放行。

vm.overcommit\_memory = 2：则会比较 进程所有已分配的虚拟内存加上此次请求分配的虚拟内存和系统当前的空闲物理内存加上swap，决定是否放行。![0b1331709591d260c1c78e86d0c51c18.png][]

[0b1331709591d260c1c78e86d0c51c18.png]: /images/20221020/be1d9e33cb7e417cbbfae1742402b6de.png

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis 如何避免数据丢失？

目录 1、AOF 日志是如何实现的？ 2、三种写回策略 3、日志文件太大了怎么办？ 4、AOF 重写会阻塞吗? 总结 -------------------- /

妖狐艹你老母/ 2024年04月06日 13:36/ 0 赞/ 39 阅读

相关 Redis 如何实现数据不丢失的？

Redis 实现数据不丢失的关键在于使用了多种持久化机制，以确保数据在内存和磁盘之间的持久性。以下是 Redis 实现数据不丢失的主要方法： 1. 快照（Snapshot）

ゞ浴缸里的玫瑰/ 2024年02月28日 06:15/ 0 赞/ 32 阅读

相关 linux系统重启redis丢失找回,从Redis的数据丢失说起

碰到一个悲催的事情：一台Redis服务器，4核，16G内存且没有任何硬件上的问题。持续高压运行了大约3个月，保存了大约14G的数据，设置了比较完备的Save参数。而就是这台主机

痛定思痛。/ 2023年01月21日 08:23/ 0 赞/ 16 阅读

相关 redis数据丢失及解决

Redis的数据回写机制 Redis的数据回写机制分同步和异步两种， 1. 同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间，

妖狐艹你老母/ 2022年07月31日 15:24/ 0 赞/ 136 阅读

相关 redis数据丢失及解决

Redis的数据回写机制 [Redis][]的数据回写机制分同步和异步两种， 1. 同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很

客官°小女子只卖身不卖艺/ 2022年06月04日 00:58/ 0 赞/ 161 阅读

相关 linux服务器重启导致redis数据丢失

1.需求分析当linux服务器重启后，然后开启redis服务器，结果会发现redis之前存储的数据会部分丢失甚至全部丢失；笔者公司项目中很多场景都用到了red

太过爱你忘了你带给我的痛/ 2022年05月30日 08:22/ 0 赞/ 1012 阅读

相关 Windows 下 Redis重启后数据丢失问题

最近打算学习一下Redis，用的是Windows解压就能用的版本，往redis服务器中set好多数据，重启后发现数据一个也没有了 (empty list or se

阳光穿透心脏的1/2处/ 2022年05月16日 11:23/ 0 赞/ 313 阅读

相关 redis重启之后丢失数据之RDB持久化策略

因为要重启机器,之前用docker run时，仅想做缓存用，未考虑要持久化；docker restart redis导致原key-value丢失；仅遗留几个key 然后就查看

缺乏、安全感/ 2022年03月19日 01:50/ 0 赞/ 537 阅读

相关 Redis数据丢失及解决方案

Redis的数据回写机制 Redis的数据回写机制分同步和异步两种， 1. 同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间，

Bertha 。/ 2022年02月17日 00:32/ 0 赞/ 248 阅读

相关 docker重启redis、mysql数据丢失的解决方法【docker数据同步到本地硬盘】

参考：[https://my.oschina.net/liubao425/blog/3068960][https_my.oschina.net_liubao425_blog_3

男娘i/ 2021年09月02日 05:22/ 0 赞/ 524 阅读