Redis进程异常退出排查

以你之姓@ 2022-11-06 08:58 371阅读 0赞

Redis进程异常退出排查  
一、排查思路  
1. 是否因为系统内存不足被oom killer杀掉；  
如果是oom killer杀掉的话，一般会在/var/log/\*留下日志，dmesg也应该能查到，可以使用命令搜索：

dmesg | egrep -i 'killed process'  
grep oom /var/log/\*  
grep total\_vm /var/log/\*  
1  
2  
3  
如果确实是由于内存不足被oom killer杀掉，可以考虑：

加大系统内存；  
修改redis.conf配置，设置合理的maxmemory，保证机器有20%~30%的闲置内存，并使用适当的回收策略；  
maxmemory 512mb  
maxmemory-policy volatile-lru  
1  
2  
降低redis进程的oom adj分数；  
“OOM killer会在可用内存不足时选择性的杀掉用户进程，它的运行规则是怎样的，会选择哪些用户进程“下手”呢？OOM killer进程会为每个用户进程设置一个权值，这个权值越高，被“下手”的概率就越高，反之概率越低。每个进程的权值存放在/proc/\{progress\_id\}/oom\_score中，这个值是受/proc/\{progress\_id\}/oom\_adj的控制，oom\_adj在不同的Linux版本的最小值不同，可以参考Linux源码中oom.h(从-15到-17)。当oom\_adj设置为最小值时，该进程将不会被OOM killer杀掉。”

设置方法如下：

echo -17 > /proc/$\{process\_id\}/oom\_adj  
1  
优化redis的内存使用与设置；  
详情参考下文的介绍以及文末的相关链接。  
2. 是否被人为kill掉  
如果是人为kill进程，可以搜索last和history的记录，查看是什么登陆用户在什么时间杀掉的；  
如果系统有安装audit，也可以使用ausearch搜索命令记录：  
ausearch -sc kill  
1  
3. 是否因为redis-cli发送了shutdown命令导致  
如果是cli发送的shutdown命令导致redis退出，redis本身的log会有如下记录：

3803:S 11 Oct 18:12:51.251 \# User requested shutdown...  
3803:S 11 Oct 18:12:51.251 \* Removing the pid file.  
3803:S 11 Oct 18:12:51.252 \# Redis is now ready to exit, bye bye...  
1  
2  
3  
如果还没打开redis log，需要在redis.conf中指定路径然后重启：

dir "/opt/redis-4.0.9/redis-cluster/7000"  
1  
避免进程被cli远程关闭，可以设置密码，或者在redis.conf中禁用shutdown命令来实现，我们选择采用后者：

rename-command SHUTDOWN ""  
1  
4. 是否redis本身的bug导致崩溃  
设置系统ulimit，在进程崩溃时候生成core dump：  
ulimit -c unlimited  
1  
修改/etc/sysctl.conf文件，加入如下配置指定core dump文件生成的名称和路径：

kernel.core\_uses\_pid = 1  
kernel.core\_pattern = /var/core/core\_%e\_%p  
1  
2  
注意不同linux发行版可能设置的方式略有不同。

使用strace命令跟踪进程行为：  
screen -S redis\_trace\_7000  
strace -T -tt -e trace=all -p \`ps -ef|grep redis|grep 7000|grep -v -i screen|grep -v grep|awk '\{split($0,a);print a\[2\]\}'\`  
1  
2  
然后ctrl-a d退出screen

使用gdb attach到redis进程  
同样建议使用独立的screen执行gdb，另外，gdb需要使用ptrace，如果发现ptrace: Operation not permitted的报错，需要关闭其他已经使用ptrace命令的进程，例如strace命令。

gdb /usr/local/bin/redis-server 58414  
(gdb) continue  
1  
2  
使用redis-cli连上server，发送debug segfault指令可以使redis server崩溃，这时候可以：  
使用bt查看栈信息

(gdb) bt  
\#0  debugCommand (c=0x7ffc32005000) at debug.c:220  
\#1  0x000000010d246d63 in call (c=0x7ffc32005000) at redis.c:1163  
\#2  0x000000010d247290 in processCommand (c=0x7ffc32005000) at redis.c:1305  
\#3  0x000000010d251660 in processInputBuffer (c=0x7ffc32005000) at networking.c:959  
\#4  0x000000010d251872 in readQueryFromClient (el=0x0, fd=5, privdata=0x7fff76f1c0b0, mask=220924512) at networking.c:1021  
\#5  0x000000010d243523 in aeProcessEvents (eventLoop=0x7fff6ce408d0, flags=220829559) at ae.c:352  
\#6  0x000000010d24373b in aeMain (eventLoop=0x10d429ef0) at ae.c:397  
......  
1  
2  
3  
4  
5  
6  
7  
8  
9  
使用info registers查看寄存器信息

(gdb) info registers  
rax            0x0  0  
rbx            0x7ffc32005000   140721147367424  
rcx            0x10d2b0a60  4515891808  
rdx            0x7fff76f1c0b0   140735188943024  
rsi            0x10d299777  4515796855  
rdi            0x0  0  
rbp            0x7fff6ce40730   0x7fff6ce40730  
rsp            0x7fff6ce40650   0x7fff6ce40650  
r8             0x4f26b3f7   1327936503  
r9             0x7fff6ce40718   140735020271384  
r10            0x81 129  
......  
1  
2  
3  
4  
5  
6  
7  
8  
9  
10  
11  
12  
13  
最后，使用gcore产生core dump文件

(gdb) gcore  
Saved corefile core.58414  
1  
2  
二、内存使用优化  
缩减键值对象  
在条件允许的情况下建议字符串长度控制在39字节以内，减少创建redisObject内存分配次数；  
缩减键（key）和值（value）的长度；  
key长度：如在设计键时，在完整描述业务情况下，键值越短越好。  
value长度：值对象缩减比较复杂，常见需求是把业务对象序列化成二进制数组放入Redis。首先应该在业务上精简业务对象，去掉不必要的属性避免存储无效数据。其次在序列化工具选择上，应该选择更高效的序列化工具来降低字节数组大小。在内存紧张的情况下，可以使用通用压缩算法压缩json,xml后再存入Redis，从而降低内存占用，例如使用GZIP压缩后的json可降低约60%的空间。  
共享对象池  
使用共享对象池。整数对象池在Redis中通过变量REDIS\_SHARED\_INTEGERS定义，不能通过配置修改。可以通过object refcount 命令查看对象引用数验证是否启用整数对象池技术。使用共享对象池后，相同的数据内存使用降低30%以上。可见当数据大量使用\[0-9999\]的整数时，共享对象池可以节约大量内存。注意，当设置maxmemory并启用LRU相关淘汰策略如:volatile-lru，allkeys-lru时，Redis禁止使用共享对象池。  
字符串优化  
尽量减少字符串频繁修改操作如append，setrange, 改为直接使用set修改字符串，降低预分配带来的内存浪费和内存碎片化。  
编码优化  
针对性能要求较高的场景使用ziplist，建议长度不要超过1000，每个元素大小控制在512字节以内。  
当集合只包含整数且长度不超过set-max-intset-entries配置时使用intset编码。  
对于大量小对象的存储场景，非常适合使用ziplist编码的hash类型控制键的规模来降低内存。  
三、参考资料  
设置Redis最大占用内存  
Redis的内存优化  
Redis禁用命令、危险命令及规避方法  
Redis debugging guide  
Playing with ptrace, Part I  
神器strace, ltrace  
How to disable Redis RDB?  
Redis研究（十九）—命令属性  
Virtual memory settings in Linux - The Problem with Overcommit  
What is the logic behind killing processes during an Out of Memory situation?  
How to reproduce a condition which invokes the OOM-Killer ?