Linux下OOM Killer机制详解(二)

偏执的太偏执、 2021-09-14 06:16 210阅读 0赞

Linux 内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况是：某天一台机器突然ssh远程登录不了，但能ping通，说明不是网络的故障，原因是sshd进程被OOM killer杀掉了（多次遇到这样的假死状况）。重启机器后查看系统日志/var/log/messages会发现Out of Memory: Kill process 1865（sshd）类似的错误信息。

1、理解OOM Killer：

Linux 内核根据应用程序的要求分配内存，通常来说应用程序分配了内存但是并没有实际全部使用，为了提高性能，这部分没用的内存可以留作它用，这部分内存是属于每个进程的，内核直接回收利用的话比较麻烦，所以内核采用一种过度分配内存（over-commit memory）的办法来间接利用这部分 “空闲” 的内存，提高整体内存的使用效率。一般来说这样做没有问题，但当大多数应用程序都消耗完自己的内存的时候麻烦就来了，因为这些应用程序的内存需求加起来超出了物理内存（包括 swap）的容量，内核（OOM killer）必须杀掉一些进程才能腾出空间保障系统正常运行。用银行的例子来讲可能更容易懂一些，部分人取钱的时候银行不怕，银行有足够的存款应付，当全国人民（或者绝大多数）都取钱而且每个人都想把自己钱取完的时候银行的麻烦就来了，银行实际上是没有这么多钱给大家取的。

2、配置OOM Killer：

我们可以通过一些内核参数来调整 OOM killer 的行为，避免系统在那里不停的杀进程。

1）Linux下每个进程都有个OOM权重，在/proc/<pid>/oom\_adj里面，取值是-17到+15，取值越高，越容易被干掉；

2）linux内核会通过特定的算法给每个进程计算一个分数来决定杀哪个进程，每个进程的oom分数可以/proc/PID/oom\_score中找到（分数越高，越容易被干掉）；

3）我们可以通过调控每个进程的/proc/<pid>/oom\_adj来影响到每个进程的/proc/PID/oom\_score；（正比例关系，oom\_adj越大，oom\_score分数越高，越容易被干掉）

实例1：

查看进程的oom\_score，降低oom\_adj后，返现oom\_score变小了

# cat /proc/981/oom_score
    18
    
    # echo -15 > /proc/981/oom_adj
    # cat /proc/981/oom_score
    3

实例2：

打印当前系统上 oom\_score 分数最高（最容易被 OOM Killer 杀掉）的进程

# vi oomscore.sh
    #!/bin/bash
    for proc in $(find /proc -maxdepth 1 -regex '/proc/[0-9]+'); do
        printf "%2d %5d %s\n" \
            "$(cat $proc/oom_score)" \
            "$(basename $proc)" \
            "$(cat $proc/cmdline | tr '\0' ' ' | head -c 50)"
    done 2>/dev/null | sort -nr | head -n 10
    
    # chmod +x oomscore.sh
    # ./oomscore.sh
    18   981 /usr/sbin/mysqld
     4 31359 -bash
     4 31056 -bash
     1 31358 sshd: root@pts/6
     1 31244 sshd: vpsee [priv]
     1 31159 -bash
     1 31158 sudo -i
     1 31055 sshd: root@pts/3
     1 30912 sshd: vpsee [priv]
     1 29547 /usr/sbin/sshd -D

实例3：

设置参数/proc/PID/oom\_adj为-17，可临时关闭linux内核的OOM机制。

echo -17 > /proc/$PID/oom_adj

实例4：

防止sshd被杀，可以这样操作：

pgrep -f "/usr/sbin/sshd" | while read PID;do echo -17 > /proc/$PID/oom_adj;done

可以加到crontab里，更安全：

#/etc/cron.d/oom_disable
    */1**** root pgrep -f "/usr/sbin/sshd" | while read PID;do echo -17 > /proc/$PID/oom_adj;done

实例5：

可以修改内核参数，禁用调oom（不推荐）

# sysctl -w vm.panic_on_oom=1
    vm.panic_on_oom = 1 //1表示关闭，默认为0表示开启OOM
     
    # sysctl -p

或