基础：如何快速找出系统内存的问题

我会带着你远行 2022-09-17 03:19 156阅读 0赞

# 内存性能指标 #

> 内存使用情况

*  已用内存：已经使用的内存
 *  剩余内存：还没使用的内存
 *  共享内存：共享内存是通过tmpfs实现的，所以它的大小也就是tmpfs使用的内存大小。tmpfs其实也是一种特殊的缓存
 *  可用内存：新进程可以使用的最大内存，它包括剩余内存和可回收缓存
 *  缓存包括两部分：
    
     *  一部分是磁盘读取文件的页缓存，用来缓存从磁盘读取的数据，可以加快以后再次访问的速度
     *  一部分是slab分配器中的可回收内存
 *  缓冲区：是对原始磁盘块的临时存取，用来缓存将要写入磁盘的数据。这样内核就可以把分散的写集中起来，统一优化磁盘写入

> 进程内存的使用情况。比如进程的虚拟内存、常驻内存、共享内存等以及缺页异常

*  虚拟内存：
    
     *  包括进程代码段、数据段、共享内存、已经申请的堆内存和已经换出的内存等。
     *  注意，已经申请的内存，即使还没有分配物理内存，也算做虚拟内存
 *  常驻内存：进程实际使用的物理内存。不过，它不包括swap和共享内存
 *  共享内存：即包括与其他进程共同使用的真实的共享内存，还包括加载的动态链接库以及程序代码段等
 *  swap内核：指通过swap换出到磁盘的内存

这些指标中，常驻内存一般会换算成占系统总内存的百分比，也就是进程的内存使用率。

还要特别注意的是：缺页异常。系统调用内存分配请求后，并不会立即为其分配物理内存，而是在请求首次访问时，通过缺页异常来分配。缺页异常又分为下面两种场景：  
\-\*\* 可以直接从物理内存中分配时，被称为次缺页异常\*\*

*  **需要磁盘介入(比如swap)时，被称为主缺页异常**

显然，主缺页异常升高时，就意味着需要磁盘IO，那么内存访问也会慢很多。

> swap的使用情况，⽐如Swap的已⽤空间、剩余空间、换⼊速度和换出速度等。

*  已⽤空间和剩余空间很好理解，就是字⾯上的意思，已经使⽤和没有使⽤的内存空间。
 *  换⼊和换出速度，则表示每秒钟换⼊和换出内存的⼤⼩。、

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16]

# 内存性能工具 #

*  free是最常⽤的内存⼯具，可以查看系统的整体内存和Swap使⽤情况。相对应的，可以⽤top或ps，查看进程的内存使⽤情况。
 *  在缓存和缓冲区的原理篇中，我们通过proc⽂件系统，找到了内存指标的来源；并通过vmstat，动态观察了内存的变化情况。与free相⽐，vmstat除了可以动态查看内存变化，还可以区分缓存和缓冲区、Swap换⼊和换出的内存⼤⼩。
 *  接着，在缓存和缓冲区的案例篇中，为了弄清楚缓存的命中情况，我们⼜⽤了cachestat ，查看整个系统缓存的读写命中情况，并⽤ cachetop 来观察每个进程缓存的读写命中情况。
 *  再接着，在内存泄漏的案例中，我们⽤vmstat，发现了内存使⽤在不断增⻓，⼜⽤memleak，确认发⽣了内存泄漏。通过memleak给出的内存分配栈，我们找到了内存泄漏的可疑位置。
 *  最后，在Swap的案例中，我们⽤sar发现了缓冲区和Swap升⾼的问题。通过cachetop，我们找到了缓冲区升⾼的根源；通过  
    对⽐剩余内存跟/proc/zoneinfo的内存阈，我们发现Swap升⾼是内存回收导致的。案例最后，我们还通过/proc⽂件系统，找出了Swap所影响的进程。

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_15_color_FFFFFF_t_70_g_se_x_16]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16 1]

# 如何迅速分析内存的性能瓶颈 #

为了迅速定位内存问题，通常会先运⾏⼏个覆盖⾯⽐较⼤的性能⼯具，⽐如free、top、vmstat、pidstat等。  
具体的分析思路主要有这⼏步。

1.  先⽤free和top，查看系统整体的内存使⽤情况。
2.  再⽤vmstat和pidstat，查看⼀段时间的趋势，从⽽判断出内存问题的类型。
3.  最后进⾏详细分析，⽐如内存分配分析、缓存/缓冲区分析、具体进程的内存使⽤分析等  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]

举例子：

*  第⼀个例⼦，
    
     *  当你通过free，发现⼤部分内存都被缓存占⽤后，可以使⽤vmstat或者sar观察⼀下缓存的变化趋势，确认缓存的  
        使⽤是否还在继续增⼤。
     *  如果继续增⼤，则说明导致缓存升⾼的进程还在运⾏，那你就能⽤缓存/缓冲区分析⼯具（⽐如cachetop、slabtop等），分析  
        这些缓存到底被哪⾥占⽤。
 *  第⼆个例⼦
    
     *  当你free⼀下，发现系统可⽤内存不⾜时，⾸先要确认内存是否被缓存/缓冲区占⽤。排除缓存/缓冲区后，你可  
        以继续⽤pidstat或者top，定位占⽤内存最多的进程。
     *  找出进程后，再通过进程内存空间⼯具（⽐如pmap），分析进程地址空间中内存的使⽤情况就可以了。
 *  第三个例⼦
    
     *  当你通过vmstat或者sar发现内存在不断增⻓后，可以分析中是否存在内存泄漏的问题。
     *  ⽐如你可以使⽤内存分配分析⼯具 memleak ，检查是否存在内存泄漏。如果存在内存泄漏问题，memleak会为你输出内存泄  
        漏的进程以及调⽤堆栈。

# 内存调优 #

找出内存问题的来源后，下一步就是优化了。

而内存调优最重要的是：**保证应用程序的热点数据放在内存中，并尽量减少换页和交换**

常⻅的优化思路有这么⼏种。

*  最好禁止swap。如果必须开启swap，降低swappiness的值，减少内存回收时swap的使用倾向
 *  减少内存的动态分配。比如，可以使用内存次，大页⻚（HugePage）等。
 *  尽量使用缓存和缓冲区来访问数据。比如，可以使用堆栈明确声明内存空间，来存储需要缓存的数据；或者用redis这类的外部缓存组件，优化数据的访问。
 *  使用cgroups等方式限制进程的内存使用情况。这样，可以确保系统不会被异常进程耗尽
 *  通过 /proc/pid/oom\_adj ，调整核⼼应⽤的oom\_score。这样，可以保证即使内存紧张，核⼼应⽤也不会被OOM杀死。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/ac4ca7f81c1c442babaccdecce520593.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/086ba63ce56a4ef68678a4f23b8b519b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_18_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/16014393c09047d19c61356d6133d9cf.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAT2NlYW4mJlN0YXI_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/a7993479c9e54b55b00f2e1215688205.png