关于linux buffer/cache 看完这篇你就懂了

淡淡的烟草味﹌ 2022-12-04 07:31 539阅读 0赞

## free 命令 与 buffer/cache ##

在 Linux 系统中，我们经常用 free 命令来查看系统内存的使用状态。在一个 centos 的系统上，free 命令的显示内容大概是这样一个状态：

![在这里插入图片描述][20200906092715796.png_pic_center]  
**-m:** 显示单位为MB  
**free -m 各个参数的说明**  
**total** 内存总数  
**used** 已经使用的内存数  
**free** 空闲的内存数  
**shared** 多个进程共享的内存总额  
**buff/cache** 缓存的大小  
**available** 可用内存 free + buff/cache

## 什么是 buffer/cache？ ##

buffer 和 cache 是两个在计算机技术中被用滥的名词，放在不同语境下会有不同的意义。在 Linux 的内存管理中，这里的buffer 指 Linux 内存的：Buffer cache。这里的 cache 指 Linux 内存中的：Page cache。翻译成中文可以叫做缓冲区缓存和页面缓存。在历史上，它们一个（buffer）被用来当成对 io 设备写的缓存，而另一个（cache）被用来当作对 io 设备的读缓存，这里的 io 设备，主要指的是块设备文件和文件系统上的普通文件。但是现在，它们的意义已经不一样了。在当前的内核中，page cache 顾名思义就是针对内存页的缓存，说白了就是，如果有内存是以 page 进行分配管理的，都可以使用 page cache 作为其缓存来管理使用。当然，不是所有的内存都是以页page进行管理的，也有很多是针对块block进行管理的，这部分内存使用如果要用到 cache 功能，则都集中到 buffer cache 中来使用。（从这个角度出发，是不是 buffer cache 改名叫做 block cache 更好？）然而，也不是所有块block都有固定长度，系统上块的长度主要是根据所使用的块设备决定的，而页长度在 X86 上无论是32位还是64位都是 4k。

明白了这两套缓存系统的区别，就可以理解它们究竟都可以用来做什么了。

**什么是 page cache**

Page cache 主要用来作为文件系统上的文件数据的缓存来用，尤其是针对当进程对文件有 read／write 操作的时候。如果你仔细想想的话，作为可以映射文件到内存的系统调用：mmap 是不是很自然的也应该用到 page cache？在当前的系统实现里， page cache 也被作为其它文件类型的缓存设备来用，所以事实上 page cache 也负责了大部分的块设备文件的缓存工作。

**什么是 buffer cache**

Buffer cache 则主要是设计用来在系统对块设备进行读写的时候，对块进行数据缓存的系统来使用。这意味着某些对块的操作会使用 buffer cache 进行缓存，比如我们在格式化文件系统的时候。一般情况下两个缓存系统是一起配合使用的，比如当我们对一个文件进行写操作的时候，page cache 的内容会被改变，而 buffer cache 则可以用来将 page 标记为不同的缓冲区，并记录是哪一个缓冲区被修改了。这样，内核在后续执行脏数据的回写writeback时，就不用将整个 page 写回，而只需要写回修改的部分即可。

**如何回收 cache？**

Linux 内核会在内存将要耗尽的时候，触发内存回收的工作，以便释放出内存给急需内存的进程使用。一般情况下，这个操作中主要的内存释放都来自于对 buffer／cache 的释放。尤其是被使用更多的 cache 空间。既然它主要用来做缓存，只是在内存够用的时候加快进程对文件的读写速度，那么在内存压力较大的情况下，当然有必要清空释放 cache，作为 free 空间分给相关进程使用。所以一般情况下，我们认为 buffer/cache 空间可以被释放，这个理解是正确的。

但是这种清缓存的工作也并不是没有成本。理解 cache 是干什么的就可以明白清缓存必须保证 cache 中的数据跟对应文件中的数据一致，才能对 cache 进行释放。所以伴随着 cache 清除的行为的，一般都是系统 IO 飙高。因为内核要对比 cache 中的数据和对应硬盘文件上的数据是否一致，如果不一致需要写回，之后才能回收。

在系统中除了内存将被耗尽的时候可以清缓存以外，我们还可以使用/proc/sys/vm/drop\_caches这个文件来人工触发缓存清除的操作。

## buff/cache不断增长？ ##

可以看到，上图的cache已经飙升到**12.5G**，而free剩余内存只有**2G**左右，并且随着系统的运行该值会越来越大，那**为什么buff/cache会越来越大？**

Linux服务器运行一段时间后，由于其内存管理机制，会将**暂时不用的内存转为buff/cache**，这样在程序使用到这一部分数据时，能够**很快的取出，从而提高系统的运行效率**，所以这也正是linux内存管理中非常出色的一点，所以乍一看内存剩余的非常少，但是在程序真正需要内存空间时，linux会将缓存让出给程序使用，这样达到对内存的最充分利用，所以真正剩余的内存是free+buff/cache

但是有些时候**大量的缓存占据空间**，这时候应用程序会去使用swap交换空间，从而**使系统变慢**，这时候需要手动去释放内存。

说到清理内存，那么不得不提到/proc这一个虚拟文件系统，这里面的数据和文件都是内存中的实时数据，很多参数的获取都可以从下面相应的文件中得到，比如查看某一进程占用的内存大小和各项参数，cpu和主板的详细信息，显卡的参数等等；相应的关于内存的管理方式是**在/proc/sys/vm/drop\_chches文件**中，一定要注意这个文件中存放的并不是具体的内存内容，而是0-3这几个数字，通过文件大小只有1B也可以知道，而这些代号分别告诉系统代表不同的含义如下：

0：是系统默认值，默认情况下表示不释放内存，由操作系统自动管理
    1：释放页缓存
    2：释放dentries和inodes
    3：释放所有缓存

所以根据上面的说明，分别将1,2,3这3个数字重定向到drop\_caches中可以实现内存的释放，一般释放内存都是重定向3到文件中，释放所有的缓存

## buff/cache 缓存释放 ##

**只释放页缓存**  
1、 free -m 查看当前内存剩余  
![在这里插入图片描述][20200906100439447.png_pic_center]  
当前内存剩余2.5G左右，另外buff/cache是12.5G，根据上面说的现在真正的剩余内存应该是15G左右。

2、首先写缓存到文件系统:

sync

3、释放内存(页缓存buff/cache)：

echo 1 > /proc/sys/vm/drop_caches

4、到这里内存就释放完了，现在drop\_caches中的值为1，如果现在想让操作系统重新分配内存，那么设置drop\_caches的值为0即可：

echo 0 > /proc/sys/vm/drop_caches

另外需要注意的是，在生产环境中的服务器我们**不要频繁的去释放内存**，只在**必要时候清理**内存即可，更重要的是我们应该从应用程序层面去优化内存的利用和释放，经常清理内存可能只是暂时屏蔽的应用程序中的一些bug，所以**更重要的是程序的调优**，其他的交给操作系统来管理

参考：  
https://www.cnblogs.com/pc-boke/articles/10213695.html  
https://blog.csdn.net/lqglqglqg/article/details/82313966

[20200906092715796.png_pic_center]: /images/20221123/a0720d11de4240e1866b49eabbde654b.png
[20200906100439447.png_pic_center]: /images/20221123/95e8b59c33c744aa968fbf5cca3f28d1.png