linux 下malloc的探究

╰+攻爆jí腚メ 2022-09-17 12:24 168阅读 0赞

前几天看《操作系统：精髓与设计原理》的虚拟存储系统的时候想到个问题，一个程序是否可以无限制的分配内存空间。今天刚好有点时间，就写了个小程序试了试。

程序如下

#include<stdio.h>
    #include<stdlib.h>
    
    int mian()
    {
        int *p;
        int i=0;
         while(1)
        {
            p=(int *)malloc(sizeof(char)*1024*1024);
            i++; 
            printf("%dM\n",i);
        }
    
    }

运行的结果让我和我的小伙伴都惊呆了 。。。居然能分配100G+。。并且还能继续分配。。当时就吓尿了啊。。。

哥这破二手电脑也就只有40G的硬盘啊。。怎么能分配这么多呢？

于是哥又想到了优化，可能每次内存如果没有指针去指向它的话可能就直接释放了。

于是

p=(int *)malloc(sizeof(char)*1024*1024*(i+1));

居然还是和原来一样！！！看来对编译器的了解还是太少了...

于是就在分配内存下面增加了一条语句

memset(p,i,sizeof(char)\*1024\*1024)

分配语句改成第一次的样子。

这次总算是正常了。前800M都是很快出来。估计是可以直接用内存的原因（只有1G内存）。

但是后面的就出来很慢了。大概一秒也就刷5到6行的样子。个人猜测可能是用到了虚拟内存的缘故，不断的IO操作，让速度慢了很多。

到1200M在左右的时就基本就不能动了。。所以只好乖乖的等待被内核干掉了。

大概8分钟左右的样子，程序出现了Out of memory的字样。提示说结束进程或者牺牲掉孩子（英语不好。。）。

然后下面两排提示杀掉了进程，行尾显示：total -vm 2728124KB anon -rss 869736KB file -rss 88KB

最后排就显示个killed.

于是问题又来了。这些数字是个什么意思呢。。

total 意思估计就是总的大小吧。已经分配了的磁盘+内存空间大小。

anon的意思就没这么容易看出来了。不过从之前的观察来看，似乎是内存使用的大小。

file 这个如果是文件的长度，似乎不太对头啊。估计是内核分配给程序的初始空间大小吧。

查了下swap的大小，2015.99M=2064373.76k。用total-anon差不多180000+K的样子，还没有把磁盘交换区占满，估计是还有其他程序也占用了吧。

弄了半天，malloc分配的空间，好像除了物理限制，似乎没有给设定一个最大分配的值啊。果断用man来查查看。

man这个东西还是好啊，又学了很多东西。

第一段：  
malloc这个函数通常是在程序内存堆中用sbrk这个函数来分配空间。并且是有限制的，在MMAP\_THRESHOLD中设置了上限，默认大小是128K，可以用mallopt（）来调整。

超过128K之后则用mmap来分配内存空间，并且不受RLIMIT\_DATA（通过getrlimit设置）的影响。那RLIMIT\_DATA是个什么呢？下面是百度上的解释。

一个进程的 [数据段][Link 1]最大字节长度。 [数据段][Link 1]中初始化数据、非初始化数据以及堆的总和。当调用函数 [brk][]动态改变一个进程的 [数据段][Link 1]大小时，若失败，errno值将被设置为ENOMEM。

真是越看越觉得自己了解的少啊。。为什么要设置这个RLIMIT\_DATA呢。。为何mmap可以不受RLIMIT\_DATA影响呢。。以后再慢慢学吧。

第二段：

一般glibc库中是默认会自动设置错误信息的。如果自己写一个当然就不一定了（废话。。）。另外，还有一个MALLOC\_CHECK\_可以用来设置检查错误的强度。

貌似设置成0就可以无限分配内存了？估计电脑会直接挂掉吧。。。

第三段（malloc有BUG！）：

如果没有内存分配的时候，malloc会返回一个non-NULL（估计是个NULL），并不保证这块内存可以使用。然后系统会了解到内存没有了，还会通过OOM来乱杀进程。

但是刚才看OOM的资料时说，OOM会给每个进程打分，分最高的会被杀掉。这么看来。。这个BUG是不是就没有了。。

不过在多进程的情况下，可能在刚换到另一进程的时候，这个进程又分配了一点空间和之前那个准备杀掉的进程一样。这样就可能杀掉其他无关进程了。

当然这样的情况还与kill设置有关，最后还是得看OOM怎么实现的。

最后，sbrk和brk还有mmap也是内存分配的函数，只是没有malloc用的那么方便。mmap直接映射到内存，效率估计比操作数据段的brk和sbrk要快得多吧。

有机会再来写篇这3个函数的。如果你正在使用window，可以把我上面程序改改，在windows上测测你的程序最大能用多少空间吧～

[Link 1]: http://baike.baidu.com/view/1005328.htm
[brk]: http://baike.baidu.com/view/653956.htm

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux malloc 内核底层,Linux内核的malloc实现（Oracle的cache buffer影子）

本文原创为freas\_1990，转载请标明出处：外链网址已屏蔽本文介绍一下malloc的原理，对mm感兴趣(或者对Oracle internal实现感兴趣。注：不是自以为

我会带着你远行/ 2023年01月20日 05:59/ 0 赞/ 131 阅读

相关 linux malloc命令,让Linux使用malloc申请更多的内存

项目遇到一个问题，程序跑着跑着就会挂掉，从多方信息分析来看，发现在设备的linux系统中，一个进程申请的内存最大只能达到1GB，而设备所用的物理内存是2GB的。我们的程序有多个

迈不过友情╰/ 2023年01月19日 15:56/ 0 赞/ 202 阅读

相关 95-探究Linux下父子进程是否共享文件

父进程先打开一个文件，fork 后子进程是否可以共享使用？ ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_sha

迈不过友情╰/ 2022年12月28日 14:27/ 0 赞/ 632 阅读

相关 93-探究Linux下系统调用创建文件的fd的值

fd的值是多少？ ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG

迷南。/ 2022年12月28日 14:26/ 0 赞/ 103 阅读

相关 calloc和malloc_malloc（）vs calloc（）– C中的malloc（）和calloc（）之间的区别

![fea0e3707797622a2ae6bc36cfb5fafc.png][] calloc和malloc Here in this tutorial you will

清疚/ 2022年12月07日 12:58/ 0 赞/ 168 阅读

相关 Linux进程的内存管理之malloc和mmap

通过《[Linxu进程的内存管理][Linxu]》，我们知道了进程内存的最小单位是vma，根据不同的用处又划分了不同类型的vma，比如 heap: 动态分配和释放的内存

我会带着你远行/ 2022年11月12日 01:51/ 0 赞/ 203 阅读

相关深入探究Linux Kprobe机制

![format_png][] 概述 kprobe机制用于在内核中动态添加一些探测点，可以满足一些调试需求。本文主要探寻kprobe的执行路径，也就是说如何trap到k

一时失言乱红尘/ 2022年10月24日 01:48/ 0 赞/ 339 阅读

相关 linux 下malloc的探究

前几天看《操作系统：精髓与设计原理》的虚拟存储系统的时候想到个问题，一个程序是否可以无限制的分配内存空间。今天刚好有点时间，就写了个小程序试了试。程序如下 inc

╰+攻爆jí腚メ/ 2022年09月17日 12:24/ 0 赞/ 169 阅读

相关 linux笔记（）—— malloc函数详解

一、原型：extern void \malloc(unsigned int num\_bytes); 头文件：\include <malloc.h> 或 \include <

Bertha 。/ 2022年05月16日 04:06/ 0 赞/ 711 阅读

相关（二）linux 学习 -- 探究操作系统

> The Linux Command Line 读书笔记 - 部分内容来自 [http://billie66.github.io/TLCL/book/chap04.html]

淡淡的烟草味﹌/ 2021年12月16日 14:49/ 0 赞/ 299 阅读