linux malloc命令,让Linux使用malloc申请更多的内存

迈不过友情╰ 2023-01-19 15:56 202阅读 0赞

项目遇到一个问题，程序跑着跑着就会挂掉，从多方信息分析来看，发现在设备的linux系统中，一个进程申请的内存最大只能达到1GB，而设备所用的物理内存是2GB的。我们的程序有多个进程，但主进程只有一个，里面包括几十个线程，有的线程使用了如opencv的模块，占用内存有几百兆。而之前在文章提到的H.264转AVI，也必须将转码后的AVI格式内容放在内存，由于某些原因，系统中的内存使用峰值会达到1GB。但由于我正在搞其它的bug，这个实际是同事研究出来的，我也只是再次多方面地验证了一下。还是在这里记录一下吧。

测试所用的代码很简单，就是不断地申请内存。

22\#define BUF\_LEN (8\*1024\*1024)

int main(void)

int cnt = 0;

char\* p = NULL;

unsigned int total = 0;

while (1)

cnt++;

p = (char\*)malloc(BUF\_LEN);

if (p==NULL)

printf("\[%d\]malloc for %d failed.\\n", cnt, BUF\_LEN);

break;

total += BUF\_LEN;

printf("\[%d\]malloc %p ok total: %u(%.1fKB %.1fMB)\\n", cnt, p, total, total/1024.0, total/1024.0/1024.0);

return 0;

在系统未做配置前，执行上述程序，只能申请900MB的内存。运行结果如下：

4\[112\]malloc 0x7f575008 ok total: 939524096(917504.0KB 896.0MB)

\[113\]malloc 0x7ed74008 ok total: 947912704(925696.0KB 904.0MB)

\[114\]malloc 0x7e573008 ok total: 956301312(933888.0KB 912.0MB)

\[115\]malloc for buff failed.

查找一些资料发现，内存的使用与/proc/sys/vm/overcommit\_memory和/proc/sys/vm/overcommit\_ratio似乎有关。经过我的测试，似乎和overcommit\_memory关系更密切。对于overcommit\_memory，我们的设备代码一直都是使用系统的默认值2。在2GB内存系统上只能申请900MB。但是，将它设置为1时，就可以申请最大的内存，执行如下命令临时生效：

1echo 1 > /proc/sys/vm/overcommit\_memory

再次运行上述程序，结果如下：

3\[380\]malloc 0xbdfd7008 ok total: 3187671040(3112960.0KB 3040.0MB)

\[381\]malloc 0xbe7d8008 ok total: 3196059648(3121152.0KB 3048.0MB)

\[382\]malloc 0xbefd9008 ok total: 3204448256(3129344.0KB 3056.0MB)

注：测试中，申请内存的限制与overcommit\_ratio的值无关，但修改overcommit\_ratio会引起/proc/meminfo的中的值的变化。当overcommit\_ratio为10时，信息如下：

3\# cat /proc/meminfo | grep Commit

CommitLimit: 679932 kB

Committed\_AS: 495736 kB

当overcommit\_ratio为50时，信息如下：

3\# cat /proc/meminfo | grep Commit

CommitLimit: 1465500 kB