linux malloc 内核底层,Linux内核的malloc实现（Oracle的cache buffer影子）

我会带着你远行 2023-01-20 05:59 130阅读 0赞

本文原创为freas\_1990，转载请标明出处：外链网址已屏蔽

本文介绍一下malloc的原理，对mm感兴趣(或者对Oracle internal实现感兴趣。注：不是自以为感兴趣)的同学能在本文找到感兴趣的内容。

malloc主要由两个结构体做支撑。

struct bucket\_desc \{ /\* 16 bytes \*/

void \*page;

struct bucket\_desc \*next;

void \*freeptr;

unsigned short refcnt;

unsigned short bucket\_size;

\};

这个结构体是一个bucket descriptor。所有的object会通过链表链接起来。

struct \_bucket\_dir \{/\* 8 bytes \*/

intsize;

struct bucket\_desc\*chain;

\};

这是bucket的目录。

我画了两个图来描述一个page(页面;4k)如何被这两个结构体描述。

![A003155130-54153.png\_small.png][A003155130-54153.png_small.png]

一个4k的页面被分配到若刚个16 bytes大小的bucket中

![A003157786-54154.png\_small.png][A003157786-54154.png_small.png]

一个4k的页面被分配到若刚个32 bytes大小的bucket中。

那么，这些数据结构是如何被初始化的呢？

首先，在内核代码里，硬编码了如下数据。

struct \_bucket\_dir bucket\_dir\[\] = \{

\{ 16,(struct bucket\_desc \*) 0\},

\{ 32,(struct bucket\_desc \*) 0\},

\{ 64,(struct bucket\_desc \*) 0\},

\{ 128,(struct bucket\_desc \*) 0\},

\{ 256,(struct bucket\_desc \*) 0\},

\{ 512,(struct bucket\_desc \*) 0\},

\{ 1024,(struct bucket\_desc \*) 0\},

\{ 2048, (struct bucket\_desc \*) 0\},

\{ 4096, (struct bucket\_desc \*) 0\},

\{ 0, (struct bucket\_desc \*) 0\}\}; /\* End of list marker \*/

定义了粒度从16起的次方增长。

我写了简化的伪代码来描述整个流程。

malloc的伪代码：

procedure:

get the bucket\_desc with object size(for example 16 bytes)

if(search bucket\_desc list for free space)\{

return bdesc->freeptr

\} else \{

if(init\_bucket\_desc)\{

return bdesc->freeptr

\} else \{

panic("init\_bucket\_desc error")

\}

\}

init\_bucket\_desc:

if(page = get\_one\_page)\{

sepreated the page(4k) with dir->size

link all the pieces

\} else \{

panic("get page error")

\}

end procedure

free的伪代码：

procedure:

get the bucket\_desc with object size(for example 16 bytes)

if(search bucket\_desc list for the related bucket\_desc)\{

erase bdesc->freeptr

bdesc->refcnt--

if(bdesc->refcnt == 0)\{

if(whole page NULL)\{

if(!free\_page(bdesc->page))\{

panic("free\_page error")

\}

\}

\}

\} else \{

panic("input pointer not right")

\}

end procedure

关于数据结构性能的思考：

这里的主要数据结构就是单向链表，查找的时间复杂为O(N)，属于暴力查找。

用了10个元素的数组做分拆，当内存使用过大的时候，这个数据结构就不能承载了。

或许采用一个hash或者树形结构能解决问题。

不过，对于20年前的内存来说，完全能应付了:)

[A003155130-54153.png_small.png]: http://doc.okbase.net/picture/addon/2013/10/18/A003155130-54153.png_small.png
[A003157786-54154.png_small.png]: http://doc.okbase.net/picture/addon/2013/10/18/A003157786-54154.png_small.png

发表评论取消回复

表情：

评论列表（有 0 条评论，130人围观）

还没有评论，来说两句吧...

相关阅读

相关 linux malloc 内核底层,Linux内核的malloc实现（Oracle的cache buffer影子）

本文原创为freas\_1990，转载请标明出处：外链网址已屏蔽本文介绍一下malloc的原理，对mm感兴趣(或者对Oracle internal实现感兴趣。注：不是自以为

我会带着你远行/ 2023年01月20日 05:59/ 0 赞/ 131 阅读

相关 linux malloc命令,让Linux使用malloc申请更多的内存

项目遇到一个问题，程序跑着跑着就会挂掉，从多方信息分析来看，发现在设备的linux系统中，一个进程申请的内存最大只能达到1GB，而设备所用的物理内存是2GB的。我们的程序有多个

迈不过友情╰/ 2023年01月19日 15:56/ 0 赞/ 202 阅读

相关 linux的cache轮训,Linux内核中的Cache段

Linux内核中的Cache段 NeilWong () 最近移植LEON3的内核时,了解了一些简单知识,特提出来供大家分享. 我们知道Linux 内核包含很多Sectio

àì夳堔傛蜴生んèń/ 2022年10月15日 15:59/ 0 赞/ 139 阅读

相关 linux 下malloc的探究

前几天看《操作系统：精髓与设计原理》的虚拟存储系统的时候想到个问题，一个程序是否可以无限制的分配内存空间。今天刚好有点时间，就写了个小程序试了试。程序如下 inc

╰+攻爆jí腚メ/ 2022年09月17日 12:24/ 0 赞/ 166 阅读

相关 Linux内核Page Cache和Buffer Cache关系及演化历史

在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里

曾经终败给现在/ 2022年09月14日 13:22/ 0 赞/ 207 阅读

相关 Linux内核Page Cache和Buffer Cache关系及演化历史

在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里

浅浅的花香味﹌/ 2022年08月28日 08:48/ 0 赞/ 161 阅读

相关 Linux内核的malloc实现（Oracle的cache buffer影子）

本文原创为freas\_1990，转载请标明出处：[http://blog.csdn.net/freas\_1990/article/details/12845059][htt

川长思鸟来/ 2022年08月18日 15:23/ 0 赞/ 40 阅读

相关 malloc()之后，内核发生了什么？

考虑这样一种常见的情况：用户进程调用malloc()动态分配了一块内存空间，再对这块内存进行访问。这些用户空间发生的事会引发内核空间的那些反映？本文将简单为您解答。 1.b

爱被打了一巴掌/ 2022年08月13日 16:54/ 0 赞/ 214 阅读

相关 malloc()之后，内核发生了什么？【转】

转自：[http://blog.csdn.net/qianlong4526888/article/details/9042835][http_blog.csdn.net_qia

淡淡的烟草味﹌/ 2022年03月27日 04:48/ 0 赞/ 272 阅读

相关 Linux 内核的文件 Cache 管理机制介绍

Linux 内核的文件 Cache 管理机制介绍 1 前言自从诞生以来，Linux 就被不断完善和普及，目前它已经成为主流通用操作系统之一，使用得非常广泛，它与 Wi

╰半橙微兮°/ 2022年01月12日 15:01/ 0 赞/ 215 阅读