为什么需要内存池

分手后的思念是犯贱 2022-12-27 06:23 155阅读 0赞

# 为什么需要内存池 #

#include <iostream>
    #include <time.h>
    
    class CTestClass{
        
        char m_chBuf[4096];
    };
    
    int main(){
        
        clock_t count = clock();
    
        for(unsigned int i=0; i<0x5fffff; i++){
        
            CTestClass *p = new CTestClass;
            delete p;
        }
    
        std::cout << "Interval = " << clock() - count  << " ticks" << std::endl;
    
        return 0;
    }

#include <iostream>
    #include <time.h>
    
    char buf[4100];
    
    class CTestClass{
        
        char m_chBuf[4096];
    public:
        void *operator new(size_t size){
        
            return (void *)buf;
        }
    
        void  operator delete(void *p){
        }
    };
    
    int main(){
        
        clock_t count = clock();
    
        for(unsigned int i=0; i<0x5fffff; i++){
        
            CTestClass *p = new CTestClass;
            delete p;
        }
    
        std::cout << "Interval = " << clock() - count  << " ticks" << std::endl;
    
        return 0;
    }

执行效果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70]  
从上图的结果可以看出他们执行的效率大约相差8倍，那这是为什么呢？这是因为程序二重载了new运算后避免了使用malloc/free等系统调用，众所周知，**系统调用是很耗时的操作**。

#include <unistd.h>
    #include <iostream>
    #include <time.h>
    
    int main(){
        
        void* p = sbrk(0);
        clock_t count = clock();
        for(unsigned int i=0; i<0x5fffff; i++){
        
            int* p1 = (int*)p;
            int ret = brk(p1 + 256);  //malloc 1k
            p1[256] = 256;
            ret = brk(p);     // free 1k
        }
    
        std::cout <<"Interval = " << clock() - count << "ticks" << std::endl;
    
        return 0;
    }

sbrk和brk都可以向内核申请内存和释放  
![在这里插入图片描述][20201208115215660.png]

*  brk、mmap和munap但是系统调用，调用成本很高
 *  brk最近申请的内存没有释放的话，之前申请的内存是无法释放的，比如brk申请1K，再申请2k，再申请4k内存，此时如果想释放最先申请的1K内存，那不好意思，brk不支持这个，因为brk函数智能移动brk指针，要等到4k和2k内存都释放了才能释放这个1k内存，内存碎片的产生的根源就是因为这。

> 内存池则是在真正使用内存之前，先申请分配一定数量的、大小相等(一般情况下)的内存块留作备用。当有新的内存需求时，就从内存池中分出一部分内存块，若内存块不够再继续申请新的内存。

总结：内存池的优点：

*  分配/释放内存的速度：  
    因为内存池绝大部分情况下是用户态，无锁、O(1)或者O(logN)的实践复杂度，所以速度比malloc/free要快得多  
    尤其是在多线程环境下，系统级的malloc需要加锁，陷入内核态之后会非常的慢；而一个设计良好的多线程内存池可以让分配速度提高一个数量级。

\* 避免内存碎片：  
频繁不规律的malloc/feee、尤其是大量小对象的时候，可能会导致内存释放之后，空闲的内存块被已分配的内存块分割成很多无法合并的“小碎块”。此时突然申请一块大内存，虽然总的空闲内存大小是足够的，但我们却无法利用它们来完成内存分配。  
正确的使用内存池，可以在一定程度上避免内存碎片的产生

*  增加内存的利用率  
    由于malloc在分配内存时，需要增加一些必要的簿记信息，也就是记录内存块信息的头部结构，因此每次内存分配都会导致一定程度的浪费。  
    而内存池不同，可以做到按需分配。使用得当的话内存浪费会很小。

# 内存池的分类 #

初略来说，可以分为两大类，即：定长内存池（fixed-size allocation）和变长内存池（variable-sized allocation）。  
我们通常意义上所说的“内存池”，一般来说指的是定长内存池。

所谓“定长内存池”，即池中预存的大块内存是被划分为若干固定大小的小内存块存储的。这些小内存块一般使用链表串起来，在需要一块内存时，就从链表头部取出一块空闲的内存交给外部，而释放过程则是把内存挂回链表上

这一类的内存池（或者应该说分配器）有[Boost.Pool][]、[SGI STL的allocator][SGI STL_allocator]、[Loki的SmallObjAllocator][Loki_SmallObjAllocator]、[tcmalloc][]、[jemalloc][]等。

变长内存池，相对于定长来说，并不固定分配的长度，内存的分配只是在一大块空闲内存块上的指针滑动。这种做法使得它比定长内存池的分配速度更快，并且不需要多个不同的池就可以进行各种大小的内存分配，但代价是只能成批的回收内存（即多次分配一次释放），并不能像malloc/free这样成对的做分配/释放操作。使用这种分配方式的程序必须合理规划好每块内存的管理区域，因此这种内存分配方式也叫做“基于区域的内存管理”（region-based memory management）。

使用这种做法的内存池（分配器）有[Obstack][]、[Apache Portable Runtime里的apr\_pool][Apache Portable Runtime_apr_pool]、[许式伟StdExt里的AutoFreeAlloc和ScopeAlloc等][StdExt_AutoFreeAlloc_ScopeAlloc]。

除了上面所说的分类以外，对于通用内存分配器来说（只需要固定大小的情况定长内存池就足够了）还存在一些其他的内存池设计思路。  
比如[dlmalloc][]，以及基于dlmalloc的[ptmalloc][]，它们采用了边界标记法（Boundary Tags），可以将多块相邻的空闲小内存（Chunks）合并成一块大内存，使得分配不同大小内存块时空间的浪费最小化。

# 一个警告 #

<一个警告>： **尽量不要自己写一个内存池。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70]: /images/20221120/87a5975721c34b08a9f91fb05c9fe7a6.png
[20201208115215660.png]: /images/20221120/4231b8d9848349c197b1a7d5fa7bd1ff.png
[Boost.Pool]: http://www.boost.org/doc/libs/1_55_0/libs/pool/doc/html/index.html
[SGI STL_allocator]: https://www.sgi.com/tech/stl/alloc.html
[Loki_SmallObjAllocator]: http://loki-lib.sourceforge.net/html/a00524.html
[tcmalloc]: http://goog-perftools.sourceforge.net/doc/tcmalloc.html
[jemalloc]: http://www.canonware.com/jemalloc/
[Obstack]: http://www.gnu.org/software/libc/manual/html_node/Obstacks.html
[Apache Portable Runtime_apr_pool]: https://apr.apache.org/docs/apr/1.5/group__apr__pools.html
[StdExt_AutoFreeAlloc_ScopeAlloc]: http://cplusplus.wikidot.com/cn:memory-management-ref
[dlmalloc]: http://g.oswego.edu/dl/html/malloc.html
[ptmalloc]: http://www.malloc.de/en/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poaXpoZW5nZ3Vhbg_size_16_color_FFFFFF_t_70 1]: /images/20221120/feda9636b96e4b71a62c461dabc8385c.png