Python 内存管理机制

忘是亡心i 2023-07-20 13:32 10阅读 0赞

# 前言 #

--------------------

想要了解python，就必须要了解Python的内存管理机制，不然我们就会经常踩进一些莫名其妙的坑！

Python的内存管理机制共分为三部分：1、引用计数 2、垃圾回收 3、内存池机制

在了解以上三部分内容之前，我们先来了解一下python的变量与对象：

![在这里插入图片描述][20200401200705224.png]  
我们可以简单的把python的变量理解为指向对象的一个指针，这个指针指向了对象在内存中的真正存储位置，从而通过这个变量指针获取对象的值。而python对象是类型已知的、明确的内存数据或者内存空间，内存空间中存储了它们所表示的值，如果不理解的话，我们举个例子：

>>> a = '123'

这里，真正的对象是’123’字符串，而a只是指向这个字符串内存空间的一个指针，通过赋值’=’，我们把变量a和对象’123’之间建立了连接关系或者映射关系，就是我们所说的"引用"，所以我们可以通过这个指针a来获取对象’123’的值。

从中，我们也可以看出变量名其实是没有类型的，类型是属于对象的，由于变量引用了对象，所以变量的类型就是所引用对象的类型！

我们可以通过python的内置函数id()，来查看变量所引用对象的id，也就是内存地址:

>>> a = 1
    >>> b = a
    >>> print(id(a), id(b))
    2193993458056

同时也可以使用内置关键字 is 来判断两个变量是否引用同一个对象：

>>> a = '123'
    >>> b = '123'
    >>> print(a is b)
    True

# 一、引用计数 #

--------------------

接下来我们来介绍一下python的引用计数：

> 在python中，每个对象都会包含一个头部信息，这个头部信息包括：类型标识符和引用计数器！

查看对象的引用计数可以调用 sys.getrefcount():

>>> import sysy
    >>> a = [1, 2]
    >>> sys.getrefcount(a)
    2
    >>> b = a
    >>> sys.getrefcount(a)
    3
    >>> sys.getrefcount(b)
    3

这里需要注意的是，第一次把某个引用作为参数传递给 sys.getrefcount() 时，会临时创建一个该参数的临时引用，所以我们看到第一次调用时发现比实际的多1

引用计数增加的方式：

1、对象的创建

>>> a = [1, 2]
    >>> sys.getrefcount([1, 2])
    2

2、引用的赋值

>>> b = a
    >>> sys.getrefcount([1, 2])
    3

3、作为容器对象的一个元素

>>> c = [1, 2, [1, 2]]
    >>> sys.getrefcount([1, 2])
    4

4、作为参数传递给函数

>>> foo(a) 
    >>> sys.getrefcount([1, 2]) 
    5

引用计数减少的方式：

1、显示得销毁对象引用

>>> del a 
    >>> sys.getrefcount([1, 2]) 
    4

2、该对象的引用被赋值了其它对象

>>> b = '12' 
    >>> sys.getrefcount([1, 2]) 
    3

3、从容器对象中移除

>>> c.remove([1, 2]) 
    >>> sys.getrefcount([1, 2]) 
    2

4、引用离开作用域，比如函数foo()结束返回

# 二、 垃圾回收 #

--------------------

**python垃圾回收的原理**：

> 当python对象的引用计数为0时，python解释器会对这个对象进行垃圾回收。

但需要注意的是在垃圾回收的时候，python不能进行其它任务，所以如果频繁的进行垃圾回收将大大降低python的工作效率，因此，python只会在特定的条件下自动进行垃圾回收，这个条件就是"阈值"，在python运行过程中，会记录对象的分配和释放次数，当这两个次数的差值高于阈值的时候，python才会进行垃圾回收。

**查看阈值**：

>>> import gc 
    >>> gc.get_threshold() 
    (700, 10, 10)

700就是垃圾回收启动的阈值，后面的两个10是什么呢？它们是python的垃圾分代回收机制。为了处理如list、dict、tuple等容器对象的循环引用问题，python引用了标记-清除和分代回收的策略。

**标记清除**：

标记清除是一种基于追踪回收(tracing GC)技术实现的回收算法，它分为两个阶段：第一阶段是把所有活动对象打上标记，第二阶段是把没有标记的非活动对象进行回收，对象是否活动的判断方法是：从根对象触发，沿着"有向边"遍历所有对象，可达的对象就会被标记为活动对象，不可达的对象就是后面需要清除的对象，如下图

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Fpd2FuZ3Rpbmd5dW4_size_16_color_FFFFFF_t_70]  
从根对象(小黑点)出发，1、2、3可达，4、5不可达，那么1、2、3就会被标记为活动对象，4、5就是会被回收的对象，这种方法的缺点是：每次清除非活动对象前都要扫描整个堆内存里面的对象。

**分代回收**：

分代回收是一种以空间换时间的操作方式，python把所有对象的存货时间分为3代(0、1、2)，对应着3个链表，新创建的对象会被移到第0代，当第0代的链表总数达到上限时，就会触发python的垃圾回收机制，把所有可以回收的对象回收，而不会回收的对象就会被移到1代，以此类推，第2代的对象是存活最久的对象，当然分代回收是建立在标记清除技术的基础上的。

现在回过头来分析之前的阈值：

>>> gc.get_threshold() 
    (700, 10, 10)

第一个10代表每10次0代的垃圾回收才会触发1次1代的垃圾回收，每10次1代的垃圾回收才会触发1次2代的垃圾回收。当然，也可以手动垃圾回收：

>>> gc.collect() 
    2

# 三、 python 内存池机制 #

--------------------

为了避免频繁的申请和释放内存，python的内置数据类型，数值、字符串，查看python源码可以看到数值缓存范围为 -5 ~ 257

#ifndef NSMALLPOSINTS
    #define NSMALLPOSINTS 257
    #endif
    #ifndef NSMALLNEGINTS
    #define NSMALLNEGINTS 5
    #endif

对于 -5 ~ 257 范围内的数值，创建之后python会把其加入到缓存池中，当再次使用时，则直接从缓存池中返回，而不需要重新申请内存，如果超出了这个范围的数值，则每次都需要申请内存。下面看个例子：

>>> a = 66
    >>> b = 66
    >>> id(a) == id(b)
    True
    
    >>> x = 300
    >>> y = 300
    >>> id(x) == id(y)
    False

**字符串的 intern 机制**：

Python 解释器中使用了 intern (字符串驻留)的技术来提高字符串效率，所谓 intern 机制，指的是：字符串对象仅仅会保存一份，放在一个共用的字符串储蓄池中，并且是不可更改的，这也决定了字符串时不可变对象。

**机制原理：**

实现 Intern 机制的方式非常简单，就是通过维护一个字符串储蓄池，这个池子是一个字典结构，如果字符串已经存在于池子中就不再去创建新的字符串，直接返回之前创建好的字符串对象，如果之前还没有加入到该池子中，则先构造一个字符串对象，并把这个对象加入到池子中去，方便下一次获取。

但并非全部的字符串都会采用 intern 机制，只有包括**下划线、数字、字母**的字符串才会被 intern，同时字符数不能超过20个，因为如果超过20个字符的话，Python 解释器就会认为这个字符串不常用，不用放入字符串池子中。

[20200401200705224.png]: /images/20230528/98d5518c3dd540268c00f44cc760ea3e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Fpd2FuZ3Rpbmd5dW4_size_16_color_FFFFFF_t_70]: /images/20230528/d60bf38a93764c348a4ff2c8dcc25c28.png