python项目运行，导致内存越来越大的原因分析

待我称王封你为后i 2022-08-31 01:53 148阅读 0赞

### 内存越来越大的原因分析 ###

*   *   *   *  问题描述：
             *  程序运行现象分析：
             *  尝试解决：
             *  原因分析：
             *  解决方法：

#### 问题描述： ####

目前遇到的问题是这样的，爬虫程序部署到K8S服务器上运行，但是会过几个小时之后，程序就会被主动杀掉重启，原因是因为内存过载，超过K8S设置的4G。  
![在这里插入图片描述][2d1c1f918b8162e3f53f27577e199969.png]

#### 程序运行现象分析： ####

在线下进行程序测试时，未让程序长时间运行（及4-5个小时），程序无异常则直接上测试环境测试，然后部署上线了运行了。

通过线下观察，确实程序使用内存会因为时间而不断增加

![在这里插入图片描述][45ae23cfbe56ba4a86927a2a47d8358a.png]  
![在这里插入图片描述][9d52e8b031ecff2052169ce5c0b43c1c.png]  
增长的速度虽然不是很快，但却是在稳定增加，说明程序中存在内存使用未被释放。

#### 尝试解决： ####

根据上网提供的方案，  
import gc  
gc.collect()  
无效，该增加还是在增加，说明不是全局的内存使用未被释放，内存回收正常。

通过断点调试，发现，程序在使用代理的时候，内存才会增加  
![在这里插入图片描述][f710997a16b3a77c9cd97e241b04cf3d.png]

程序每次运行时会去获取一个代理赋值到session的proxies中，程序使用的是多线程，则单位时间内会有大量的代理信息会赋值到session中。

通过注释掉获取代理的这一步，发现确实内存不在继续增加。  
![在这里插入图片描述][0478f07e5cacbdafc5c88b22933cc285.png]

#### 原因分析： ####

Session对象存储特定用户会话所需的属性及配置信息，，存储在Session对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。所以随着时间的推移，session中记录的proxies信息就会越来越多，最终导致内存使用过大，程序被杀。

#### 解决方法： ####

不使用session进行请求，使用原生requests.get即可。  
![在这里插入图片描述][799631153e291febc785620c25de2663.png]

[2d1c1f918b8162e3f53f27577e199969.png]: /images/20220829/edf36099cdd8476c884efc2e9679d63d.png
[45ae23cfbe56ba4a86927a2a47d8358a.png]: /images/20220829/7a1a1f6ca4d04dd993401b65455fef29.png
[9d52e8b031ecff2052169ce5c0b43c1c.png]: /images/20220829/3f8c40e7157b46cfa115f4aa2f03b9d1.png
[f710997a16b3a77c9cd97e241b04cf3d.png]: /images/20220829/cfdc4c1f12a84778bdc39299cc810e42.png
[0478f07e5cacbdafc5c88b22933cc285.png]: /images/20220829/fee7d0a14c6c4a22af26eeb20517058a.png
[799631153e291febc785620c25de2663.png]: /images/20220829/74233e6de8e44feb9afcf3d75f0330a4.png