【开发篇】六、查询大量数据导致内存溢出

Love The Way You Lie 2024-04-23 15:47 68阅读 0赞

#### 文章目录 ####

*  1、溢出场景
 *  2、快照文件分析
 *  3、本地环境复现
 *  4、结论
 *  5、解决思路

记录一个问题，工作中有个数据处理服务OOM，查了下镜像的dockerfile，发现JVM参数如下。很明显，一个数据服务，里面经手大量的数据对象，堆内存125的设置肯定不合理，调大至512m解决。

![在这里插入图片描述][a73d28cc72104a33b53c79fb3c32ecc6.png]

重装了Jmeter，遇到几个问题：

*  [安装][Link 1]
 *  [打开文件报错][Link 2]
 *  [解析xml报错][xml]

继续看文章微服务的内存问题。

## 1、溢出场景 ##

![在这里插入图片描述][998ba19529454bdbbe65cd8406c7fe15.png]

文章微服务，在业务高峰期发生内存溢出。

## 2、快照文件分析 ##

分析生产环境内存溢出时的JVM快照文件（hprof文件），发现`com.mysql.cj.jdbc.result.ResultSetImpl`是MAT的怀疑对象，而ResultSetImpl即MySQL查询返回结果的包装对象，因此想到可能是大量从数据库查询的结果保存在内存中，导致JVM内存溢出。

![在这里插入图片描述][20fe1fc4d7e54e37a75a9e9d517d521e.png]

打开直方图和支配树，按照深堆倒叙排序，发现String对象、文章实体类对象TbArticle、ResultSetImpl对象排名靠前：

![在这里插入图片描述][ce52b08036a9427f9495d5a9b57bd189.png]

从当前线程入手，找到处理器方法HandlerMethod，List objects --> with outgoing references查看其关联的对象，在description中方找到当前线程在执行哪个方法

- with outgoing references：当前对象引用了哪些对象
    - with incoming references：当前对象被哪些对象引用

![在这里插入图片描述][9e28dda27d5146c8aa8a09fb348716de.png]

找到了有问题的类和方法：

![在这里插入图片描述][002c65e3a8484430a299ec3e0fe2171a.png]

## 3、本地环境复现 ##

造数据10w：

CREATE PROCEDURE generate_test_data()
    BEGIN
        DECLARE i INT DEFAULT 1;
        WHILE i <= 100000 DO
            INSERT INTO article  (title,content) VALUES (CONCAT('string', i),SUBSTRING(MD5(RAND()), 1, 50));
            SET i = i + 1;
        END WHILE;
    END;
    
    
    CALL generate_test_data();
    
    DROP PROCEDURE generate_test_data;
    
    select COUNT(*) from article a ;

设置JVM参数：

-Xmx100m -Xms100m  -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:/jvm/heapdemo.hprof

Jmeter模拟业务高峰：

![在这里插入图片描述][5a52c6bb55c543b9b75035daf1df37c4.png]  
![在这里插入图片描述][c80f68051a3740f2b388d80c371e4b12.png]

内存溢出，分析快照文件：

![在这里插入图片描述][ba2077899ff746f08c45d7965871086c.png]

## 4、结论 ##

堆内存快照中的怀疑对象代码，此处只是一个简单的查询：service层调mapper，做一个简单的select \*

@GetMapping
     public ResponseEntity<Page<TbArticle>> queryByPage(TbArticle tbArticle, int page,int size) {
        
         return ResponseEntity.ok(this.articleService.queryByPage(tbArticle, PageRequest.of(page,size)));
     }

**分页结果查询的条数太大，并且单条数据的对象也很大，如此，业务高峰期，JVM内存保存了大量的对象，导致内存溢出。**

## 5、解决思路 ##

*  限制单次最大访问条数
 *  分页接口如果只是展示文章列表，就不要把最大的内容字段content也返回，以减少每个对象的大小
 *  整合sentinel，高峰期限流

思路一最合理，修改代码，让最大条数为100：

/**
     * 分页查询
     *
     * @param tbArticle 筛选条件
     * @return 查询结果
     */
    @GetMapping
    public ResponseEntity<Page<TbArticle>> queryByPage(TbArticle tbArticle, int page, int size) {
        
        size = Math.min(100, size);
        return ResponseEntity.ok(this.articleService.queryByPage(tbArticle, PageRequest.of(page, size)));
    }

本地启动Visual，Jmeter模拟并发，发现JVM内存在100M下也够用，图中每次的下调，代表的就是一次查询结束，不用的对象被回收：

![在这里插入图片描述][2ee038682bc644b4843b001ad435fc5b.png]

Jmeter压测表现平稳：

![在这里插入图片描述][504b8d71db86483cbad47061f9062b3a.png]

[a73d28cc72104a33b53c79fb3c32ecc6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/554e496376484e49bb6f076ddc137923.png
[Link 1]: https://blog.csdn.net/Bella_7/article/details/119144406
[Link 2]: https://www.cnblogs.com/aze999/p/16035029.html
[xml]: https://blog.csdn.net/veggietaler/article/details/108813247
[998ba19529454bdbbe65cd8406c7fe15.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/8350ff9c42e24747b3b0e0bcb7b05a41.png
[20fe1fc4d7e54e37a75a9e9d517d521e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/2e521aa5c1e9411b80680505656bc1c5.png
[ce52b08036a9427f9495d5a9b57bd189.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/b1766853563949f8b70173c68df04c6c.png
[9e28dda27d5146c8aa8a09fb348716de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/55a9f3caa8454e6b8dcec6134a57bfc4.png
[002c65e3a8484430a299ec3e0fe2171a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/471e624eca7d4dc8b7f5d06d7f7d2d3f.png
[5a52c6bb55c543b9b75035daf1df37c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/bccb695c123c446baa8c70a8379b6833.png
[c80f68051a3740f2b388d80c371e4b12.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/e2752fc825f940da98c1d425e61bf970.png
[ba2077899ff746f08c45d7965871086c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/dd0179567b2a424cb15cf854f1a5b61d.png
[2ee038682bc644b4843b001ad435fc5b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/b00abb94270141beb6e2f5b4232ded69.png
[504b8d71db86483cbad47061f9062b3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/23/2c78dc6e2c6544ca8cd268c988452533.png