记录一次完整的java线上项目堆内存溢出触发GC

朱雀 2023-10-11 01:26 24阅读 0赞

#### 前言 ####

> 记录一次线上JVM堆外内存泄漏问题的排查过程与思路，其中夹带一些常用的JVM问题排查指令和工具分享，希望能为大家带来帮助。

#### 故障发生和描述 ####

今天早上刚上班，运维那边钉钉发消息给我说昨晚服务器CPU负载太高，且发生报错。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center]

叫他把日志拉取下来，一看…这不就是大名鼎鼎的OOM(内存溢出)吗？

![0053b572086c2b0a2cc8699eac867668.jpg][]

头顶不断冒出 经验+1 经验+1...

![经验+1][1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center 1]  
默默的看了一眼眼前的《深入理解Java 虚拟机》，我枯了…终于派上用场了。我等你等的好辛苦…  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center 2]

其实昨晚就有迹象了，监控服务异常的小美，连续群里轰炸，已经麻木了

![20201211152844861.png][]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center 3]

说完了心（BUG）路（来）历（源）程，接下来就是找问题了。

既然是堆内存溢出那当然是看Dump内存文件了。分析一波（书上是这么说的）

真是机智。

![在这里插入图片描述][20201211153359112.png]

先找运维拉dump文件再说，然后...600M我应该从哪着手？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 3][]

文件发过来，已是十一点半了...嗯？十一点半，干饭时间，食为先

![20201211153749822.png][]

![干啥啥不行，吃饭第一名][68189dd8c86cbdcccfc7bdb0bca8fe9c.png]

拿到文件后，当然需要软件来打开了。

> 推荐两个分析工具
> 
> 1.JProfiler
> 
> 2.Memory Analyzer Tool

最终我选了jprofiler，并且安装了IDEA插件，方便后续问题排查！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 4][]

打开软件，打开下载的dump快照文件（注：软件支持的格式有限，如果自己的dump文件格式不对，先改为支持的格式）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 6][]

头皮发麻...这么多从哪找？

![熊猫人吃饭][f0635d5059f92792d3edf1a83de2bec3.png]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 7][]

找了一圈后我放弃了，毕竟太大了...600M，没有指定是发生异常才记录，那就是记录了全部的内存快照了，只能让运维下次更新重启的时候加上了。

![20201211155356709.png][]

#### 最后我才想起来了，我还有日志文件，报错的代码行，和报错信息。 ####

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 8][]

> java.util.NoSuchElementException: No value present

面向百度编程开始...

![如何百度][5ef753a3cc1217eab304701dcda4e95a.png]

看到了这位大佬的解答，我恍然大悟，赶紧找到报错的代码所在位置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 9][]

果然。

也就是当get的调用主体查询不到、为空时，就会报 No value present 异常问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 10][]

我真是机智

![妈的智障][d65d352cc0207e9931babe7ab67b9228.png]

小心翼翼的看了一下备注，还好不是自己写的。

![20201211160335267.png][]

![c040b362e4d60d25ddeb1a43214a3b9d.png][]

> 最后，问题既然已经找到，那就解决问题了，把BUG改造一下！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 11][]

### 最后 ###

> 单独一个异常可能不会触发OOM，但是这个方法是查询列表的一个方法，每次查询都会循环调用N次。
> 
> 然后晚上23:00，我们服务有定时任务也在执行，需要占用大量的内存，然后刚好那会有人在用系统，报错了还不停下，还不停的点...最终导致了OOM。

![f604ce8506d903d74689b74963950b9f.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20201211151320662.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70#pic_center
[0053b572086c2b0a2cc8699eac867668.jpg]: https://img-blog.csdnimg.cn/img_convert/0053b572086c2b0a2cc8699eac867668.jpg
[1]: https://img-blog.csdnimg.cn/20201211151908703.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201211151627969.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201211152256472.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70#pic_center
[20201211152844861.png]: https://img-blog.csdnimg.cn/20201211152844861.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20201211151213632.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70#pic_center
[20201211153359112.png]: https://img-blog.csdnimg.cn/20201211153359112.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20201211153518858.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20201211153552964.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201211153619563.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201211153632528.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[20201211153749822.png]: https://img-blog.csdnimg.cn/20201211153749822.png
[68189dd8c86cbdcccfc7bdb0bca8fe9c.png]: https://img-blog.csdnimg.cn/img_convert/68189dd8c86cbdcccfc7bdb0bca8fe9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201211154028710.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201211154911338.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201211155020729.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[f0635d5059f92792d3edf1a83de2bec3.png]: https://img-blog.csdnimg.cn/img_convert/f0635d5059f92792d3edf1a83de2bec3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201211155125534.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[20201211155356709.png]: https://img-blog.csdnimg.cn/20201211155356709.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201211155657992.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[5ef753a3cc1217eab304701dcda4e95a.png]: https://img-blog.csdnimg.cn/img_convert/5ef753a3cc1217eab304701dcda4e95a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/2020121115583187.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201211160139832.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[d65d352cc0207e9931babe7ab67b9228.png]: https://img-blog.csdnimg.cn/img_convert/d65d352cc0207e9931babe7ab67b9228.png
[20201211160335267.png]: https://img-blog.csdnimg.cn/20201211160335267.png
[c040b362e4d60d25ddeb1a43214a3b9d.png]: https://img-blog.csdnimg.cn/img_convert/c040b362e4d60d25ddeb1a43214a3b9d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20201211170148530.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MzczNTMz,size_16,color_FFFFFF,t_70
[f604ce8506d903d74689b74963950b9f.png]: https://img-blog.csdnimg.cn/img_convert/f604ce8506d903d74689b74963950b9f.png