MAT使用分析线上FullGC

深藏阁楼爱情的钟 2022-10-15 10:49 185阅读 0赞

**目录**

问题引出：

解决步骤：

问题分析：

解决方案:

后续追踪：

--------------------

### 问题引出： ###

最近线上问题频频出现，使用阿里ARMS检测到的数据，一天之内竟然经将近了十几万次FullGC

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70][]

一个小时内高达几千次FullGC

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 1][]

试问，这服务器还有什么用？

### 解决步骤： ###

**1：直接找运维小哥哥dump了堆文件内容；**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 2][]

这里感谢一下运维小哥的不耐其烦，小哥哥给我dump堆文件他女朋友要是知道了不知道会不会生气

**2：使用MAT分析文件，打开文件 file-》openfile-》Dominator Tree直接发现下面的内容**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 3][]

这个字符串的值，内容如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 4][]

分析字符串我们项目并不会产生如此内容，怀疑到架构组提供的tranceId追踪组件上。

发现有一个TraceContext类里面的代码如下

public static void setContext() {
        if (TraceHolder.get() == null) {
            initContext(genTraceId(), genTopSpanId());
        } else if (TraceEntryHolder.get() != null) {
            if (SpanParentHolder.get() == null) {
                SpanHolder.set(genChildSpanId(SpanHolder.get()));
            } else {
                SpanHolder.set(genSameLevelSpanId(SpanHolder.get()));
            }
        } else {
            initContext(genTraceId(), genTopSpanId());
        }
    
    }
    
    private static String genSameLevelSpanId(String spanId) {
        if (spanId == null) {
            return genTopSpanId();
        } else {
            StringBuilder stb = new StringBuilder();
            int pos = spanId.lastIndexOf("-");
            int nextIdx;
            if (pos < 0) {
                nextIdx = Integer.parseInt(spanId) + 1;
                stb.append(nextIdx);
            } else {
                stb.append(spanId.substring(0, pos));
                //这里问题很严重，直接double了spanId！！！
                nextIdx = Integer.parseInt(spanId.substring(pos + 1)) + 1;
                stb.append("-").append(nextIdx);
            }
    
            return stb.toString();
        }
    }
    
    private static String genChildSpanId(String spanId) {
        //问题就出现在这里！这里直接把spanId + "-1" 
        return spanId == null ? genTopSpanId() : spanId + "-1";
    }

### 问题分析： ###

就上面的代码导致最后生成的大量id，长字符串对象，一直被引用不能释放导致了问题。

这里本来不会产生问题，如果线程很快结束了就不会有问题，但是如果一个线程特别长，调用了很多地方(redis/mysql/http)这里都会来记录，每调用一次就会一直累加。最后内存爆炸了。

### 解决方案: ###

我们追到这里后，直接放弃了使用架构组的组件。

### 后续追踪： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 5][]

上线之后还存在少量的FullGC，这里因为redis还没有替换的原因，以后替换后应不会再有类似问题了。

##  ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70]: /images/20221014/b7862b8e44db49f687bcb772b6122563.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 1]: /images/20221014/1b1a5e89b8574a7e8ed6d8e9b7e90963.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 2]: /images/20221014/f32b316f7f194b03bdfb33de47193f79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 3]: /images/20221014/a67deeef35bb440d95cd0549f2f193e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 4]: /images/20221014/50d63191dc8c4d77b30159178a41eccb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210524192741386.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Rvbmd5aW5nMTc1MQ==,size_16,color_FFFFFF,t_70