大量线程没结束导致cpu跑满的排查分析

偏执的太偏执、 2022-06-01 08:22 682阅读 0赞

#### 背景 ####

公司新迭代了一个版本， 但是上线没多久，cpu就跑满，导致所有的请求都响应很慢， 大多数请求都超时，甚至有一次OOM。出现这样的情况，以前的负责人就叫运维重启。现在这个项目交给我来负责， 我需要把导致这个现象的原因找出来，并解决掉。

前负责人说怀疑是首页接口的问题，看了代码，还真是。

#### 吐槽 ####

公司使用docker运行spring boot项目， docker运行的系统和jdk是非常干净的

linux: Alpine Linux 3.4
    jdk: openjdk version "1.8.0_111-internal" (build 1.8.0_111-internal-alpine-r0-b14)

这个版本的linux有些命令是执行不了的，这个版本的jdk同样也没有jps jstack等命令。

要求运维在测试环境给换套系统

linux: CentOS release 6.7 (Final)
    jdk: openjdk version "1.8.0_91" (build 1.8.0_91-b14)

OK， 到此，准备工作做好了。

#### 分析 ####

![这里写图片描述][SouthEast]

在方法中新建了一个线程池，并且在方法中没有关闭。这样会导致每个请求都会创建一个线程池，然后创建几个线程，运行完了后，线程就会处于等待状态，GC回收不了。这是一个很严重的BUG！！！

接下来压测，并使用jprofiler监测JVM运行状况， 拿到结果。

![这里写图片描述][SouthEast 1]

等待中心的线程达到了15679个，其它状态的线程都不够其零头。

其中有一个线程一直在耗CPU。另外说下，测试服务器是一个2核的cpu，但是只有一个核是跑满的， 这说cpu的利用率不均匀(有些cpu很忙，有些cpu并不是)，这表明只有一条线程在努力的跑。  
如果是多核cpu出现利用率不均匀的情况，那说明大多数计算工作都是由一小组线程完成的，应用程序并没有利用其它的处理器。通常有这几种原因：I/O密集、外部限制、锁竟争。

回到主话题，在docker运行的linux中使用命令找到jvm的pid，然后使用top -H -p \{pid\}找出耗cpu的线程。或者使用ps -mp \{pid\} -o THREAD,tid,time|sort -k1 -nr|head -15命令也可以。

打到jvm的pid为6

top -H -p 6

![这里写图片描述][SouthEast 2]

或

ps -mp 6 -o THREAD,tid,time|sort -k1 -nr|head -15

![这里写图片描述][SouthEast 3]

发现在耗cpu的线程id为25.

先使用jstack把线程的堆栈信息统计到文件中

jstack 6 >data.txt

运行命令将10进制转换为16进制

printf "0x%x\n" 25

输出 0x19

在data.txt中找到nid=0x19的线程。

![这里写图片描述][SouthEast 4]

> 也可以使用如下命令  
> jstack 6 | grep nid=0x19 -A 30  
> 这行命令会找到nid=0x19的行，并将其下30输出打印出来

发现是metrics监控的线程，根据上面的运行栈去找

![这里写图片描述][SouthEast 5]

![这里写图片描述][SouthEast 6]

![这里写图片描述][SouthEast 7]

发现metrics有一个定时任务，是检查线程状态的，一万五千多个线程，六个状态，就是循环将近十万次 隔60秒循环一次，确实是很耗cpu了。

问题定位到，找到原因，将线程池从方法中移出来，放到类变量中， 初步解决。

![这里写图片描述][SouthEast 8]

#### 思考 ####

首页竟然没用缓存，这是\*\* ！  
后面还要对首页进行优化，使用缓存和管理缓存，不从库里取，不用线程池。

#### 链接 ####

[java-jvm-cpu (cpu)高问题排查][java-jvm-cpu _cpu]  
[如何定位占用cpu过高的线程][cpu]

[SouthEast]: /images/20220601/6647d57c9ffa4328bf2baeb648423200.png
[SouthEast 1]: /images/20220601/e5ed1a241237454f9c09b2ff75432bd3.png
[SouthEast 2]: /images/20220601/3a128f4d732045e3b4e4badabd35df16.png
[SouthEast 3]: /images/20220601/e2d895f71a9f48cb82b1087b14647ea9.png
[SouthEast 4]: /images/20220601/b07f15fe1b824eeeac51ee25daa69cab.png
[SouthEast 5]: /images/20220601/78105984d17544bf9dfff0a45f7b7861.png
[SouthEast 6]: /images/20220601/b6e0ee66448b464c9b7d077ba6ed4c69.png
[SouthEast 7]: /images/20220601/c2c21ddb68bb4a03916eb1875410ccc3.png
[SouthEast 8]: /images/20220601/0ff6a623c1094fc1a6a42b93a1c20f7d.png
[java-jvm-cpu _cpu]: http://wangxinchun.iteye.com/blog/2366346
[cpu]: https://www.cnblogs.com/hiyu/p/6109514.html