java进程cpu占用高如何排查

﹏ヽ暗。殇╰゛Y 2022-11-16 05:43 1573阅读 0赞

## **问题：** ##

> **公司参加HW期间，项目两台双活的jboss服务器频繁触发cpu利用率过高告警，cpu利用率长时间在90%以上。**

## **排查思路：** ##

**第一步：**在两台Linux服务器上，执行top命令，并按大写P以cpu利用率排序，确定cpu占用最高的进程为 java进程

**那么，java进程cpu占用过高该如何排查呢，我们从两个角度出发：**

> （1）执行任务的java线程本身存在bug，死循环或者操作本身耗cpu，导致cpu占用过高
> 
> （2）jvm发生频繁gc，导致cpu过高

**第二步：**先排查java任务线程本身，确定什么线程cpu占用过高

（1）方法一：ps -mp \[java进程id\] -o THREAD,tid,time | sort -n 找到cpu占用最大的线程id

![20210407100513581.png][]

***注意**，该方法在生产环境测试，发现无法找到cpu占用高的线程，显示所有线程cpu占用均为0，因此实际排查采用方法二*

![20210407100658287.png][]

（2）使用top -H -p \[java进程id\]，找到cpu占用较高的线程id，如下图所示，左边红框标注的PID列为线程id

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p3ZW50YW8wMQ_size_16_color_FFFFFF_t_70][]

**第三步：**计算java线程id的16进制值，因为后续用jstack看到的线程快照中，线程id为小写十六进制值

（1）可百度在线进制转换

（2）可使用windows自带的计算器，程序员模式，可转换十六进制

（3）Linux可使用命令：**printf "%x\\n" \[线程\_id\]**

![20210407101534309.png][]

**第四步：使用命令 jstack \[java进程pid\] | grep \[线程id十六进制值\] -A 30**（-A 30表示向下打印30行）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p3ZW50YW8wMQ_size_16_color_FFFFFF_t_70 1][]

**分析上图可知，线程在做正则匹配，查看完整堆栈可定位到具体代码位置，分析后，确定在做url的正则匹配。继续分析其他线程，发现基本都在做url正则匹配。**

**后续分析，则需要结合业务代码分析，正则匹配是否耗时。**

***正则分析参考博客：***[https://blog.csdn.net/weixin\_33023873/article/details/114740786][https_blog.csdn.net_weixin_33023873_article_details_114740786]

**第五步：**从gc角度出发，是否存在大量gc，首先确定当前内存消耗情况，使用top命令或者查看设备监控管理系统，确定内存利用率达97%：

![2021040710273567.png][]

**第六步：**确认gc次数，使用命令 jstat -gc \[java进程ID\]：

![2021040710434242.png][]

***YGC，表示 Young GC，也就是Minor GC，发生在新生代中的GC***

***FGC，表示 Full GC，发生在老年代中的GC***

> ***S0C：第一个幸存区的大小  
> S1C：第二个幸存区的大小  
> S0U：第一个幸存区的使用大小  
> S1U：第二个幸存区的使用大小  
> EC：伊甸园区的大小  
> EU：伊甸园区的使用大小  
> OC：老年代大小  
> OU：老年代使用大小  
> MC：方法区大小  
> MU：方法区使用大小  
> CCSC:压缩类空间大小  
> CCSU:压缩类空间使用大小  
> YGCT：年轻代垃圾回收消耗时间  
> FGCT：老年代垃圾回收消耗时间  
> GCT：垃圾回收消耗总时间*** 
> 
> ***如何计算gc频率，参考：***[https://blog.csdn.net/qq\_18671415/article/details/104446568][https_blog.csdn.net_qq_18671415_article_details_104446568]

**结合上图可知，程序运行以来共发生7436次YGC，63次FGC，gc次数较多**

**基本可以说明存在频繁GC导致cpu占用高的问题**

**第七步：**使用命令dump 内存堆存储快照：**jmap -dump:format=b,file=/tmp/my.hprof \[java进程id\]**

**第八步：**使用内存分析工具，如Eclipse Memory Analyzer等分析**my.hprof**文件，分析内存那块占用大，存在内存泄露，导致空间无法释放。

## **总结：** ##

**cpu利用率过高排查，需要从两个角度排查，一是自身任务线程是否存在bug，二是是否内存泄露导致触发频繁gc；然后利用top、jstack、jmap等工具，定位出问题的代码位置，然后针对性分析修改。**

[20210407100513581.png]: /images/20221022/5a813894eb404de383d23e43b8b56316.png
[20210407100658287.png]: /images/20221022/2002e790fc0b432bbd589ef073f72541.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p3ZW50YW8wMQ_size_16_color_FFFFFF_t_70]: /images/20221022/643195c154274bf09eead24459203b53.png
[20210407101534309.png]: /images/20221022/c3eaf71092de47458567b34852f17949.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p3ZW50YW8wMQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/9b2ada2d76a24c0bb4e7172f425a33bf.png
[https_blog.csdn.net_weixin_33023873_article_details_114740786]: https://blog.csdn.net/weixin_33023873/article/details/114740786
[2021040710273567.png]: /images/20221022/ce41631dbc224c088e5ce1c4f0e58f78.png
[2021040710434242.png]: /images/20221022/7eef7b929bf440429859a5113db64b1a.png
[https_blog.csdn.net_qq_18671415_article_details_104446568]: https://blog.csdn.net/qq_18671415/article/details/104446568