生产环境CPU占用飙高问题解决

港控/mmm° 2022-11-28 10:36 218阅读 0赞

### 1 问题来源与背景 ###

问题背景，项目对外提供查询航班舱位接口，对航信黑屏报文做正则解析返回。由于起初对正则不熟悉，对黑屏报文格式规律不清楚，导致写了大量的长正则表达式，生产环境并发量上来（200/s），直接导致CPU使用率峰值徘徊在100%，运维报警反馈。

### 2 运维报警 ###

![20180509125509231][]

### 3 问题定位与解决 ###

（1）第一步  ， 用jps 查看java pid

![20180509125905841][]

（2）第二步，显示线程列表 ps -mp 42 -o THREAD,tid,time

![20180509130322867][]

![20180509130340459][]

可以看到CPU占用率很高线程，如上面显示标红的线程。

（3）第三步，选择自己要看的线程id , 即tid。将其转换成16进制格式。当时选择的是tid 为211.

![20180509134418270][]

（4）第四步  打印堆栈信息

![20180509134647440][]

（5）第五步 从堆栈信息中定位问题代码

![20180509134819391][]

定位到问题代码在 AvQueryClientImpl的319行。具体是由于长正则匹配，吃CPU引起，并发量上来扛不住。

根据业务情景，把正则精简到了原来1/20的长度。CPU占用恢复正常，峰值在10%左右。

### 4 涉及命令附录 ###

**（1）JPS命令**  
    Jps(Java Virtual MachineProcess Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，  
简单实用，非常适合在linux/unix平台上简单察看当前java JVM进程的一些简单情况。  
    <1>jps  
列出pid  
    <2>jps -l  
列出pid和java主类全称  
    <3> jps -v  
        列出pid和JVM参数  
**（2）Jstack命令**  
    jstack是java虚拟机自带的一种堆栈跟踪工具。jstack用于生成java虚拟机当前时刻的线程快照。  
    线程快照是当前java虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是定位线程出现长时间停顿的原因，  
如线程间死锁、死循环、请求外部资源导致的长时间等待等。 线程出现停顿的时候通过jstack来查看各个线程的调用堆栈，就可以知  
道没有响应的线程到底在后台做什么事情，或者等待什么资源。 如果java程序崩溃生成core文件，jstack工具可以用来获得core  
文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。  
Usage:  
jstack \[-l\] <pid>  
jstack -F \[-m\] \[-l\] <pid>  
Options:  
\-F  强制dump线程堆栈信息. 用于进程hung住， jstack <pid>命令没有响应的情况  
\-m  同时打印java和本地(native)线程栈信息，m是mixed mode的简写  
\-l  打印锁的额外信息  
**（3）附录linux常用的指令**  
   （1）ps指令报告系统进程状态。http://man.linuxde.net/ps  
   （2）printf命令格式化并输出结果到标准输出。 http://man.linuxde.net/printf

### 5 拓展参考附录 ###

**（1）cpu占用过高**  
        https://blog.csdn.net/u013066244/article/details/53503530  
   ** （2）Linux系统监控常用命令**  
        http://www.xitongzhijia.net/xtjc/20141203/31828.html

[20180509125509231]: /images/20221124/51c11a0b305b4b4ca9a1bb4874d85a4f.png
[20180509125905841]: /images/20221124/0497406b5b5d41afb3b4a0ac7a184660.png
[20180509130322867]: /images/20221124/85b4ed13cab7424d89c801060632d075.png
[20180509130340459]: /images/20221124/f5bab1d2b5d3462682cd87d3f7cb80f6.png
[20180509134418270]: /images/20221124/e881364175a742e891dc444eaccd3a56.png
[20180509134647440]: /images/20221124/3738d23d18d34280b8eb90a4fe4c8e0e.png
[20180509134819391]: /images/20221124/2e645a4f09854b6d9dd2919ad9d7d2aa.png