Centos线上性能定位

r囧r小猫 2022-12-08 14:09 106阅读 0赞

定位工具 top

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
    31558 admin 15 0 5351m 4.0g 49m S 12.2 54.0 10:08.31 java
    31561 admin 15 0 5351m 4.0g 49m R 12.2 54.0 9:45.43 java
    31626 admin 15 0 5351m 4.0g 49m S 11.9 54.0 13:50.21 java
    31559 admin 15 0 5351m 4.0g 49m S 10.9 54.0 5:34.67 java
    31612 admin 15 0 5351m 4.0g 49m S 10.6 54.0 8:42.77 java
    31555 admin 15 0 5351m 4.0g 49m S 10.3 54.0 13:00.55 java
    31630 admin 15 0 5351m 4.0g 49m R 10.3 54.0 4:00.75 java
    31646 admin 15 0 5351m 4.0g 49m S 10.3 54.0 3:19.92 java
    31653 admin 15 0 5351m 4.0g 49m S 10.3 54.0 8:52.90 java
    31607 admin 15 0 5351m 4.0g 49m S 9.9 54.0 14:37.82 java

在这里可能出现三种情况

第一种情况，某个线程CPU利用率一直100%，则说明这个线程有可能是有死循环，那么请记住这个PID

第二种情况，某个线程一直在TOP10的位置，这说明这个线程有可能有性能问题。

第三种情况，CPU利用率高的几个线程在不停的变化，说明不是由某一个线程导致CPU偏高。

问题排查

如果是第一种情况，也有可能是GC造成，可以用jstac命令看一下GC情况，看看是不是因为持久代或者年老代满了，产生Full GC,导致CPU利用率持续飙高，命令和回显如下。

sudo /opt/java/bin/jstat -gcutil 31177 1000 5
    S0 S1 E O P YGC YGCT FGC FGCT GCT
    0.00 1.27 61.30 55.57 59.98 16040 143.775 30 77.692 221.467
    0.00 1.27 95.77 55.57 59.98 16040 143.775 30 77.692 221.467
    1.37 0.00 33.21 55.57 59.98 16041 143.781 30 77.692 221.474
    1.37 0.00 74.96 55.57 59.98 16041 143.781 30 77.692 221.474
    0.00 1.59 22.14 55.57 59.98 16042 143.789 30 77.692 221.481

还可以把线程dump下来，看看究竟是哪个线程、执行什么代码造成的CPU利用率高。执行  
以下命令，把线程dump到文件dump17里。执行如下命令

sudo -u admin /opt/taobao/java/bin/jstack 31177 > /home/tengfei.fangtf/dump17

dump出来的内容类似下面内容

"http-0.0.0.0-7001-97" daemon prio=10 tid=0x000000004f6a8000 nid=0x555e in Object.
    wait() [0x0000000052423000]
    java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on (a org.apache.tomcat.util.net.AprEndpoint$Worker)
    at java.lang.Object.wait(Object.java:485)
    at org.apache.tomcat.util.net.AprEndpoint$Worker.await(AprEndpoint.java:1464)
    - locked (a org.apache.tomcat.util.net.AprEndpoint$Worker)
    at org.apache.tomcat.util.net.AprEndpoint$Worker.run(AprEndpoint.java:1489)
    at java.lang.Thread.run(Thread.java:662)

另外也可以通过ftp导致到本地端通过[MAT内存分析][MAT]工具进行分析

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzI2NDQ5_size_16_color_FFFFFF_t_70][]

END

[MAT]: http://www.eclipse.org/mat/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMzI2NDQ5_size_16_color_FFFFFF_t_70]: /images/20221123/3654f8aae56440d6be610c0f0751f924.png