【java 面试】记录一次“诡异的“CPU 100%问题

小灰灰 2022-06-01 23:29 207阅读 0赞

现象：生产服务器偶尔CPU100%，一旦100%，就一直100%，日志长时间不输出任何信息，偶尔会打印一条。

分析流程：

1 开始想，一定是有线程一直运行，所以导致CPU100%。 直接想到了jstack。

使用jstack生成了一个thread dump文件。 jstack -l xxx 没有响应， 最后使用 jstack -F xxx 生成了一个thread dump。 查看生成的dump文件， 里面都是BLOCKED的线程。 这真是颠覆我的理论基础，BLOCKED不会占用太多CPU的啊。。。

经过一夜的思考， 我靠，会不会-F参数导致JAVA所有线程先BLOCKED，然后在生成的Thread dump，在机器上测试了一下，果然就是这样的。你大爷啊，为什么网上没有人说这个问题！！！官网也没有说。  
  
  
2 使用jstack xxx 生成dump文件

生成的thread dump终于可以网上的格式对应起来了，开心。查找CPU占用高的线程， 一查，靠，都是垃圾回收线程。

好，问题找到了，就是程序中的一个方法一定条件下可以触发一个无限循环，每循环一次，创建了一个对象，所有java堆满了，引起了java垃圾回收。java回收线程不能回收对象释放堆内存，所以垃圾回收线程一直执行，CPU 100%。  
  
  
3 定位到代码，确实有个在并发条件下，可能出现无限循环的地方，修改了就可以了。  
  
  
总结：  
使用jstack查看线程情况。当是垃圾回收线程一直full gc时， 使用jmap查看那个对象创建的比较多，再结合jstack的线程数据，定位到相关代码。  
  
  
可以用的下的命令：  
参考：http://blog.csdn.net/five3/article/details/28416771  
https://www.cnblogs.com/zyhxhx/p/4564953.html  
先用top查看占用cpu的进程id  
top -H -p 3582  
用ps -mp pid -o THREAD,tid,time 打印出该进程下的线程占用cpu情况  
jstack \[进程\] | grep -A 10 \[线程的16进制\] 打印线程的堆栈信息  
printf "%x\\n" tid 线程ID转换为16进制格式  
  
  
查看gc状况：1511274为进程号  
jstat -gcnew 1511274 1000 10  
jstat -gcutil 1511274 1000 10  
S0 S1 E O P YGC YGCT FGC FGCT GCT  
0.00 0.51 74.23 3.55 23.37 197 46.478 168 628.104 674.582  
0.00 0.51 74.76 3.55 23.37 197 46.478 168 628.104 674.582  
0.00 0.51 74.90 3.55 23.37 197 46.478 168 628.104 674.582  
  
  
可以使用jmap来打印堆里的对象个数。  
jmap -heap 1511274  
  
  
java虚拟机  
java使用内存 3g -Xmx3g -Xms3g  
java新生代内存 1g -Xmn1g  
  
  
\-XX:PermSize=256m -XX:MaxPermSize=256m 持久代256m  
  
  
/usr/java/default/bin/java -Dnop -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager  
\-Xmx3g -Xms3g -Xmn1g -Xss256k -Dfile.encoding=utf-8 -XX:PermSize=256m -XX:MaxPermSize=256m  
\-javaagent:/var/fix/fix-bootstrap.jar  
\-Djava.endorsed.dirs=/opt/apache-tomcat/endorsed  
\-classpath /opt/apache-tomcat/bin/bootstrap.jar:/opt/apache-tomcat/bin/tomcat-juli.jar  
\-Dcatalina.base=/var/xxx -Dcatalina.home=/opt/apache-tomcat  
\-Djava.io.tmpdir=/var/xxx/temp org.apache.catalina.startup.Bootstrap start