服务器负载过高问题分析

╰半夏微凉° 2022-06-13 00:13 217阅读 0赞

线上服务器存在问题学习。

问题现象：

1，top命令查询服务器负载达到2.0-5之间，tomcat的cpu使用率达到104%

![Center][]

问题分析过程：

1），磁盘使用率未超出正常范围

![Center 1][]

2），内存使用率未超出正常范围还有空闲

![Center 2][]

3），服务器流量未现明显峰值

![Center 3][]

4），jvm内存状态未现异常非GC原因

![Center 4][]

综合初步预估是tomcat有线程一直在运行占用cpu资源

**问题引出：如何确定tomcat的100%的cpu使用率到底问题在哪？**

** **

**问题定位方案：**

使用java提供的是jstack线程分析命令对进程里面的线程状态进行分析，先导出线程快照再分析具体是那个线程及对应的类

执行步骤：

**第一步：**ps -ef|grep tomcat 查询出java/tomcat进程PID（eg:8209）

**第二步：**ps -aux 查询出该进程是哪个用户启动的（即使ROOT用户可能也导出线程快照失败）

![Center 5][]

**第三步：**su  tomcat 切换到进程启动用户

**第四步：**jstack -l 8209 > /usr/local/work/tomcat/8209.stack 导出PID对应的线程信息到文件

**第五步：**对导出的线程文件下载本地做分析（可以文本打开）

**第六步：**top -H -p 8209 命令查看对应进程是哪个线程占用CPU过高(eg:8308)

![Center 6][]

**第七步：**printf "%x\\n" 8308 转换十进制为十六进制 此处为：2074

**第八步：**在导出的堆栈文件中搜索线程ID等于nid=0x2074的线程，此处即列出了该线程对应的类

![Center 7][]

**第九步：**根据线程信息找到对应的类定位问题成功，找到原因：日志队列线程一直处于RUNNABLE状态，一直在while循环判定队列是否为空

![Center 8][]

[Center]: /images/20220613/b0549b01b98348dabbd9d7b842579db7.png
[Center 1]: /images/20220613/0627407c34104741948e22f0d2fe699e.png
[Center 2]: /images/20220613/ace5abfd351242779a431d5203b37973.png
[Center 3]: /images/20220613/20bc537f740f400889f77f0604181eaf.png
[Center 4]: /images/20220613/fbad7ce2f7cf4990875222f589dec4b3.png
[Center 5]: /images/20220613/f08f9f9ccb7a4aa7a7e75b66838168aa.png
[Center 6]: /images/20220613/45df5e1003be4f788115599f98237d15.png
[Center 7]: /images/20220613/1301ed510487409f971b8b8b98dc2863.png
[Center 8]: /images/20220613/8fbc763a3643414882bf63123858d837.png

发表评论取消回复

表情：

评论列表（有 0 条评论，217人围观）

还没有评论，来说两句吧...

相关阅读

相关记一次服务器负载过高问题

早上刚到接到前方同事电话，说线上有台服务访问延迟很高，他排查了下发现内存还很充足，cpu使用率也不是很高，单就是负载出奇的高，等我到后开始一系列的排查 1. 查看服务器资源

今天药忘吃喽~/ 2023年01月23日 13:50/ 0 赞/ 161 阅读

相关服务器CPU占用率过高问题分析

在开发过程中，碰到了Java进程占用cpu过高的现象，本篇来介绍一下排查思路。 1. 查看占用CPU过高Java进程使用 `top -p <pid>` 命令（为Jav

╰半夏微凉°/ 2022年12月27日 01:53/ 0 赞/ 157 阅读

相关 Linux系统负载过高

ps aux top vmstat free -h dstat 关注R(运行）和 D（不可中断)状态的进程！！！ [ps工

阳光穿透心脏的1/2处/ 2022年09月11日 03:13/ 0 赞/ 116 阅读

相关 HBase Thrift2 CPU过高问题分析

目录目录 1 1. 现象描述 1 2. 问题定位 2 3. 解决方案 5 4. 相关代码 5 1. 现象描述外界连接9090端口均超时，但tel

àì夳堔傛蜴生んèń/ 2022年07月14日 10:40/ 0 赞/ 186 阅读

相关服务器负载过高问题分析

线上服务器存在问题学习。问题现象： 1，top命令查询服务器负载达到2.0-5之间，tomcat的cpu使用率达到104% ![Center][

╰半夏微凉°/ 2022年06月13日 00:13/ 0 赞/ 218 阅读

相关服务器cpu负载过高问题排查

第一步：执行top命令，查出当前机器线程情况 top - 09:14:36 up 146 days, 20:24, 1 user, load average:

小灰灰/ 2022年06月09日 06:42/ 0 赞/ 243 阅读

相关 ES集群服务器CPU负载瞬间飚高分析

由于任务每天都在往es中写入数据，cpu负载居高不下，经常导致服务器处于失联状态，时间过长还会影响到其他的服务。下面转来的博客大家一起学习 ES集群服务器CPU负载瞬间飚高

淩亂°似流年/ 2022年06月06日 12:37/ 0 赞/ 1303 阅读

相关磁盘IO负载过高

针对系统中磁盘IO负载过高的指导性操作主要命令：echo deadline > /sys/block/sda/queue/scheduler 注：以下的内容仅是提供参

男娘i/ 2022年05月30日 08:47/ 0 赞/ 268 阅读

相关服务器CPU负载过高问题查询记录

这是一个未解的疑问 -------------------- 周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NG

水深无声/ 2022年04月27日 22:34/ 0 赞/ 199 阅读

相关服务器CPU负载过高问题查询记录

这是一个未解的疑问周四晚上，有一台服务器遇到一个很怪异的现象：有流量访问时，CPU负载升到100%，但是内存使用量不大，通过NGINX切流，不接受HTTP请求，服务器...

系统管理员/ 2021年04月06日 13:26/ 0 赞/ 550 阅读