线上cpu排查

蔚落 2022-03-20 06:57 354阅读 0赞

# 1、查找部署项目的pid #

>ps -ef|grep docker-test #查询docker-test为项目名称
    root      3654  3401 98 14:53 pts/2    01:52:03 java -jar docker-test-2.0.1.RELEASE.jar
    root     10134  2960  0 16:46 pts/1    00:00:00 grep --color=auto docker-test

pid：3654

# 2、pid下的线程展示 #

>top -Hp 3654 #进程：3654
    top - 16:50:42 up  2:12,  4 users,  load average: 1.02, 1.14, 1.23
    Threads:  30 total,   1 running,  29 sleeping,   0 stopped,   0 zombie
    %Cpu(s): 51.2 us,  0.5 sy,  0.0 ni, 48.2 id,  0.2 wa,  0.0 hi,  0.0 si,  0.0 st
    KiB Mem :  8010444 total,  2365428 free,  3171884 used,  2473132 buff/cache
    KiB Swap:        0 total,        0 free,        0 used.  4548784 avail Mem 
    
      PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND                                                                                                                    
     3675 root      20   0 4609236 387488  13716 R 99.9  4.8 115:36.88 java                                                                                                                       
     3654 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3655 root      20   0 4609236 387488  13716 S  0.0  4.8   0:02.98 java                                                                                                                       
     3656 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.20 java                                                                                                                       
     3657 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.19 java                                                                                                                       
     3658 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.15 java                                                                                                                       
     3659 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3660 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.01 java                                                                                                                       
     3661 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3662 root      20   0 4609236 387488  13716 S  0.0  4.8   0:04.89 java                                                                                                                       
     3663 root      20   0 4609236 387488  13716 S  0.0  4.8   0:01.47 java                                                                                                                       
     3664 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3665 root      20   0 4609236 387488  13716 S  0.0  4.8   0:01.33 java                                                                                                                       
     3671 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.04 java                                                                                                                       
     3672 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3673 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.15 java                                                                                                                       
     3674 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.10 java                                                                                                                       
     3676 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3677 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3678 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3679 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3680 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3681 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3682 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3683 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.00 java                                                                                                                       
     3684 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.17 java                                                                                                                       
     3685 root      20   0 4609236 387488  13716 S  0.0  4.8   0:00.21 java

从上面可以看出pid=3675这个线程的cpu使用率最高。

# 3、导出日志 #

## 3.1 导出日志 ##

>jstack 3675 > pid.log #日志导入pid.log中

## 3.2 查看日志 ##

线程快照中线程 ID 都是16进制存放，我们需要将3675转为16进制

> printf "%x" 3675
    e5b

打开pid.log，搜索e5b

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpeGluZ3poZTI_size_16_color_FFFFFF_t_70][]

定位到代码位置。

解决：查看代码逻辑，查找占用cpu的原因，是否陷入了死循环。

# 4、测试代码 #

import org.slf4j.Logger;
    import org.slf4j.LoggerFactory;
    import org.springframework.web.bind.annotation.RequestMapping;
    import org.springframework.web.bind.annotation.RestController;
    
    /**
     * @Title: DemoController.java
     * @ProjectName docker-test
     * @Description:
     * @author ybwei
     * @date 2019年2月11日 下午5:18:55
     */
    @RestController
    public class DemoController {
    	private Logger logger = LoggerFactory.getLogger(getClass());
    
    	@RequestMapping("demo")
    	public String loop() {
    		logger.info("启动死循环");
    		while (true) {
    		}
    	}
    }

项目部署到服务器后，访问接口

curl http://localhost:8080/demo

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpeGluZ3poZTI_size_16_color_FFFFFF_t_70]: /images/20220320/287fb7a438144148af717a75d7ece81a.png