系统线上问题排查

痛定思痛。 2022-08-30 04:23 336阅读 0赞

## **一、磁盘空间不足问题** ##

1、先用 df -h 从总体查看磁盘状态

文件系统                 容量  已用  可用 已用% 挂载点
    devtmpfs                 1.6G     0  1.6G    0% /dev
    tmpfs                    1.7G     0  1.7G    0% /dev/shm
    tmpfs                    1.7G  170M  1.5G   11% /run
    tmpfs                    1.7G     0  1.7G    0% /sys/fs/cgroup
    /dev/mapper/centos-root   50G   16G   35G   32% /
    /dev/sda2               1014M  198M  817M   20% /boot
    /dev/mapper/centos-home  877G   32G  846G    4% /home
    tmpfs                    329M     0  329M    0% /run/user/0

tmpfs 类型的是 linux 的内存型文件系统，里面的数据是放在内存中的

一般就是看挂载点为根目录的 / 的容量，这里我只用了 32%、20%、4%，显然还没有达到瓶颈，但如果这里太大了，还要进一步看看是哪个目录大了。

2、此时用** du -sh \*** 命令，查看 / 路径下的各个文件和目录的大小

7.6G    CentOS-7-aarch64-Everything-2009.iso
    12K     construn
    du: 无法访问"data/docker/overlay2/6a14da0db0e3802e98fb82e44ce6f66a93506ebfb195a7e8d2b72f33d2ab9353/merged": 没有那个文件或目录
    8.9G    data
    0       docker
    28K     elk
    337M    ESXi-6.7.0-集成网卡镜像.iso
    0       ftp
    16K     git
    28K     install.sh
    298M    jenkins
    13G     ll
    0       log
    21M     node-v14.15.3-linux-x64.tar.xz
    213M    Python
    90M     Python-3.8.3
    23M     Python-3.8.3.tgz
    0       tomcat
    4.5M    wget-log
    4.5G    work
    0       wukong_data
    12K     www
    496M    yapi

找到最大的那个目录，进去，再次执行这个命令，直到找到最终占地面积特别大的文件或目录为止。

如果里面全都是普通文件，也可以用 **ls -lh** 命令，它的输出会更丰满一些

## 二、CPU 与内存使用率过高问题 ##

1、**top命令**

top - 09:33:23 up 47 days, 19:29,  1 user,  load average: 0.32, 0.21, 0.20
    Tasks: 178 total,   1 running, 175 sleeping,   0 stopped,   2 zombie
    %Cpu(s):  3.7 us,  0.7 sy,  0.0 ni, 95.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
    KiB Mem :  3362012 total,   392352 free,  2012588 used,   957072 buff/cache
    KiB Swap:  3538940 total,  2668284 free,   870656 used.   869176 avail Mem 
    
      PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                         
      600 polkitd   20   0 1597308  40592   4704 S   1.0  1.2 254:39.36 mongod                                                                                          
      685 readonly  20   0 1505348 235176   5528 S   0.3  7.0  83:07.98 node                                                                                            
      842 readonly  20   0 4824484 398444   6252 S   0.3 11.9 258:15.66 java                                                                                            
      922 root      20   0 4407232 499548   6284 S   0.3 14.9  49:55.13 java                                                                                            
    19070 root      20   0  878028   5812   2432 S   0.3  0.2  46:13.79 BT-Task                                                                                         
    26451 root      20   0  162152   2304   1528 R   0.3  0.1   0:00.08 top

下面的列表表示不同进程（PID）所占用的资源情况

PID 表示容器ID

**VIRT** 表示使用的虚拟内存数量，**RES** 表示使用的物理内存数量，**SHR** 表示使用的共享内存数量，这三者可以从内存角度看该进程的资源占用情况。

**S** 表示进程的状态，下面的值 **S** 表示睡眠，**D** 表示不可中断睡眠，**R** 表示运行，基本知道这三个就够了。

%CPU 表示CPU使用率，**%MEM** 自然就是内存使用率，看这俩值可以一目了然看谁占用的资源过高了。

**TIME** 表示累计 cpu 使用时长，感觉没什么用。

**COMMAND** 表示启动进程使用的命令行，Java 程序的话，可以看看 JVM 启动参数，看是否配置的合理。

如果专门看 Java 进程的情况，可以先 **jps** 命令找到它的 PID

19063 jar
    1575 Bootstrap
    21263 Jps

然后再 **top -p 19063** 专门看这个 Java 进程的情况

如果再细化到线程，可以加个 \-H 参数，**top -p 19063 -H**

当然，top 命令已经可以分析内存了，如果想单独分析下内存，可以用小而美的命令，**free -h**

total        used        free      shared  buff/cache   available
    Mem:           3.2G        1.9G        365M        189M        940M        836M
    Swap:          3.4G        839M        2.6G

这些参数的含义是：

total：内存总数

used：已经使用内存数

free：完全空闲内存

shared：多个进程共享的内存

buffers：用于块设备数据缓冲，记录文件系统 metadata（目录，权限，属性等)

cached：用于文件内容的缓冲

available：真正剩余的可被程序应用的内存数

一共有两行，mem 和 swap，**mem** 就是内存大小，**swap** 是交换区，是在物理磁盘上的一块区域，当内存不够用时，可以用这部分区域当内存。

可以用 **swapon** 命令来看下交换区的使用情况。

NAME      TYPE      SIZE USED PRIO
    /dev/dm-1 partition 3.4G 839M   -2

## 三、**网络延迟** ##

**1、netstat -a** 查看所有连接中的 socket。

Active Internet connections (servers and established)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State      
    tcp        0      0 0.0.0.0:ddi-tcp-1       0.0.0.0:*               LISTEN     
    tcp        0      0 localhost:smtp          0.0.0.0:*               LISTEN     
    tcp        0      0 localhos:opsession-prxy 0.0.0.0:*               LISTEN     
    tcp        0      0 0.0.0.0:ssh             0.0.0.0:*               LISTEN     
    tcp        0      0 c1:ddi-tcp-1            192.168.0.196:6652      ESTABLISHED
    tcp        0      0 c1:ddi-tcp-1            192.168.0.196:13867     ESTABLISHED
    tcp        0      0 localhost:50356         localhos:opsession-prxy ESTABLISHED
    tcp        0      0 localhos:opsession-prxy localhost:50356         ESTABLISHED
    tcp        0    256 c1:ssh                  192.168.0.90:55549      ESTABLISHED
    tcp        0      0 c1:ddi-tcp-1            192.168.0.196:2194      ESTABLISHED
    tcp        0      0 c1:ddi-tcp-1            192.168.0.196:14426     ESTABLISHED
    tcp        0      0 c1:ddi-tcp-1            192.168.0.196:scenidm   ESTABLISHED

2、用 **netstat -tnpa** 命令可以查看所有 tcp 连接的信息，包括进程号

Active Internet connections (servers and established)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
    tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      19085/python        
    tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      490/master          
    tcp        0      0 127.0.0.1:3307          0.0.0.0:*               LISTEN      21686/mysqld        
    tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1057/sshd           
    tcp        0      0 192.168.0.70:8888       192.168.0.196:6652      ESTABLISHED 19085/python        
    tcp        0      0 127.0.0.1:50526         127.0.0.1:3307          TIME_WAIT   -                   
    tcp        0      0 192.168.0.70:8888       192.168.0.196:13867     ESTABLISHED 19085/python        
    tcp        0      0 127.0.0.1:50356         127.0.0.1:3307          ESTABLISHED 21347/httpd         
    tcp        0      0 127.0.0.1:3307          127.0.0.1:50356         ESTABLISHED 21686/mysqld        
    tcp        0    208 192.168.0.70:22         192.168.0.90:55549      ESTABLISHED 20707/sshd: root@pt 
    tcp        0      0 192.168.0.70:8888       192.168.0.196:2194      ESTABLISHED 19085/python        
    tcp        0      0 192.168.0.70:8888       192.168.0.196:14426     ESTABLISHED 19085/python        
    tcp        0      0 192.168.0.70:8888       192.168.0.196:7128      ESTABLISHED 19085/python

得到进程号后就好说了配合 top 命令，**ps -ef** 命令，查看相关进程信息。

不过这些自带的网络命令，都不太灵活，一般我们有直观查看实时流量，然后进行一波统计分析的需求，这里介绍一个酷酷的命令。

输入 **iftop -P** 会得到这样的一个实时数据。

![图片][2ba5d4301ae27003630c55c1942fd271.png]

中间的 **<= => **这两个左右箭头，表示的是流量的方向。

TX：发送流量

RX：接收流量

TOTAL：总流量

Cumm：运行 iftop 到目前时间的总流量

peak：流量峰值

rates：分别表示过去 2s 10s 40s 的平均流量

当然这些是从机器上的，如果是一个接口响应耗时过长，一方面可能是由于机器本身所在的网络有问题。

一般这种问题也就是运维同学去解决，或者我们单节点重启一下，换台机器，就搞定了。

还有可能是服务提供方业务耗时严重，这个就需要去排查服务提供方的日志，机器负载，连接池占用情况等，分析问题，这也是我们平时开发碰到的主要问题。

## 四、**Java 程序的问题分析** ##

1、用 **jmap -dump** 分析堆内存中的快照

2、用** jmap -heap** 查看堆内存设置与当前使用情况

3、用 **jstack** 查看 jvm 线程运行信息，上传到 **fastthread.io** 这个网站，直观地看一下，

一个线程需要占用大约 1M 的空间吧，而且不是占用 jvm 的内存空间，而是会占用操作系统空闲的内存空间。

我们的机器内存是 8G，堆内存占了 6G，线程数这么多快超过 2G 了，再加上操作系统里其他程序占用的内存，内存告警很正常，甚至可能 OOM。

所以，一方面我们可以减少线程数，另一方面可以把堆内存配置得小一点，使得堆内存加上线程占用的操作系统内存，不要超过 8G。

## 五、**一些无法本地 debug 的调试技巧**    ##

有的时候线上忘记在关键节点打日志了，会导致一些问题，比如不知道方法入参的值，不知道某方法中具体某一步的耗时。

我一般用阿里的一款贼牛逼的工具 **arthas** 来排查。

先申请个线上机器的接近 root 的权限，然后把 arthas 工具下载到机器上，可以直接机器上下载：

wget https://alibaba.github.io/arthas/arthas-boot.jar

使用 **watch** 命令可以实时观察一个方法的入参和出参。

使用 **trace** 命令可以跟踪某个方法的耗时，而且可以深入这个方法所调用的方法的各个耗时。

当然我就只用这俩功能，用作忘记打日志时的临时方案了，属于高射炮打蚊子。

实际上人家的功能超级强大，比如 **dashboard** 全局监控，**thread** 查看所有线程信息，包括状态和 CPU 使用率，**thread -b** 甚至可以直接定位到死锁信息，**jad** 命令进行反编译，**ognl** 命令查看某一个对象的具体值，大家可以去网上学习下。

这篇文章来源于转载，我觉得原文写的不错，[可以去看看原文的排版及内容][Link 1]

[2ba5d4301ae27003630c55c1942fd271.png]: /images/20220829/f3b6bcd825da4d64af12a65603ecbbc6.png
[Link 1]: https://mp.weixin.qq.com/s?__biz=Mzk0MjE3NDE0Ng==&mid=2247496588&idx=1&sn=1264ff8ed21d0f3fdef81b7bbad9e31e&chksm=c2c58921f5b20037b049c99004e64ee44fc18cc9eed0241b06cccca18683e975ea9525b59e66&scene=132#wechat_redirect