Linux常用性能分析工具汇总

分手后的思念是犯贱 2022-02-23 10:30 1048阅读 0赞

### 文章目录 ###

*  性能分析工具
 *   *  top
     *  pstree
     *  mpstat
     *  vmstat
     *  pidstat
     *  perf
     *  proc
     *  tcpdump
     *  bcc工具箱
     *   *  cachestat
         *  cachetop
         *  memleak
         *  filetop
         *  opensnoop
     *  pcstat
     *  strace
     *  sar
     *  iostat
     *  iotop
     *  slabtop
     *  lsof
 *  压力测试工具
 *   *  ad - HTTP性能压测工具
     *  hping3 - 网络包处理能力压测工具
     *  fio - IO压测工具
     *  pktgen - 网络性能压测工具
     *  iperf - TCP/UDP吞吐量压测工具
 *  系统知识
 *   *  内存
     *   *  配置swap文件操作
         *  查看内存回收偏好
         *  查看使用Swap最多的进程
     *  磁盘
     *   *  文件系统
         *   *  索引节点和目录项
             *  虚拟文件系统
             *  文件系统I/O
         *  磁盘IO
         *   *  磁盘类型
             *  通用块层
             *  磁盘性能指标
     *  网络
     *   *  性能指标
         *  网络配置
         *   *  网络接口状态
             *  性能优化

# 性能分析工具 #

## top ##

线程的各种状态：

R 是 Running 或 Runnable 的缩写，表示进程在 CPU 的就绪队列中，正在运行或者正在等待运行。
    D 是 Disk Sleep 的缩写，也就是不可中断状态睡眠（Uninterruptible Sleep），一般表示进程正在跟硬件交互，并且交互过程不允许被其他进程或中断打断。
    Z 是 Zombie 的缩写，如果你玩过“植物大战僵尸”这款游戏，应该知道它的意思。它表示僵尸进程，也就是进程实际上已经结束了，但是父进程还没有回收它的资源（比如进程的描述符、PID 等）。
    S 是 Interruptible Sleep 的缩写，也就是可中断状态睡眠，表示进程因为等待某个事件而被系统挂起。当进程等待的事件发生时，它会被唤醒并进入 R 状态。
    I 是 Idle 的缩写，也就是空闲状态，用在不可中断睡眠的内核线程上。前面说了，硬件交互导致的不可中断进程用 D 表示，但对某些内核线程来说，它们有可能实际上并没有任何负载，用 Idle 正是为了区分这种情况。要注意，D 状态的进程会导致平均负载升高， I 状态的进程却不会。
    T 或者 t，也就是 Stopped 或 Traced 的缩写，表示进程处于暂停或者跟踪状态。
    X，也就是 Dead 的缩写，表示进程已经消亡，所以你不会在 top 或者 ps 命令中看到它。
    + 表示前台进程组
    s  表示是一个会话的领导进程

## pstree ##

用法：

# -a 表示输出命令行选项
    # p 表 PID
    # s 表示指定进程的父进程
    $ pstree -aps 3084
    systemd,1
      └─dockerd,15006 -H fd://
          └─docker-containe,15024 --config /var/run/docker/containerd/containerd.toml
              └─docker-containe,3991 -namespace moby -workdir...
                  └─app,4009
                      └─(app,3084)

## mpstat ##

用法:

mpstat  -P ALL 5 # 查看所有CPU的使用情况

## vmstat ##

用于查看系统中断和上下文切换此时，就绪队列的长度等信息  
用法:

vmstat 5 # 每5秒输出一次

## pidstat ##

pidstat -u -w -t 5 10 # 5秒输出一次，共输出10次；w:上下文切换次数  t:输出线程指标 d:进程的IO情况
    
    # 查看IO情况
    pidstat -d 1 
    13:39:51      UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command 
    13:39:52      102       916      0.00      4.00      0.00       0  rsyslogd

## perf ##

用于查看每个函数或指令的CPU使用情况  
用法:

perf top  # 实时显示占用CPU最多的函数或指令
    perf record # 保存数据用于离线分析
    perf report # 分析离线数据

示例:

# -g 开启调用关系分析，-p 指定 php-fpm 的进程号 21515
    $ perf top -g -p 21515

## proc ##

cat /proc/interrupts  # 查看内核中断
    cat /proc/softirqs  # 查看软中断

## tcpdump ##

用法：

# -i eth0 只抓取 eth0 网卡，-n 不解析协议名和主机名
    # tcp port 80 表示只抓取 tcp 协议并且端口号为 80 的网络帧
    $ tcpdump -i eth0 -n tcp port 80
    15:11:32.678966 IP 192.168.0.2.18238 > 192.168.0.30.80: Flags [S], seq 458303614, win 512, length 0

## bcc工具箱 ##

需安装bcc，并配置PATH路径：`export PATH=$PATH:/usr/share/bcc/tools`，CentOS还需要手动升级内核版本到4.1以上后才能用，升级方法参考：https://www.jianshu.com/p/997e0a6d8e09，或者参考它的 Github 网站https://github.com/iovisor/bcc

### cachestat ###

提供了整个操作系统缓存的读写命中情况  
用法：

$ cachestat 1 3
       TOTAL   MISSES     HITS  DIRTIES   BUFFERS_MB  CACHED_MB
           2        0        2        1           17        279
           2        0        2        1           17        279
           2        0        2        1           17        279

### cachetop ###

提供了每个进程的缓存命中情况  
用法：

$ cachetop
    11:58:50 Buffers MB: 258 / Cached MB: 347 / Sort: HITS / Order: ascending
    PID      UID      CMD              HITS     MISSES   DIRTIES  READ_HIT%  WRITE_HIT%
       13029 root     python                  1        0        0     100.0%       0.0%

### memleak ###

用法：

$ /usr/share/bcc/tools/memleak -p $(pidof app) -a
    Attaching to pid 12512, Ctrl+C to quit.
    [03:00:41] Top 10 stacks with outstanding allocations:
        addr = 7f8f70863220 size = 8192
        addr = 7f8f70861210 size = 8192
        addr = 7f8f7085b1e0 size = 8192
        addr = 7f8f7085f200 size = 8192
        addr = 7f8f7085d1f0 size = 8192
        40960 bytes in 5 allocations from stack
            fibonacci+0x1f [app]
            child+0x4f [app]
            start_thread+0xdb [libpthread-2.27.so]

### filetop ###

跟踪内核文件的读写情况：

# 切换到工具目录 
    $ cd /usr/share/bcc/tools 
    
    # -C 选项表示输出新内容时不清空屏幕 
    $ ./filetop -C 
    
    TID    COMM             READS  WRITES R_Kb    W_Kb    T FILE 
    514    python           0      1      0       2832    R 669.txt 
    514    python           0      1      0       2490    R 667.txt 
    514    python           0      1      0       2685    R 671.txt 
    514    python           0      1      0       2392    R 670.txt 
    514    python           0      1      0       2050    R 672.txt 
    
    ...
    
    TID    COMM             READS  WRITES R_Kb    W_Kb    T FILE 
    514    python           2      0      5957    0       R 651.txt 
    514    python           2      0      5371    0       R 112.txt 
    514    python           2      0      4785    0       R 861.txt 
    514    python           2      0      4736    0       R 213.txt 
    514    python           2      0      4443    0       R 45.txt

### opensnoop ###

跟踪内核中的open系统调用，找出打开文件的文件名和路径：

opensnoop 
    12280  python              6   0 /tmp/9046db9e-fe25-11e8-b13f-0242ac110002/650.txt 
    12280  python              6   0 /tmp/9046db9e-fe25-11e8-b13f-0242ac110002/651.txt 
    12280  python              6   0 /tmp/9046db9e-fe25-11e8-b13f-0242ac110002/652.txt

## pcstat ##

查看指定文件在内存中的缓存大小  
该工具基于go语言开发，需安装go环境：

$ export GOPATH=~/go
    $ export PATH=~/go/bin:$PATH
    $ go get golang.org/x/sys/unix
    $ go get github.com/tobert/pcstat/pcstat

用法：

$ ls
    $ pcstat /bin/ls
    +---------+----------------+------------+-----------+---------+
    | Name    | Size (bytes)   | Pages      | Cached    | Percent |
    |---------+----------------+------------+-----------+---------|
    | /bin/ls | 133792         | 33         | 33        | 100.000 |
    +---------+----------------+------------+-----------+---------+

## strace ##

查看进程的系统调用  
用法：

# strace -p $(pgrep app)  # -f:追踪多线程 
    strace: Process 4988 attached
    restart_syscall(<\.\.\. resuming interrupted nanosleep \.\.\.>) = 0
    openat(AT_FDCWD, "/dev/sdb1", O_RDONLY|O_DIRECT) = 4
    mmap(NULL, 33558528, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f448d240000
    read(4, "8vq\213\314\264u\373\4\336K\224\25@\371\1\252\2\262\252q\221\n0\30\225bD\252\266@J"\.\.\., 33554432) = 33554432
    write(1, "Time used: 0.948897 s to read 33"\.\.\., 45) = 45
    close(4)                                = 0

## sar ##

sar 是一个系统活动报告工具，既可以实时查看系统的当前活动，又可以配置保存和报告历史统计数据。  
用法：

# -n DEV 表示显示网络收发的报告，间隔 1 秒输出一组数据
    $ sar -n DEV 1
    15:03:46        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
    15:03:47         eth0  12607.00   6304.00    664.86    358.11      0.00      0.00      0.00      0.01
    15:03:47      docker0   6302.00  12604.00    270.79    664.66      0.00      0.00      0.00      0.00
    15:03:47           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
    15:03:47    veth9f6bbcd   6302.00  12604.00    356.95    664.66      0.00      0.00      0.00      0.05
    
    
    # 间隔 1 秒输出一组数据
    # -r 表示显示内存使用情况，-S 表示显示 Swap 使用情况
    $ sar -r -S 1
    04:39:56    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
    04:39:57      6249676   6839824   1919632     23.50    740512     67316   1691736     10.22    815156    841868         4
    
    04:39:56    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
    04:39:57      8388604         0      0.00         0      0.00
    
    04:39:57    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
    04:39:58      6184472   6807064   1984836     24.30    772768     67380   1691736     10.22    847932    874224        20
    
    04:39:57    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
    04:39:58      8388604         0      0.00         0      0.00
    
    …
    
    
    04:44:06    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
    04:44:07       152780   6525716   8016528     98.13   6530440     51316   1691736     10.22    867124   6869332         0
    
    04:44:06    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
    04:44:07      8384508      4096      0.05        52      1.27

## iostat ##

查看每块盘的IO情况，查看每个进程的IO情况使用pidstat  
用法：

# -d -x 表示显示所有磁盘 I/O 的指标
    $ iostat -d -x 1 
    Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util 
    loop0            0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00 
    loop1            0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00 
    sda              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00 
    sdb              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIxMjQzMDQ_size_16_color_FFFFFF_t_70]

## iotop ##

根据IO大小对进程进行排序，类似top  
用法：

iotop
    Total DISK READ :       0.00 B/s | Total DISK WRITE :       7.85 K/s 
    Actual DISK READ:       0.00 B/s | Actual DISK WRITE:       0.00 B/s 
      TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND 
    15055 be/3 root        0.00 B/s    7.85 K/s  0.00 %  0.00 % systemd-journald

## slabtop ##

查看缓存大小。  
用法：

# 按下 c 按照缓存大小排序，按下 a 按照活跃对象数排序 
    $ slabtop 
    Active / Total Objects (% used)    : 277970 / 358914 (77.4%) 
    Active / Total Slabs (% used)      : 12414 / 12414 (100.0%) 
    Active / Total Caches (% used)     : 83 / 135 (61.5%) 
    Active / Total Size (% used)       : 57816.88K / 73307.70K (78.9%) 
    Minimum / Average / Maximum Object : 0.01K / 0.20K / 22.88K 
    
      OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME 
    69804  23094   0%    0.19K   3324       21     13296K dentry 
    16380  15854   0%    0.59K   1260       13     10080K inode_cache 
    58260  55397   0%    0.13K   1942       30      7768K kernfs_node_cache 
       485    413   0%    5.69K     97        5      3104K task_struct 
      1472   1397   0%    2.00K     92       16      2944K kmalloc-2048

## lsof ##

查看进程打开了哪些文件：

lsof -p 18940 
    COMMAND   PID USER   FD   TYPE DEVICE  SIZE/OFF    NODE NAME 
    python  18940 root  cwd    DIR   0,50      4096 1549389 / 
    python  18940 root  rtd    DIR   0,50      4096 1549389 / 
    … 
    python  18940 root    2u   CHR  136,0       0t0       3 /dev/pts/0 
    python  18940 root    3w   REG    8,1 117944320     303 /tmp/logtest.txt

其中，FD 表示文件描述符号，TYPE 表示文件类型，NAME 表示文件路径。

# 压力测试工具 #

## ad - HTTP性能压测工具 ##

ab（apache bench）是一个常用的 HTTP 服务性能测试工具。

安装方法：

# Ubuntu
    $ apt-get install -y apache2-utils
    # CentOS
    $ yum install -y httpd-tools

测试示例：

# -c 表示并发请求数为 1000，-n 表示总的请求数为 10000
    $ ab -c 1000 -n 10000 http://192.168.0.30/
    ...
    Server Software:        nginx/1.15.8
    Server Hostname:        192.168.0.30
    Server Port:            80
    
    ...
    
    Requests per second:    1078.54 [#/sec] (mean)
    Time per request:       927.183 [ms] (mean)
    Time per request:       0.927 [ms] (mean, across all concurrent requests)
    Transfer rate:          890.00 [Kbytes/sec] received
    
    Connection Times (ms)
                  min  mean[+/-sd] median   max
    Connect:        0   27 152.1      1    1038
    Processing:     9  207 843.0     22    9242
    Waiting:        8  207 843.0     22    9242
    Total:         15  233 857.7     23    9268
    
    Percentage of the requests served within a certain time (ms)
      50%     23
      66%     24
      75%     24
      80%     26
      90%    274
      95%   1195
      98%   2335
      99%   4663
     100%   9268 (longest request)
    ...
    
    
    # Time per second：每个请求的延迟，分为两行，第一行表示平均延迟，包括了线程运行调度时间和网络请求响应时间，第二行表示实际请求的响应大小
    # Transfer rate：表示吞吐量

## hping3 - 网络包处理能力压测工具 ##

hping3 是一个可以构造 TCP/IP 协议数据包的工具。  
用法：

# -S 参数表示设置 TCP 协议的 SYN（同步序列号），-p 表示目的端口为 80
    # -i u100 表示每隔 100 微秒发送一个网络帧
    # 注：如果你在实践过程中现象不明显，可以尝试把 100 调小，比如调成 10 甚至 1
    $ hping3 -S -p 80 -i u100 192.168.0.30

## fio - IO压测工具 ##

文件系统和磁盘IO基准测试工具。  
安装：

# Ubuntu
    apt-get install -y fio
    
    # CentOS
    yum install -y fio

用法：

# 随机读
    fio -name=randread -direct=1 -iodepth=64 -rw=randread -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
    
    # 随机写
    fio -name=randwrite -direct=1 -iodepth=64 -rw=randwrite -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
    
    # 顺序读
    fio -name=read -direct=1 -iodepth=64 -rw=read -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb
    
    # 顺序写
    fio -name=write -direct=1 -iodepth=64 -rw=write -ioengine=libaio -bs=4k -size=1G -numjobs=1 -runtime=1000 -group_reporting -filename=/dev/sdb

各参数的意义：

*  direct，表示是否跳过系统缓存。上面示例中，我设置的 1 ，就表示跳过系统缓存。
 *  iodepth，表示使用异步 I/O（asynchronous I/O，简称 AIO）时，同时发出的 I/O 请求上限。在上面的示例中，我设置的是 64。
 *  rw，表示 I/O 模式。我的示例中， read/write 分别表示顺序读 / 写，而 randread/randwrite 则分别表示随机读 / 写。
 *  ioengine，表示 I/O 引擎，它支持同步（sync）、异步（libaio）、内存映射（mmap）、网络（net）等各种 I/O 引擎。上面示例中，我设置的 libaio 表示使用异步 I/O。
 *  bs，表示 I/O 的大小。示例中，我设置成了 4K（这也是默认值）。
 *  filename，表示文件路径，当然，它可以是磁盘路径（测试磁盘性能），也可以是文件路径（测试文件系统性能）。示例中，我把它设置成了磁盘 /dev/sdb。不过注意，用磁盘路径测试写，会破坏这个磁盘中的文件系统，所以在使用前，你一定要事先做好数据备份。

报告示例：

read: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
    fio-3.1
    Starting 1 process
    Jobs: 1 (f=1): [R(1)][100.0%][r=16.7MiB/s,w=0KiB/s][r=4280,w=0 IOPS][eta 00m:00s]
    read: (groupid=0, jobs=1): err= 0: pid=17966: Sun Dec 30 08:31:48 2018
       read: IOPS=4257, BW=16.6MiB/s (17.4MB/s)(1024MiB/61568msec)
        slat (usec): min=2, max=2566, avg= 4.29, stdev=21.76
        clat (usec): min=228, max=407360, avg=15024.30, stdev=20524.39
         lat (usec): min=243, max=407363, avg=15029.12, stdev=20524.26
        clat percentiles (usec):
         |  1.00th=[   498],  5.00th=[  1020], 10.00th=[  1319], 20.00th=[  1713],
         | 30.00th=[  1991], 40.00th=[  2212], 50.00th=[  2540], 60.00th=[  2933],
         | 70.00th=[  5407], 80.00th=[ 44303], 90.00th=[ 45351], 95.00th=[ 45876],
         | 99.00th=[ 46924], 99.50th=[ 46924], 99.90th=[ 48497], 99.95th=[ 49021],
         | 99.99th=[404751]
       bw (  KiB/s): min= 8208, max=18832, per=99.85%, avg=17005.35, stdev=998.94, samples=123
       iops        : min= 2052, max= 4708, avg=4251.30, stdev=249.74, samples=123
      lat (usec)   : 250=0.01%, 500=1.03%, 750=1.69%, 1000=2.07%
      lat (msec)   : 2=25.64%, 4=37.58%, 10=2.08%, 20=0.02%, 50=29.86%
      lat (msec)   : 100=0.01%, 500=0.02%
      cpu          : usr=1.02%, sys=2.97%, ctx=33312, majf=0, minf=75
      IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
         submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
         complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
         issued rwt: total=262144,0,0, short=0,0,0, dropped=0,0,0
         latency   : target=0, window=0, percentile=100.00%, depth=64
    
    Run status group 0 (all jobs):
       READ: bw=16.6MiB/s (17.4MB/s), 16.6MiB/s-16.6MiB/s (17.4MB/s-17.4MB/s), io=1024MiB (1074MB), run=61568-61568msec
    
    Disk stats (read/write):
      sdb: ios=261897/0, merge=0/0, ticks=3912108/0, in_queue=3474336, util=90.09%

重点的几项：

slat ，是指从 I/O 提交到实际执行 I/O 的时长（Submission latency）；
    clat ，是指从 I/O 提交到 I/O 完成的时长（Completion latency）；
    lat ，指的是从 fio 创建 I/O 到 I/O 完成的总时长
    bw，吞吐量

精确模拟应用程序IO模式：

# 使用 blktrace 跟踪磁盘 I/O，注意指定应用程序正在操作的磁盘
    $ blktrace /dev/sdb
    
    # 查看 blktrace 记录的结果
    # ls
    sdb.blktrace.0  sdb.blktrace.1
    
    # 将结果转化为二进制文件
    $ blkparse sdb -d sdb.bin
    
    # 使用 fio 重放日志
    $ fio --name=replay --filename=/dev/sdb --direct=1 --read_iolog=sdb.bin

## pktgen - 网络性能压测工具 ##

用于测试网络性能（PPS，吞吐量），pktgen是作为一个内核线程来运行的，需要加载pktgen内核模块，再通过/proc文件系统来交互。  
启动pktgen：

$ modprobe pktgen
    $ ps -ef | grep pktgen | grep -v grep
    root     26384     2  0 06:17 ?        00:00:00 [kpktgend_0]
    root     26385     2  0 06:17 ?        00:00:00 [kpktgend_1]
    $ ls /proc/net/pktgen/
    kpktgend_0  kpktgend_1  pgctrl

测试示例：

# 定义一个工具函数，方便后面配置各种测试选项
    function pgset() {
        local result
        echo $1 > $PGDEV
    
        result=`cat $PGDEV | fgrep "Result: OK:"`
        if [ "$result" = "" ]; then
             cat $PGDEV | fgrep Result:
        fi
    }
    
    # 为 0 号线程绑定 eth0 网卡
    PGDEV=/proc/net/pktgen/kpktgend_0
    pgset "rem_device_all"   # 清空网卡绑定
    pgset "add_device eth0"  # 添加 eth0 网卡
    
    # 配置 eth0 网卡的测试选项
    PGDEV=/proc/net/pktgen/eth0
    pgset "count 1000000"    # 总发包数量
    pgset "delay 5000"       # 不同包之间的发送延迟 (单位纳秒)
    pgset "clone_skb 0"      # SKB 包复制
    pgset "pkt_size 64"      # 网络包大小
    pgset "dst 192.168.0.30" # 目的 IP
    pgset "dst_mac 11:11:11:11:11:11"  # 目的 MAC
    
    # 启动测试
    PGDEV=/proc/net/pktgen/pgctrl
    pgset "start"

测试报告示例：

$ cat /proc/net/pktgen/eth0
    Params: count 1000000  min_pkt_size: 64  max_pkt_size: 64
         frags: 0  delay: 0  clone_skb: 0  ifname: eth0
         flows: 0 flowlen: 0
    ...
    Current:
         pkts-sofar: 1000000  errors: 0
         started: 1534853256071us  stopped: 1534861576098us idle: 70673us
    ...
    Result: OK: 8320027(c8249354+d70673) usec, 1000000 (64byte,0frags)
      120191pps 61Mb/sec (61537792bps) errors: 0
    
    # Params是测试选项
    # Current是测试进度，pkts-sofar(packets so far)表示已经发生了100万个包
    # Result是测试结果，包含测试所用时间、网络包数量和分片、PPS、吞吐量以及错误数

## iperf - TCP/UDP吞吐量压测工具 ##

以客户端和服务器通信的方式，测试一段时间内的平均吞吐量。  
使用方法：

# Ubuntu
    apt-get install iperf3
    # CentOS
    yum install iperf3
    
    # 在服务器端启动 
    # -s 表示启动服务端，-i 表示汇报间隔，-p 表示监听端口
    $ iperf3 -s -i 1 -p 10000
    
    # 在客户端启动
    # -c 表示启动客户端，192.168.0.30 为目标服务器的 IP
    # -b 表示目标带宽 (单位是 bits/s)
    # -t 表示测试时间
    # -P 表示并发数，-p 表示目标服务器监听端口
    $ iperf3 -c 192.168.0.30 -b 1G -t 15 -P 2 -p 10000

测试报告实例：

[ ID] Interval           Transfer     Bandwidth
    ...
    [SUM]   0.00-15.04  sec  0.00 Bytes  0.00 bits/sec                  sender
    [SUM]   0.00-15.04  sec  1.51 GBytes   860 Mbits/sec                  receiver
    
    # SUM行表示测试的汇总结果，包括测试时间、数据传输量和带宽（吞吐量）

# 系统知识 #

## 内存 ##

*  Buffer是对磁盘数据的缓存，Cache是对文件数据的缓存
 *  在读写普通文件时，会经过文件系统，由文件系统负责与磁盘交互；而读写磁盘或者分区时，就会跳过文件系统，也就是所谓的“裸I/O“。这两种读写方式所使用的缓存是不同的，也就是的Cache 和 Buffer 区别
 *  降低 Swap 的使用，可以提高系统的整体性能
 *  绝大部分 Java 的应用都建议关 swap，这个和 JVM 的 gc 有关，它在 gc 的时候会遍历所有用到的堆的内存，如果这部分内存是被 swap 出去了，遍历的时候就会有磁盘IO，参考文章：[文章1][1] [文章2][2]

### 配置swap文件操作 ###

# 创建 Swap 文件
    $ fallocate -l 8G /mnt/swapfile
    # 修改权限只有根用户可以访问
    $ chmod 600 /mnt/swapfile
    # 配置 Swap 文件
    $ mkswap /mnt/swapfile
    # 开启 Swap
    $ swapon /mnt/swapfile
    
    # 关闭swap
    swapoff -a
    
    # 清理swap空间
    swapoff -a && swapon -a

### 查看内存回收偏好 ###

取值区间为0-100，数值越大，越积极使用 Swap，也就是更倾向于回收匿名页；数值越小，越消极使用 Swap，也就是更倾向于回收文件页。

cat /proc/sys/vm/swappiness
    60

### 查看使用Swap最多的进程 ###

# 按 VmSwap 使用量对进程排序，输出进程名称、进程 ID 以及 SWAP 用量
    $ for file in /proc/*/status ; do awk '/VmSwap|Name|^Pid/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 3 -n -r | head
    dockerd 2226 10728 kB
    docker-containe 2251 8516 kB
    snapd 936 4020 kB
    networkd-dispat 911 836 kB
    polkitd 1004 44 kB

## 磁盘 ##

### 文件系统 ###

#### 索引节点和目录项 ####

*  文件系统，本身是对存储设备上的文件进行组织管理的机制。组织方式不同，就会形成不同的文件系统
 *  Linux文件系统为每个文件分配两个数据结构，索引节点（index node）和目录项（directory entry)。
 *  索引节点：简称inode，用来记录文件的元数据，比如inode编号、文件大小、访问权限、修改日期、数据的位置等等。索引节点和文件一一对应，并且存储在磁盘中，占用磁盘空间。
 *  目录项：简称dentry，用来记录文件的名字、索引节点指针以及其他目录项的关联关系，多个关联的目录项，就构成了文件系统的目录结构。目录项是由内核维护的一个内存数据结构，所以通常也被叫做目录项缓存，通过磁盘中的数据构建(会根据需要动态构建)。目录项维护的是系统的树状结构。
 *  索引节点的容量(即inode的个数)，是在格式化磁盘时设定好的，一般由格式化工具自动生成。
 *  目录项和索引节点是多对一关系，为一个文件创建一个硬链接会创建一个目录项，但不会创建索引节点
 *  磁盘读写的最小单位是512B，为了提高效率，文件系统把连续的扇区组成逻辑块作为最小单元来管理，常见的逻辑块大小为4KB，也就是8个扇区。
 *  磁盘在文件系统执行格式化时，会被分成3个存储区：超级块、索引节点区和超级块区
 *  超级块：存储整个文件系统的状态
 *  索引节点区：存储索引节点
 *  数据块区：存储文件数据
 *  索引节点、目录项和磁盘的关系如下图：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIxMjQzMDQ_size_16_color_FFFFFF_t_70 1]

#### 虚拟文件系统 ####

*  目录项、索引节点、超级块和逻辑块构成了Linux文件系统的四大基本要素。
 *  文件系统类型包括：基于磁盘的文件系统(Ext4、XFS、OverlayFS 等)、基于内存的文件系统(/proc、/sys等)以及基于网络的文件系统(NFS、SMB、iSCSI等)
 *  为了支持不同类型的文件系统，Liunx内核在用户程序和文件系统之间，引入了一个抽象层，也就是虚拟文件系统VFS（Virtual File System）。
 *  所有的文件系统都要先挂载到VFS的某个子目录(挂载点)下，才能访问其中的文件。
 *  Linux文件系统架构图：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIxMjQzMDQ_size_16_color_FFFFFF_t_70 2]

#### 文件系统I/O ####

*  缓冲I/O与非缓冲I/O：利用标准库缓存来加速文件访问，而标准库内部再通过系统调用访问文件。如很多程序遇到换行时才真正输出，换行前的内容就是被标准库暂时缓存起来的；非缓冲IO则直接通过系统调用来访问文件。
 *  直接I/O与非直接IO：非直接IO在进行文件读写时，先要经过系统的页缓存，再由内核或额外的系统调用真正写入到磁盘中；直接IO则直接跟文件系统交互来访问文件。
 *  裸IO：跳过文件系统，直接写磁盘。
 *  阻塞/非阻塞和同步/异步IO的描述对象不同，阻塞/非阻塞针对的是IO调用者（即应用程序），同步/异步针对的是IO执行者（系统调用）
 *  对于机械磁盘和固态磁盘来说,连续IO都要比随机IO快很多，对于机械磁盘来说，随机IO需要更多的磁头寻道和盘片旋转，固态磁盘也需要先擦除再写入。另外，连续IO还可以通过预读的方式来减少IO次数。
 *  MySql的MyISAM引擎本身只缓存索引，并不缓存数据，需要依赖系统缓存来加速磁盘IO的访问，但系统缓存并不可靠。应用程序的性能优化并不应该完全建立在系统缓存上，最后能在应用程序的内部分配内存，构建完全自主控制的缓存，MySql的InnoDB引擎就同时缓存了索引和数据；也可以利用第三方缓存应用，比如Memcached，Redis等

### 磁盘IO ###

#### 磁盘类型 ####

*  机械磁盘的最小读写单位是扇区，一般大小是512B
 *  固态磁盘的最小读写单位是页，一般大小是4KB、8KB等
 *  不同接口的磁盘设备，一般会被分配不同的名称前缀，比如IDE接口的设备前缀是hd，SCSI和SATA接口的设备的前缀是sd。
 *  把多块磁盘组成一个逻辑磁盘可以构成冗余独立磁盘阵列（RAID）。RAID0具有最优的读写性能，但不提供数据冗余功能，而其它级别的RAID，在提供数据冗余的基础上，对读写性能也有一定优化。
 *  在Linux中，磁盘实际上是作为一个块设备来管理的，也就是以块为单位读写数据。

#### 通用块层 ####

*  通用块层是处在文件系统和磁盘驱动之间的一个块设备抽象层，是Linux磁盘IO的核心。
 *  通用块层向上文件系统和应用程序提供了块设备的标准接口，向下，把各种异构的块设备抽象为统一的块设备，并提供统一的框架来管理这些设备的驱动程序。通用块层还会给文件系统和应用程序发来的IO请求排队，并通过重新排序、请求合并等方式，提供磁盘读写的效率。
 *  对IO请求的排序过程，就是我们熟悉的IO调度算法。Linux内核支持4中IO调度算法，分别是：NONE(常用语虚拟机),NOOP,CFQ(许多发行版默认的调度算法),DeadLine。

#### 磁盘性能指标 ####

*  五个基本指标：
    
     *  使用率：磁盘处理IO的时间百分比。
     *  饱和度：磁盘处理IO的繁忙程度。
     *  IOPS：每秒的IO请求数。
     *  吞吐量：每秒的IO请求大小。
     *  响应时间：IO请求从发出到收到响应的时间。
 *  在数据库、大量小文件等这类随机读写比较多的场景中，IOPS更能反映系统的整体性能；而在多媒体等顺序读写较多的场景中，吞吐量才更能反映系统的整体性能。
 *  性能测试工具推荐fio。
 *  性能测试需要测试出不同IO大小（一般为512B~1M的若干中间值）分别在随机读、顺序读、随机写和顺序写等各种情况下的性能情况。

## 网络 ##

### 性能指标 ###

*  带宽：表示链路的最大传输率，单位是b/s
 *  吞吐量：表示单位时间内成功传输的数据量，单位通常为b/s或B/s。吞吐量/带宽=网络使用率
 *  延时：网络请求发出后，一直到收到远端响应，所需要的时间延迟
 *  PPS：Packet Per Second，表示以网络包为单位的传输速率，通常用来评估网络的转发能力，比如硬件交换机，通常可以接近理论最大值，而Linux服务器的转发，则容易受网络包大小的影响。千兆交换机的PPS可以达到150万PPS
 *  网络可用性、并发连接数（TCP连接数量）、丢包率、重传率也是常用的性能指标

### 网络配置 ###

#### 网络接口状态 ####

*  ifconfig或ip命令可以用来查看接口状态
 *  ifconfig的RUNNING或ip的LOWER\_UP表示物理网络是连通的，即网卡已经连接到了交换机或路由器中，否则通常表示网线被拔掉了
 *  TX和RX的各个指标
    
     *  errors：表示发生错误的数据包数，比如校验错误、帧同步错误等
     *  dropped：表示丢弃的数据包数，即数据包已经收到了Ring Buffer，但因为内存不足等原因丢包
     *  overruns：表示超限数据包数，即网络IO速度过快，导致Ring Buffer中的数据包来不及处理（队列满）而导致丢包
     *  carrier表示发生carrier错误的数据包数，比如双工模式不匹配、物理电缆出现问题等
     *  collisions表示碰撞数据包数

#### 性能优化 ####

*  DPDK：用户态网络标准，它跳过内核协议栈，直接由用户态进程通过轮询的方式来处理网络接收，如果在网络包很多的情况下(如C10M问题)，由于每时每刻都有网络包需要处理，即使是轮询效率也很快。DPDK是目前最主流的高性能网络方案，需要支持DPDK的网卡配合使用
 *  XDP：允许网络包在进入内核协议栈之前，就进行处理，也可以带来更高的性能。基于XDP的应用程序通常是专用的网络应用，可用于IDS(入侵检测系统)、DDoS防御等

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIxMjQzMDQ_size_16_color_FFFFFF_t_70]: /images/20220223/5fe6a6042ede4426a975366fe2651f3e.png
[1]: https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration-memory.html
[2]: https://dzone.com/articles/just-say-no-swapping
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIxMjQzMDQ_size_16_color_FFFFFF_t_70 1]: /images/20220223/7aaa0b55bc6d470981b5a3fa7b691bd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTIxMjQzMDQ_size_16_color_FFFFFF_t_70 2]: /images/20220223/b0cdd974136b42d588f6fc672a7f24ff.png