systemtap系列之内核系统诊断使用方法

素颜马尾好姑娘i 2022-04-03 13:56 228阅读 0赞

systemtap系列之系统诊断

> SystemTap 是监控和跟踪运行中的 Linux 内核的操作的动态方法。SystemTap 没有使用工具构建一个特殊的内核，而是允许您在运行时动态地安装该工具。它通过一个名为Kprobes 的应用编程接口（API）来实现该目的

SystemTap 与一种名为 DTrace 的老技术相似，该技术源于 Sun Solaris 操作系统。

测试内核看它是否支持 SystemTap:

stap -ve ‘probe begin \{ log(“hello world”) exit() \}’

如果不支持就安装一下，yum install systemtap就好了，缺什么就安装什么，光盘自带了。如果出现如下错误：semantic error: missing x86\_64 kernel/module debuginfo \[man warning::debuginfo\]：答：yum install kernel-debuginfo 安装内核debug信息。

SystemTap 用于检查运行内核的两种方法是 Kprobes 和 返回探针。但是理解任何内核的最关键要素是内核的映射，它提供符号信息（比如函数、变量以及它们的地址）。有了内核映射之后，就可以解决任何符号的地址，以及更改探针的行为。

1.SystemTap 的基本流程

SystemTap 的基本流程，涉及到 3 个交互实用程序和 5 个阶段。流程首先从 SystemTap 脚本开始。您使用 stap 实用程序将 stap 脚本转换成提供探针行为的内核模块。stap 流程从将脚本转换成解析树开始 (pass 1)。然后使用细化（[elaboration][]）步骤 (pass 2) 中关于当前运行的内核的符号信息解析符号。接下来，转换流程将解析树转换成 C 源代码 (pass 3) 并使用解析后的信息和 tapset 脚本（SystemTap 定义的库，包含有用的功能）。stap 的最后步骤是构造使用本地内核模块构建进程的内核模块 (pass 4)。  
有了可用的内核模块之后，stap 完成了自己的任务，并将控制权交给其他两个实用程序 SystemTap：staprun 和 stapio。这两个实用程序协调工作，负责将模块安装到内核中并将输出发送到 stdout (pass 5)。如果在 shell 中按组合键 Ctrl-C 或脚本退出，将执行清除进程，这将导致卸载模块并退出所有相关的实用程序。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzNTk4MDM3_size_16_color_FFFFFF_t_70]  
从内核态/用户态来了解如下：  
![2.png][]

systemtap工作原理  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzNTk4MDM3_size_16_color_FFFFFF_t_70 1]  
SystemTap 脚本编写

SystemTap 脚本由探针和在触发探针时需要执行的代码块组成。  
使用-L可以测试某条语句是否是正确的：  
stap -L ‘process("/usr/local/mysql/libexec/mysqld").function(“apply\_event”)’

关于探针

基本参考如下：

> 探针类型 说明 begin 在脚本开始时触发 end 在脚本结束时触发 kernel.function(“sys\_sync”) 调用  
> sys\_sync 时触发 kernel.function(“sys\_sync”).call 同上  
> kernel.function(“sys\_sync”).return 返回 sys\_sync 时触发 kernel.syscall.\*  
> 进行[任何系统][elaboration]调用时触发 kernel.function("\*@kernel/fork.c:934") 到达 fork.c 的第 934  
> 行时触发 module(“ext3”).function(“ext3\_file\_write”) 调用 ext3 write 函数时触发  
> timer.jiffies(1000) 每隔 1000 个内核 jiffy 触发一次 [timer.ms][](200).randomize(50)  
> 每隔 200 毫秒触发一次，带有线性分布的随机附加时间（-50 到 +50）

变量和类型

SystemTap 允许定义多种类型的变量，类型可以从上下文推断得出的，因此不需要使用类型声明。在 SystemTap 中，您可以找到数字（64 位签名的整数）、整数（64 位）、字符串和字面量（字符串或整数）。还可以使用关联数组和统计数据。  
表达式  
SystemTap 提供 C 语言中常用的所有必要操作符，并且用法也是一样的。还可以找到算术操作符、二进制操作符、赋值操作符和指针废弃。还看到从 C 语言带来的简化，其中包括字符串连接、关联数组元素和合并操作符。  
语言元素  
在探针内部，[SystemTap][elaboration] 提供一组类似于 C 一样易于使用的语句。需要注意的是，尽管该语言允许您开发复杂的脚本，但每个探针只能执行 1000 条语句（这个数量是可配置的）。许多元素和 C 中的一样，尽管有一些附加的东西是特定于 SystemTap 的。  
语句 说明  
if (exp) \{\} else \{\} 标准的 if-then-else 语句  
for (exp1 ; exp2 ; exp3 ) \{\} 一个 for 循环  
while (exp) \{\} 标准的 while 循环  
do \{\} while (exp) 一个 do-while 循环  
break 退出迭代  
continue 继续迭代  
next 从探针返回  
return 从函数返回一个表达式  
foreach (VAR in ARRAY) \{\} 迭代一个数组，将当前的键分配给 VAR  
SystemTap 提供许多内部函数，这些函数提供关于当前上下文的额外信息。可以使用 caller() 识别当前的调用函数，使用 cpu() 识别当前的处理器号码，以及使用 pid() 返回 PID。

统计系统调用 sys\_sync

调用内核系统调用 sys\_sync 时触发。当该探针触发时，计算调用的次数，并发送这个计数以及表示调用进程 ID（PID）的信息。首先，声明一个任何探针都可以使用的全局值（全局名称空间对所有探针都是通用的），然后将它初始化为 0。其次，定义探针，它是一个探测内核函数 sys\_sync 的条目。与探针相关联的脚本将递增 count 变量，然后发出一条消息，该消息定义调用的次数和当前调用的 PID。

global count=0
    probe kernel.function("sys_sync") {
    count++
    printf( "sys_sync called %d times, currently by pid %d\n", count, pid() );
    }

执行stap syscall.stp

stap命令与staprun命令

命令的区别在于：  
stap命令的操作对象是stp文件或script命令等，而staprun命令的操作对象是编译生成的内核模块。

监控所有系统调用

脚本如下：

global syscalllist
    probe begin {
    printf("System Call Monitoring Started (10 seconds)...\n")
    }
    
    probe syscall.* {
    syscalllist[pid(), execname()]++
    }
    
    probe timer.ms(10000) {
    foreach ( [pid, procname] in syscalllist ) {
    printf("%s[%d] = %d\n", procname, pid, syscalllist[pid, procname] )
    }
    exit()
    }

统计10秒内系统调用

脚本如，代码中定义了一个10秒的定时器：

global syscalllist
    probe begin {
    printf("System Call Monitoring Started (10 seconds).../n")
    }
    probe syscall.*
    {
    syscalllist[pid(), execname()]++
    }
    probe timer.ms(10000) {
    foreach ( [pid, procname] in syscalllist ) {
    printf("%s[%d] = %d/n", procname, pid, syscalllist[pid, procname] )
    }
    exit()
    }

收集网络包长度

参考如下脚本：

global recv, xmit
    
    probe begin {
    printf("Starting network capture (Ctl-C to end)\n")
    }
    
    probe netdev.receive {
    recv[dev_name, pid(), execname()] <<< length
    }
    
    probe netdev.transmit {
    xmit[dev_name, pid(), execname()] <<< length
    }
    
    probe end {
    printf("\nEnd Capture\n\n")
    
    printf("Iface Process........ PID.. RcvPktCnt XmtPktCnt\n")
    
    foreach ([dev, pid, name] in recv) {
    recvcount = @count(recv[dev, pid, name])
    xmitcount = @count(xmit[dev, pid, name])
    printf( "%5s %-15s %-5d %9d %9d\n", dev, name, pid, recvcount, xmitcount )
    }
    
    delete recv
    delete xmit
    }

按 Ctrl-C 时退出脚本，然后发送捕获的数据。

柱状显示数据  
以柱状图的形式显示数据，将数据捕获到一个名为 [histogram][elaboration] 的聚合中。然后，使用 netdev 接收和发送探针以捕捉包长度数据。当探针结束时，使用 @hist\_log 提取器以柱状图的形式呈现数据。@hist\_log 提取器是一个以 2 为底数的对数柱状图.  
代码如下：

global histogram
    
    probe begin {
    printf("Capturing...\n")
    }
    
    probe netdev.receive {
    histogram <<< length
    }
    
    probe netdev.transmit {
    histogram <<< length
    }
    
    probe end {
    printf( "\n" )
    print( @hist_log(histogram) )
    }

systemtap其他作用  
定位函数位置  
stap -l ‘process("/lib/x86\_64-redhat-linux6E/lib64/libc.so").function(“printf”)’

查找内核代码中的函数  
如果内核函数sys\_open被新定义，可以通过如下命令进行查找。  
\#stap -L ‘kernel.function(“sys\_open”)’  
kernel.function(“SyS\_open@fs/open.c:1036”) $filename:long int $flags:long int $mode:long int

参考  
linuxperformance-tools  
[http://www.brendangregg.com/linuxperf.html][http_www.brendangregg.com_linuxperf.html]  
Linux 自检和 SystemTap  
[https://www.ibm.com/developerworks/cn/linux/l-systemtap/][https_www.ibm.com_developerworks_cn_linux_l-systemtap]  
Linux 下的一个全新的性能测量和调式诊断工具 Systemtap, 第 3 部分: Systemtap  
[https://www.ibm.com/developerworks/cn/linux/l-cn-systemtap3/][https_www.ibm.com_developerworks_cn_linux_l-cn-systemtap3]  
systamtap编程参考  
[https://sourceware.org/systemtap/langref/][https_sourceware.org_systemtap_langref]  
systemtap有用的IO监控脚本  
[https://segmentfault.com/a/1190000000680628][https_segmentfault.com_a_1190000000680628]  
调试内核模块  
[http://blog.chinaunix.net/uid-14528823-id-4726046.html][http_blog.chinaunix.net_uid-14528823-id-4726046.html]  
注

[elaboration]: http://blog.sina.com.cn/s/blog_7c2ea9010102xcnu.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzNTk4MDM3_size_16_color_FFFFFF_t_70]: /images/20220403/67465378ef9341eeb8449e2228b1f854.png
[2.png]: /images/20220403/a1ad96f7f8384b479c9a6a4e380c6e7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIzNTk4MDM3_size_16_color_FFFFFF_t_70 1]: /images/20220403/2335a204d5f54453a5627e7daabb1a66.png
[timer.ms]: http://timer.ms
[http_www.brendangregg.com_linuxperf.html]: http://www.brendangregg.com/linuxperf.html
[https_www.ibm.com_developerworks_cn_linux_l-systemtap]: https://www.ibm.com/developerworks/cn/linux/l-systemtap/
[https_www.ibm.com_developerworks_cn_linux_l-cn-systemtap3]: https://www.ibm.com/developerworks/cn/linux/l-cn-systemtap3/
[https_sourceware.org_systemtap_langref]: https://sourceware.org/systemtap/langref/
[https_segmentfault.com_a_1190000000680628]: https://segmentfault.com/a/1190000000680628
[http_blog.chinaunix.net_uid-14528823-id-4726046.html]: http://blog.chinaunix.net/uid-14528823-id-4726046.html