内核调试 SystemTap

快来打我* 2022-03-27 14:54 265阅读 0赞

相关技术:utrace, probe, ftrace, dtrace, pstrace

*  centos安装systemtap
 *  使用实例
 *  参考

--------------------

原文连接

[参考连接][Link 1]

重点是需要内核的匹配

### 1.首先先查看你的内核版本 ###

uname -a

2.6.18-194.el5

如果你的内核版本比较老的话，你需要去查找你需要的kernel-devel 的版本.

如果你想用yum去安装，你可以用 yum install kernel-devel

**注意：在最新的yum里面安装的总是最新的kernel-devel的版本,kernel-devel 需要匹配内核版本**

比如： CentOS release 5.5 (Final)用的是内核版本 2.6.18-194.el5

先下载 和内核版本一样的对应的

然后安装

rpm-ivh kernel-devel-2.6.18-194.el5-i686.rpm

安装好kernel-devel会有内核的目录在

/usr/src/kernels/2.6.18-194.el5-i686/

2.安装systemtap

yum install systemtap (stap -V 1.3/0.137 请安装elfutils-devel 才能提示你需要安装哪个版本的debuginfo)

3. 安装debuginfo 去

[http://debuginfo.centos.org][http_debuginfo.centos.org]

寻找和你**内核完全匹配**

**（例如本机uname －r 2.6.18-194.el5 只能选**

**[kernel-debuginfo-2.6.18-194.el5.i686.rpm][]**

[kernel-debuginfo-common-2.6.18-194.el5.i686.rpm][]

**）**

kernel-debuginfo-common-xxxxx

kernel-debuginfo-xxxx

如果你找不到对应的内核版本的rpm,你可以去google 去寻找,可以使用redhat的debuginfo rpm 包

redhat内核参考下载

[http://rpm.pbone.net/index.php3/stat/4/idpl/13968571/dir/redhat\_el\_5/com/kernel-debuginfo-common-2.6.18-128.el5.x86\_64.rpm.html][http_rpm.pbone.net_index.php3_stat_4_idpl_13968571_dir_redhat_el_5_com_kernel-debuginfo-common-2.6.18-128.el5.x86_64.rpm.html]

[ftp://ftp.pbone.net/mirror/ftp.redhat.com/pub/redhat/linux/enterprise/5Server/en/os/x86\_64/Debuginfo/kernel-debuginfo-2.6.18-128.el5.x86\_64.rpm][ftp_ftp.pbone.net_mirror_ftp.redhat.com_pub_redhat_linux_enterprise_5Server_en_os_x86_64_Debuginfo_kernel-debuginfo-2.6.18-128.el5.x86_64.rpm]

安装rpm -ivh kernel-debuginfo\*.rpm

如何测试：

stap -ve 'probe begin \{ log("hello world") exit() \}'

备注

官方推荐的安装命令  
2 yum install systemtap kernel-devel yum-utils  
debuginfo-install kernel 由于我的Centos yum repository上没有kernel-debuginfo包，于是得手工添加有这个包的repository。当然也可以把这个包及依赖包rpm文件下载到本地安装。  
在`/etc/yum.repos.d新建一个文件，我把他命令为debuginfo 然后在debuginfo中加入`1  
2  
3  
4  
5  
6 \[debuginfo\]  
name=CentOS-$releasever - debuginfo  
baseurl=http://debuginfo.centos.org/5/  
gpgcheck=0  
enabled=1  
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-5 然后在执行官方推荐的安装命令的命令就可以了。整个过程要下载300多M文件，因此需要很长的时间。

官方wiki：

[http://sourceware.org/systemtap/wiki/SystemTapOnCentOS][http_sourceware.org_systemtap_wiki_SystemTapOnCentOS]

--------------------

[systemtap如何跟踪libc.so][systemtap_libc.so]

下午和周忱同学折腾复杂程序的内存泄漏问题，用了valgrind, gogle perftools等工具都不大好用，很容易把应用程序搞死，于是打算用systemtap来在libc.so层面了解内存的使用情况。主要思路就是看 malloc/realloc和free的调用次数的平衡。

首先准备下环境，系统是标准的RHEL 5u4：

$ uname -r
    2.6.18-164.el5
    
    $ stap -V
    SystemTap translator/driver (version 1.3/0.137 non-git sources)
    Copyright (C) 2005-2010 Red Hat, Inc. and others
    This is free software; see the source for copying conditions.
    enabled features: LIBRPM LIBSQLITE3 NSS BOOST_SHARED_PTR TR1_UNORDERED_MAP
    $stap -L  'kernel.function("printk")'
    kernel.function("printk@kernel/printk.c:533") $fmt:char const* $args:va_list
    
    $ stap -L  'process("/lib64/libc.so.6").function("malloc")'
    Missing separate debuginfos, use: debuginfo-install glibc-2.5-42.x86_64

内核的符号是OK的，glibc没有安装符号。系统提示用 debuginfo-install glibc-2.5-42.x86\_64 命令安装符号信息，但是RHEL 5不交钱不能用这个服务的，只能自己下载包安装。

$ wget -c ftp.redhat.com/pub/redhat/linux/enterprise/5Server/en/os/x86_64/Debuginfo/glibc-debuginfo-2.5-42.x86_64.rpm
    $ sudo rpm -i  glibc-debuginfo-2.5-42.x86_64.rpm
    $ stap -L  'process("/lib64/libc.so.6").function("malloc")'
    process("/lib64/libc-2.5.so").function("__libc_malloc@/usr/src/debug/glibc-2.5-20061008T1257/malloc/malloc.c:3560") $bytes:size_t

这次有了glibc的符号了，可以方便的跟踪libc.so中malloc的使用情况。  
接着我们来简单的写个c程序调用malloc, 同时写个stap脚本来跟踪malloc的调用堆栈：

$ cat t.c
    #include <stdlib.h>
    
    void fun() {
      malloc(1000);
    }
    
    int main(int argc, char *argv[]) {
      fun();
      return 0;
    }
    
    $cat m.stp 
    probe process("/lib64/libc.so.6").function("malloc") {
    if (target()== pid()) {
    print_ubacktrace();
    exit();
    }
    }
    probe begin {
    println("~");
    }
    
    $ gcc  -g t.c
    
    $ stap -L 'process("./a.out").function("*")'
    process("/home/chuba/a.out").function("fun@/home/chuba/t.c:3")
    process("/home/chuba/a.out").function("main@/home/chuba/t.c:7") $argc:int $argv:char**

现在程序准备好了，那么我们来执行下看内存泄漏在那里：

$sudo stap m.stp -c ./a.out  
    ~
     0x33d5e74b96 : malloc+0x16/0x230 [libc-2.5.so]
     0x4004a6 [a.out+0x4a6/0x1000]

我们看到在a.out的0x4004a6的地方地方调用了malloc, 但是具体在程序里面是哪行呢？ 用add2line就很容易找出来：

$ addr2line -e ./a.out 0x4004a6      
    /home/chuba/t.c:5
    $ nl t.c
         1  #include <stdlib.h>
           
         2  void fun() {
         3    malloc(1000);
         4  }
           
         5  int main(int argc, char *argv[]) {
         6    fun();
         7    return 0;
         8  }

--------------------

参考连接

[erlang 非业余研究][erlang]

[ibm Linux 自检和 SystemTap][ibm Linux _ SystemTap]

[Linux 下的一个全新的性能测量和调式诊断工具 Systemtap][Linux _ Systemtap] 系列

systemtap[ manual][manual]

[redhat systemtap introduce][](pdf) [ 文库链接][Link 2]

[ftp://ftp.redhat.com/pub/redhat/linux/enterprise/5Server/en/os/i386/Debuginfo][ftp_ftp.redhat.com_pub_redhat_linux_enterprise_5Server_en_os_i386_Debuginfo]

[Link 1]: http://hi.baidu.com/donglix/item/13052275911e7a5f0c0a07f8
[http_debuginfo.centos.org]: http://debuginfo.centos.org/
[kernel-debuginfo-2.6.18-194.el5.i686.rpm]: http://debuginfo.centos.org/5/i386/kernel-debuginfo-2.6.18-194.el5.i686.rpm
[kernel-debuginfo-common-2.6.18-194.el5.i686.rpm]: http://debuginfo.centos.org/5/i386/kernel-debuginfo-common-2.6.18-194.el5.i686.rpm
[http_rpm.pbone.net_index.php3_stat_4_idpl_13968571_dir_redhat_el_5_com_kernel-debuginfo-common-2.6.18-128.el5.x86_64.rpm.html]: http://rpm.pbone.net/index.php3/stat/4/idpl/13968571/dir/redhat_el_5/com/kernel-debuginfo-common-2.6.18-128.el5.x86_64.rpm.html
[ftp_ftp.pbone.net_mirror_ftp.redhat.com_pub_redhat_linux_enterprise_5Server_en_os_x86_64_Debuginfo_kernel-debuginfo-2.6.18-128.el5.x86_64.rpm]: ftp://ftp.pbone.net/mirror/ftp.redhat.com/pub/redhat/linux/enterprise/5Server/en/os/x86_64/Debuginfo/kernel-debuginfo-2.6.18-128.el5.x86_64.rpm
[http_sourceware.org_systemtap_wiki_SystemTapOnCentOS]: http://sourceware.org/systemtap/wiki/SystemTapOnCentOS
[systemtap_libc.so]: http://blog.yufeng.info/archives/2033
[erlang]: http://blog.yufeng.info/archives/tag/systemtap
[ibm Linux _ SystemTap]: http://www.ibm.com/developerworks/cn/linux/l-systemtap/
[Linux _ Systemtap]: http://www.ibm.com/developerworks/cn/linux/l-cn-systemtap1/index.html
[manual]: http://sourceware.org/systemtap/documentation.html
[redhat systemtap introduce]: http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/pdf/SystemTap_Beginners_Guide/Red_Hat_Enterprise_Linux-5-SystemTap_Beginners_Guide-en-US.pdf
[Link 2]: http://wenku.baidu.com/view/1c9111e49b89680203d8250e.html
[ftp_ftp.redhat.com_pub_redhat_linux_enterprise_5Server_en_os_i386_Debuginfo]: ftp://ftp.redhat.com/pub/redhat/linux/enterprise/5Server/en/os/i386/Debuginfo