说说如何使用 Python 的 cProfile 模块分析代码性能

亦凉 2023-07-24 13:24 12阅读 0赞

cProfile 模块是自 python 2.5 以来标准版 Python 解释器的默认性能分析器。它是一种确定性分析器，只测量 CPU 时间，并不包含内存消耗和其他与内存相关联的信息。

代码分析模板如下：

import cProfile, pstats, io
    from pstats import SortKey
    pr = cProfile.Profile()
    pr.enable()
    # ... do something ...
    pr.disable()
    s = io.StringIO()
    sortby = SortKey.CUMULATIVE
    ps = pstats.Stats(pr, stream=s).sort_stats(sortby)
    ps.print_stats()
    print(s.getvalue())

我们在 do something 所在行内，编写需要性能测试的代码。

输出结果形如：

![format_png][]

具体步骤如下：

1.  首先导入相关模块。
2.  初建 Profile 对象。
3.  初建 IO 对象，用于存储分析结果。
4.  设定分析结果排序字段。
5.  开始分析。
6.  打印分析结果。

统计结果字段说明如下：

<table> 
 <thead> 
  <tr> 
   <th align="center">字段</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">ncalls</td> 
   <td align="left">调用次数。</td> 
  </tr> 
  <tr> 
   <td align="center">tottime</td> 
   <td align="left">在指定函数中消耗的总时间（不包括调用子函数的时间）。</td> 
  </tr> 
  <tr> 
   <td align="center">percall</td> 
   <td align="left">tottime 除以 ncalls 的商，即平均时间。</td> 
  </tr> 
  <tr> 
   <td align="center">filename:lineno(function)</td> 
   <td align="left">详情说明，即调用函数所在文件名：行号（函数名）。</td> 
  </tr> 
 </tbody> 
</table>

用到了 cProfile 对象中的这些方法：

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>enable()</td> 
   <td align="left">开始收集分析数据。</td> 
  </tr> 
  <tr> 
   <td>disable()</td> 
   <td align="left">停止收集分析数据。</td> 
  </tr> 
  <tr> 
   <td>print_stats(sort=-1)</td> 
   <td align="left">打印分析结果到输出流，默认为随机排序序列。</td> 
  </tr> 
 </tbody> 
</table>

如果第一列中有两个数字（例如3/1），则表示函数递归。第二个值是原始调用次数，第一个是调用的总次数。**注意**，当函数不递归时，这两个值是相同的，并且只打印单个数字。

pstats.Stats 是个类，定义为：

pstats.Stats(*filenames or profile, stream=sys.stdout)

用于创建统计对象，接受两个入参，代码示例中为 profile 和输出流。

pstats.Stats 有一个 sort\_stats(\*keys) 方法，用于排序统计结果，支持以下排序参数：

<table> 
 <thead> 
  <tr> 
   <th>排序参数</th> 
   <th>有效枚举参数</th> 
   <th>含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>‘calls’</td> 
   <td>SortKey.CALLS</td> 
   <td>调用次数</td> 
  </tr> 
  <tr> 
   <td>‘cumulative’</td> 
   <td>SortKey.CUMULATIVE</td> 
   <td>累积时间</td> 
  </tr> 
  <tr> 
   <td>‘cumtime’</td> 
   <td>N/A</td> 
   <td>累积时间</td> 
  </tr> 
  <tr> 
   <td>‘file’</td> 
   <td>N/A</td> 
   <td>文件名</td> 
  </tr> 
  <tr> 
   <td>‘filename’</td> 
   <td>SortKey.FILENAME</td> 
   <td>文件名</td> 
  </tr> 
  <tr> 
   <td>‘module’</td> 
   <td>N/A</td> 
   <td>文件名</td> 
  </tr> 
  <tr> 
   <td>‘ncalls’</td> 
   <td>N/A</td> 
   <td>调用次数</td> 
  </tr> 
  <tr> 
   <td>‘pcalls’</td> 
   <td>SortKey.PCALLS</td> 
   <td>原始调用计数</td> 
  </tr> 
  <tr> 
   <td>‘line’</td> 
   <td>SortKey.LINE</td> 
   <td>行号</td> 
  </tr> 
  <tr> 
   <td>‘name’</td> 
   <td>SortKey.NAME</td> 
   <td>函数名称</td> 
  </tr> 
  <tr> 
   <td>‘nfl’</td> 
   <td>SortKey.NFL</td> 
   <td>名称/文件/行</td> 
  </tr> 
  <tr> 
   <td>‘stdname’</td> 
   <td>SortKey.STDNAME</td> 
   <td>标准名称</td> 
  </tr> 
  <tr> 
   <td>‘time’</td> 
   <td>SortKey.TIME</td> 
   <td>内部时间</td> 
  </tr> 
  <tr> 
   <td>‘tottime’</td> 
   <td>N/A</td> 
   <td>内部时间</td> 
  </tr> 
 </tbody> 
</table>

[format_png]: /images/20230528/b34155ed848b45918024abbce08ae7c3.png