说说 Python 的 lru_cache 装饰器

刺骨的言语ヽ痛彻心扉 2022-11-09 00:59 126阅读 0赞

Python 的 lru\_cache 装饰器是一个为自定义函数提供缓存功能的装饰器。其内部会在下次以相同参数调用该自定义函数时直接返回计算好的结果。通过缓存计算结果可以很好地提升性能。

## 1 从示例说起 ##

假设我们有一个计算斐波那契数列的求和函数，其内部采用递归方式实现。

from xxx.clock_decorator import clock
    
    @clock
    def fibonacci(n):
        if n<2:
            return n
        return fibonacci(n-2)+fibonacci(n-1)
    
    if __name__=='__main__':
        logging.info('fibonacci(6) -> %s',fibonacci(6))

运行结果：  
![b1f7c738261be7a484cadfbbff6a6d9b.png][]

其中的 clock\_decorator 实现是一个可以输出某个函数运行时长的装饰器1。

从输出结果中可以看出，存在着严重的重复计算情况，比如 fibonacci(1) 就被计算了 5 次之多。这还只是计算 6 次的 fibonacci 函数。

## 2 优化 ##

上面的示例代码加入 lru\_cache 装饰器：  
![c4ccddf75b32a8d3ea902b0677cc42f9.png][]

运行结果：  
![ef9bef8d3a91d3a3ad50059d08974d82.png][]

这次不存在重复计算现象，因此性能得到极大的提升。

## 3 比较 ##

利用 cProfile 进行性能比较分析。它是一种确定性分析器，只测量 CPU 时间，并不包含内存消耗和其他与内存相关联的信息2。

假设我们需要计算 fibonacci(33) 求和值。

**（1）不使用 lru\_cache 装饰器**

![e64f3e16fbbe34ef34cc693b88e54cce.png][]

这个递归函数内部总共调用了 1000 多万次的 fibonacci() 函数！

**（2）使用了 lru\_cache 装饰器**

![1c95ef4857f20a0b8dad385b20f1b873.png][]

使用了 lru\_cache 装饰器之后，这个递归函数只需调用 100 多次fibonacci() 函数！性能有了质的提升。

## 4 lru\_cache 装饰器 ##

lru\_cache 装饰器支持两个入参，它的完整定义格式为3：  
`@functools.lru_cache(maxsize=128, typed=False)`

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认值</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>maxsize</td> 
   <td>128</td> 
   <td>表示缓存大小。如果设置为 None，则不限大小；如果超过缓存大小，则使用 LRU 策略清理缓存。缓存的大小限制可确保缓存不会无限制增长。LRU（Least Recently Used），即删除最近最少使用的缓存数据。</td> 
  </tr> 
  <tr> 
   <td>typed</td> 
   <td>False</td> 
   <td>如果为true，不同类型的参数将会被分别缓存，比如区分浮点数与整型。</td> 
  </tr> 
 </tbody> 
</table>

注意：由于使用了字典来存储缓存，所以所装饰的函数参数必须是可哈希的。

利用 cache\_info() 函数，我们还可以看到命中次数 hits，未命中次数 misses ，最大缓存数量 maxsize 和 当前缓存大小 currsize。使用方式是直接调用被装饰函数的 cache\_info()，形如：`fibonacci.cache_info())`。

![1f4f92803cff145eaf5fb59e7bd5a077.png][]

--------------------

只要某个函数递归调用并存在重复计算的情况，这时就要记着使用 lru\_cache 这个性能加速器。

--------------------

1.  [说说在 Python 中如何实现输出指定函数运行时长的装饰器][Python].
2.  [说说如何使用 Python 的 cProfile 模块分析代码性能][Python _ cProfile].
3.  [Python docs lru\_cache][Python docs lru_cache].
4.  Luciano Ramalho (作者)，安道，吴珂 (译者)．流畅的Python\[M\]．人民邮电出版社，2017:323-326.

[b1f7c738261be7a484cadfbbff6a6d9b.png]: /images/20221023/df62683fc1764b4f87534e677e046aae.png
[c4ccddf75b32a8d3ea902b0677cc42f9.png]: /images/20221023/3d193bed07694c848f9006e0f4fdf25c.png
[ef9bef8d3a91d3a3ad50059d08974d82.png]: /images/20221023/8232b961ed684224825e927b296cd2fa.png
[e64f3e16fbbe34ef34cc693b88e54cce.png]: /images/20221023/e26e34540f324e75a531b75288811dae.png
[1c95ef4857f20a0b8dad385b20f1b873.png]: /images/20221023/ac053f70a17b45fe8914a12c90681ff0.png
[1f4f92803cff145eaf5fb59e7bd5a077.png]: /images/20221023/ea64333fa21041f38b460e525af9f772.png
[Python]: https://blog.csdn.net/deniro_li/article/details/114182202?spm=1001.2014.3001.5501
[Python _ cProfile]: https://blog.csdn.net/deniro_li/article/details/105465333?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161568888416780269830170%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=161568888416780269830170&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_v1~rank_blog_v1-6-105465333.pc_v1_rank_blog_v1&utm_term=%E6%80%A7%E8%83%BD
[Python docs lru_cache]: https://docs.python.org/zh-cn/3/library/functools.html?highlight=lru_cache#functools.lru_cache