Python——Python缓存技术

朱雀 2023-06-02 07:50 26阅读 0赞

## 一段非常简单代码 ##

普通调用方式

def console1(a, b):
        print("进入函数")
        return (a, b)
    
    print(console1(3, 'a'))
    print(console1(2, 'b'))
    print(console1(3.0, 'a'))

很简单的一段代码，传入两个参数。然后打印输出。  
**输出结果**

进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    进入函数
    (3.0, 'a')

## 使用某个装饰器后 ##

接下来我们引入functools模块的lru\_cache，python3自带模块。

from functools import lru_cache
    @lru_cache()
    def console2(a, b):
        print("进入函数")
        return (a, b)
    print(console2(3, 'a'))
    print(console2(2, 'b'))
    print(console2(3.0, 'a'))

进入函数
    (3, 'a')
    进入函数
    (2, 'b')
    (3, 'a')

我们发现，少了一次进入函数的打印，这是怎么回事呢？  
这就是接下来要说的LRU缓存技术了。

## 我们理解下什么是LRU ##

LRU (Least Recently Used) 是缓存置换策略中的一种常用的算法。当缓存队列已满时，新的元素加入队列时，需要从现有队列中移除一个元素，LRU 策略就是将最近最少被访问的元素移除，从而腾出空间给新的元素。

## python中的实现 ##

python3中的functools模块的lru\_cache实现了这个功能，  
lru\_cache装饰器会记录以往函数运行的结果，实现了备忘  
（memoization）功能，避免参数重复时反复调用，达到提高性能的作用，在递归函数中作用特别明显。这是一项优化技术，它把耗时的函数的结果保存起来，避免传入相同的参数时重复计算。

## 带参数的lru\_cache ##

使用方法lru\_cache(maxsize=128, typed=False)  
maxsize可以缓存最多个此函数的调用结果，从而提高程序执行的效率，特别适合于耗时的函数。  
参数maxsize为最多缓存的次数，如果为None，则无限制，设置为2的n次幂时，性能最佳；  
如果 typed=True，则不同参数类型的调用将分别缓存，例如 f(3) 和 f(3.0)，默认False  
来一段综合代码：

from functools import lru_cache
    
    def console1(a, b):
        print("进入函数")
        return (a, b)
    
    
    @lru_cache()
    def console2(a, b):
        print("进入函数")
        return (a, b)
    
    
    @lru_cache(maxsize=256, typed=True)
    def console3(a, b):
        '''
    
        :param a:
        :param b:
        :return:
        '''
        print("进入函数")
        return (a, b)
    
    
    print(console1(3, 'a'))
    print(console1(2, 'b'))
    print(console1(3.0, 'a'))
    print("*" * 40)
    print(console2(3, 'a'))
    print(console2(2, 'b'))
    print(console2(3.0, 'a'))
    print("*" * 40)
    print(console3(3, 'a'))
    print(console3(2, 'b'))
    print(console3(3.0, 'a'))

同样的可以用到爬虫的去重操作上，避免网页的重复请求。  
在后期存储的时候做判断即可。

from functools import lru_cache
    from  requests_html import HTMLSession
    session=HTMLSession()
    @lru_cache()
    def get_html(url):
        req=session.get(url)
        print(url)
        return req
    
    urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]
    
    if __name__ == '__main__':
        for i in urllist:
            print(get_html(i))

输出

https://www.baidu.com
    <Response [200]>
    https://pypi.org/project/pylru/1.0.9/
    <Response [200]>
    <Response [200]>

链接：https://juejin.im/post/5bc5a255e51d450e64765065

转载于:https://www.cnblogs.com/LCharles/p/11581779.html