爱上python系列------python性能(十三):忌用for循环

你的名字 2022-11-20 11:54 143阅读 0赞

一直都在想标量和向量计算为啥速度不一样，直到看到[这个文章][Link 1]

接下来试验一下：

### 用for循环： ###

import  numpy as np
    ls=[i+8 for i in range(1<<25)]
    arrs=np.array(ls)
    
    #定义一个对每个元素都加8的函数
    def add_8(nums):
        for i in range(len(nums)):
            nums[i]+=8
        return nums
    %timeit add_8(arrs)

结果：9.1 s ± 308 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

### 不用for循环： ###

import  numpy as np
    ls=[i+8 for i in range(1<<25)]
    arrs=np.array(ls)
    %timeit arrs+8

结果：30.9 ms ± 27.5 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

差距也太大了

用for循环就是一个一个标量计算，而使用通用函数（这里是加法）相当于是向量计算

不过，要是想使用for 循环一定要使用numba

看下效果吧

import  numpy as np
    from numba import jit
    ls=[i+8 for i in range(1<<25)]
    arrs=np.array(ls)
    
    #定义一个对每个元素都加8的函数
    @jit(nopython=True)
    def add_8(nums):
        for i in range(len(nums)):
            nums[i]+=8
        return nums
    %timeit add_8(arrs)

结果：17.6 ms ± 57.2 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

效果比通用函数斗牛，numba成神了

[Link 1]: https://zhuanlan.zhihu.com/p/72953129

发表评论取消回复

表情：

评论列表（有 0 条评论，143人围观）

还没有评论，来说两句吧...

相关阅读

相关爱上python系列------python性能(十):bisect加速有序列表的查询

如果数据量很大的时候，list哪怕使用index也会变得很慢，下面做个实验，使用二分查找模块[bisect][] import time import bi

布满荆棘的人生/ 2022年12月18日 07:55/ 0 赞/ 149 阅读

相关爱上python系列------python性能(六):新建list对象性能优化

Cpython里的list实际上就是长度可变的数组实现的新建list经常会使用这样的一种写法： \[i for i in range(N)\] 这样的写法不仅仅很酷很简

今天药忘吃喽~/ 2022年12月17日 12:56/ 0 赞/ 127 阅读

相关爱上python系列------python性能(五):字符串拼接性能优化

python里面字符串是不可变的，在拼接的时候速度会比较慢，因为拼接任意不可变序列都会生成一个新的序列对象也就是说在拼接的过程中会产生很多中间对象，新建对象肯定需要时间，

╰半橙微兮°/ 2022年12月17日 11:57/ 0 赞/ 202 阅读

相关爱上python系列------python性能(四):list-set-dict性能对比

无意间看到文章说set的速度比list快，很是不解，于是自己做了一下实验实验1：几乎不带重复的数据时三者查询性能的对比 import time imp

快来打我*/ 2022年12月17日 08:38/ 0 赞/ 123 阅读

相关爱上python系列------python性能(三):KCacheGrind性能分析可视化

KCacheGrind是一个性能可视化的工具，需要读取固定格式的文件就可以获取可视化的图形，不是属于python独有的前面我们使用cProfile进行了性能分析，接下来我

﹏ヽ暗。殇╰゛Y/ 2022年12月16日 13:24/ 0 赞/ 153 阅读

相关爱上python系列------python性能(二):line_profiler性能分析

Python的性能分析分析十分重要，因为可以给我们优化性能提供可靠的数值参考 Python的性能分析有两个主流工具cProfile和line\_profiler，前者是pyt

不念不忘少年蓝@/ 2022年12月16日 13:16/ 0 赞/ 209 阅读

相关爱上python系列------python性能(一):pypy实践

python作为一门解释型语言，执行效率一直被诟病，速度比c慢几十到上百倍这里主要谈到pypy 就是一个解释器，我们安装好的python的默认的解释器是Cpython

梦里梦外;/ 2022年12月16日 13:05/ 0 赞/ 264 阅读

相关爱上python系列------python性能(十三):忌用for循环

一直都在想标量和向量计算为啥速度不一样，直到看到[这个文章][Link 1] 接下来试验一下：用for循环： import numpy as np

你的名字/ 2022年11月20日 11:54/ 0 赞/ 144 阅读

相关爱上python系列------python性能(十二):pd.eval()加速实验证明无效

pd.eval()号称是使用了Numexpr，能够使用DataFrame之间的运算提速我亲自实验，说明现有的pandas版本的根本不支持，只适用于老版本的pandas p

偏执的太偏执、/ 2022年11月20日 08:18/ 0 赞/ 155 阅读

相关爱上python系列------python性能(十一):numexpr比numpy更加高速

在python数据领域处理数据使用numpy越来越多了，因为numpy相对来说是很快的，不过当数据量较大时numexpr会更快比如先做实验试试：先准备数据：

心已赠人/ 2022年11月20日 08:15/ 0 赞/ 220 阅读