pkl与excel文件读取速度测试

灰太狼 2022-12-28 06:15 118阅读 0赞

\*\*

## pkl文件与excel文件读取速度测试代码 ##

\*\*

本代码来自bilibili的AniPython

分享一下源码：

数据测试集：

[链接：https://pan.baidu.com/s/17OovTL\_UHQ8rccHIRAdVkQ  
提取码：love  
复制这段内容后打开百度网盘手机App，操作更方便哦][https_pan.baidu.com_s_17OovTL_UHQ8rccHIRAdVkQ _love _App]

总结：

1.代码很简单，但这种函数模板和函数思维值得借鉴  
2.结果是读取pkl比excel快得多。

read_pickle()用时: 0.036秒
    read_excel()用时: 2.823秒
    #基本信息
    class 'pandas.core.frame.DataFrame'>
    RangeIndex: 17520 entries, 0 to 17519

import pandas as pd
    from time import time
    
    
    def use_time(func):
        def wrapper(*args, **kwargs):
            start = time()
            result = func(*args, **kwargs)
            use = round(time() - start, 3)
            print('%s()用时: %s秒' % (func.__name__, use))
            return result
    
        return wrapper
    
    
    @use_time
    def read_excel(fn):
        df = pd.read_excel(fn)
        return df
    
    
    @use_time
    def read_pickle(fn):
        df = pd.read_pickle(fn)
        return df
    
    
    @use_time
    def write_pickle(df):
        df.to_pickle('2019.pkl')
    
    
    if __name__ == '__main__':
        df1 = read_excel('2019.xlsx')
        df1.info()
        print('*' * 30)
        df2 = read_pickle('2019.pkl')
        df2.info()
        # write_pickle(df)

[https_pan.baidu.com_s_17OovTL_UHQ8rccHIRAdVkQ _love _App]: https://pan.baidu.com/s/17OovTL_UHQ8rccHIRAdVkQ

发表评论取消回复

表情：

评论列表（有 0 条评论，118人围观）

还没有评论，来说两句吧...

相关阅读

相关速度优化——python的pandas批量读取CSV、Excel等文件

速度优化——[python的pandas批量读取CSV、Excel等文件][python_pandas_CSV_Excel] 有一堆命名、格式、内容样式都一样的文件，逐个

ゝ一世哀愁。/ 2023年01月04日 14:32/ 0 赞/ 150 阅读

相关 pkl与excel文件读取速度测试

\\ pkl文件与excel文件读取速度测试代码 \\ 本代码来自bilibili的AniPython 分享一下源码：数据测试集： [链接：https://p

灰太狼/ 2022年12月28日 06:15/ 0 赞/ 119 阅读

相关 Python读取mnist.pkl文件（填坑记）

使用python读取mnist.pkl文件的过程中出现如下所示错误 ![20201005092819825.png][] 下面是为修改之前的代码 import p

矫情吗；*/ 2022年12月12日 02:14/ 0 赞/ 209 阅读

相关 python+appium自动化测试-参数化读取外部excel文件

读取外部的excel文件有三种方法，包括：pandas、xlrd、openpyxl，excel文件包括后缀为xls和xlsx的文件，这篇文章分别使用pandas和openpyx

柔光的暖阳◎/ 2022年11月18日 13:46/ 0 赞/ 258 阅读

相关 poi 读取excel 文件

代码例子在底下一、 POI简介 Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式

た入场券/ 2022年09月17日 10:22/ 0 赞/ 305 阅读

相关 C#操作Excel文件(读取Excel，写入Excel)

转自骆驼阿飞[http://blog.csdn.net/gisfarmer/][http_blog.csdn.net_gisfarmer] 1.加载Excel（读取e

野性酷女/ 2022年08月25日 09:12/ 0 赞/ 450 阅读

相关 php读取Excel文件

转载自开源中国[https://www.oschina.net/code/snippet\_615713\_35836][https_www.oschina.net_code_

妖狐艹你老母/ 2022年05月27日 04:10/ 0 赞/ 269 阅读

相关 Java读取Excel文件

简介：总结Java读取Excel文件 1. 添加maven依赖 <dependency> <groupId>org.apache.

系统管理员/ 2022年04月11日 10:30/ 0 赞/ 389 阅读

相关 .pkl是什么文件

.pkl是python保存文件的一种文件格式，如果直接打开会显示一堆序列化的东西。需要使用rb类型来打开 rb – 读取2进制文件，r – 读取文本文件

痛定思痛。/ 2021年12月10日 13:13/ 0 赞/ 2639 阅读

相关 Java 读取Excel文件

转自：http://blog.csdn.net/tkd03072010/article/details/6692366 需要用到的jar包：[ jxl-2.6

男娘i/ 2021年09月10日 12:04/ 0 赞/ 555 阅读