python怎么读文件后删去空格以行为单位进行排序-python 大文件以行为单位读取方式比对...

不念不忘少年蓝@ 2022-11-21 14:12 32阅读 0赞

http://www.cnblogs.com/aicro/p/3371986.html

先前需要做一个使用python读取大文件（大于1G），并逐条存入内存进行处理的工作。做了很多的尝试，最终看到了如下的文章。

该文章实际上提供了集中读取大文件的方式，先经过测试总结如下

1. for line in fileHandle:

该方式是最快速的。而且python虚拟机在内部帮助我们对buffer进行管理，内存占用量小，且不差错。

2. fileinput方式

该方式实际效果较慢，但是也有buffer管理功能

3. （自己摸索和尝试的）使用file.read（sizeHint)的方式进行区块读取

该方法是三者中最慢的，而且需要自己去控制内存和选择需要的区域，所以在读到的buffer之后，还需要进行拆分工作，比较麻烦，而且容易出错。最无奈的是，使用下来（我的环境是2.6和2.7），sizeHint作用较小，原来觉得如果sizeHint是1024，则每次在内存中只会驻留1024B的内容，但是实际上不是这样的，在度过一次1024B之后，再次读取1024B的时候，尽管已经对之前的buf进行了del操作，但是该1024B仍然存留于内存中，所以内存越吃越大，最终MemoryError。

4. file.readline和file.readlines

和read类似，只适用于小文件。

结论：

在使用python进行大文件读取时，应该返璞归真，使用最简单的方式，交给解释器，就管好自己的工作就行了。

附，实测数据(这里的数据是我的程序的实际运行情况，在程序中其实读了两个差不多大小的文件，并做了一定逻辑处理，所以绝对值是没有意义的，但是相对比较值很能够说明情况）

1. 大文件（>1.4G)

所使用的方式

size\_hint

所使用时间

for i in open(...)

/

103.382492s

fileinput

/

131.525755s

file.read和buffer控制

2亿B

报错：memoryError

2. 小文件（西游记的txt，大约1.4M)

所使用的方式

size\_hint

所使用时间

for i in open(...)

/

2.11s

fileinput

/

4.22s

file.read和buffer控制

2亿B

4.07s

\------------------------------------------------------------------------

发表评论取消回复

表情：

评论列表（有 0 条评论，32人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python 文件对比差异

encoding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8')

傷城~/ 2024年02月19日 12:45/ 0 赞/ 64 阅读

相关 python+selenium+new——读取txt文件，以冒号分隔

f = open('C:\\Users\\del\\Desktop\\新建文本文档 (4).txt','r') date = f.readlines(

Dear 丶/ 2023年10月02日 08:01/ 0 赞/ 14 阅读

相关 Python读取txt文件数据每行以空格间隔（列表推导式）

> 读取文件 > > with open('data.txt') as f: > f.read() > print(type(f)) >

缺乏、安全感/ 2023年06月05日 08:46/ 0 赞/ 8 阅读

相关 python怎么读文件后删去空格以行为单位进行排序-python 大文件以行为单位读取方式比对...

http://www.cnblogs.com/aicro/p/3371986.html 先前需要做一个使用python读取大文件（大于1G），并逐条存入内存进行处理的工作。做

不念不忘少年蓝@/ 2022年11月21日 14:12/ 0 赞/ 33 阅读

相关 python怎么读文件后删去空格以行为单位进行排序-python 大文件以行为单位读取方式比对...

先前需要做一个使用python读取大文件（大于1G），并逐条存入内存进行处理的工作。做了很多的尝试，最终看到了如下的文章。该文章实际上提供了集中读取大文件的方式，先经过测试

电玩女神/ 2022年11月21日 14:12/ 0 赞/ 30 阅读

相关文件服务器行为监控,文件服务器行为监控

文件服务器行为监控内容精选换一换 ![c8a5a5028d2cabfeeee0907ef5119e7e.png][] 在SAP S/4HANA(单节点无HA)场景，A

骑猪看日落/ 2022年09月04日 04:46/ 0 赞/ 206 阅读

相关计算机行业单位换算怎么读,时间单位换算表与计算机单位换算

换算时间单位换算表与计算机单位换算时间单位换算表 1秒=1000毫秒(ms) 1毫秒=1／1,000秒(s) 1秒=1,000,000 微秒(μs) 1微秒

刺骨的言语ヽ痛彻心扉/ 2022年08月31日 11:15/ 0 赞/ 335 阅读

相关网站访问统计，以小时为单位

由于现在的网站后台要实现这样的功能以前，没有太在意这方面的，收集搜索了一些资料但有的要本不能运行自己的思路 1。选取时间字段 2。截取小时 3。以截取的小时做为组排序

蔚落/ 2022年06月11日 03:43/ 0 赞/ 180 阅读

相关怎么去控制浏览器对资源文件的处理行为

通常当用户打开一个资源的`url`,如果浏览器支持这个格式的文件的情况下，浏览器会尝试去再页面里展示它而不是直接下载。例如一张图片(`jpg, png, gif等

梦里梦外;/ 2022年05月21日 04:44/ 0 赞/ 116 阅读

相关 python读取大文件

最近在学习python的过程中接触到了python对文件的读取。python读取文件一般情况是利用open()函数以及read()函数来完成： f = open(fi

àì夳堔傛蜴生んèń/ 2022年02月28日 12:36/ 0 赞/ 305 阅读