Python快速读取超大文件

àì夳堔傛蜴生んèń 2022-04-24 00:42 224阅读 0赞

**方法一：**  
测试文件共6862646行，79.3M大小，耗时6.7秒。  
缺点：每一行数据内容不能大于内存大小(一般不会)，否则就会造成MemoryError。

import time
    
    print("开始处理...")
    start = time.time()
    file = r'e:\Python\mypy\搜狗词库\sogou_jianhua_new.txt'
    with open(file, 'rb') as f:								#rb方式最快
    	for line in f:
    		li = line.strip()
    		lin = str(li).lstrip("b")
    end = time.time()
    shi = end - start
    print("已完成！总耗时%s秒！" % shi)

**方法二：**  
使用yield：简单理解，yield就是return，返回一个值，并记住返回的位置，下次迭代就从这个位置后(下一行)开始。  
正常情况使用上面的方式就可以了，但是，如果遇到整个文件只有一行，  
而且按照特定的字符进行分割，上面的方式则不行了，这时候yield就非常有用了。  
举个例子，log的形式是以\{|\}做为分割符的：  
2018-06-18 16:12:08,289 - main - DEBUG - Do something\{|\}……  
优点：不再限制每行数据的大小，即使整个大文件只有一行。  
缺点：速度比上面的方式要慢。

def read_line(filename, split, size):
        with open(filename, 'r+') as f:
            buff = ''										#定义缓冲区
            while True:
                while split in buff:						#若split分割符在缓冲区
                    position = buff.index(split)			#查找分割符第一次出现的位置
                    yield buff[:position]					#返回一个值，并记住返回的位置，下次从此开始
                    buff = buff[(position + len(split)):]	#更新buff，继续下一步
                chunk = f.read(size)						#若split不在缓冲区，则读取size个字符
                if not chunk:								#若chunk为空
                    yield buff
                    break 									#跳出循环
                buff = buff + chunk 						#若chunk不为空，则更新buff，继续下一步