Python快速读取超大文件-蒲公英云

Python快速读取超大文件

方法一：
测试文件共6862646行，79.3M大小，耗时6.7秒。
缺点：每一行数据内容不能大于内存大小(一般不会)，否则就会造成MemoryError。

import time
print("开始处理...")
start = time.time()
file = r'e:\Python\mypy\搜狗词库\sogou_jianhua_new.txt'
with open(file, 'rb') as f:                                #rb方式最快
    for line in f:
        li = line.strip()
        lin = str(li).lstrip("b")
end = time.time()
shi = end - start
print("已完成！总耗时%s秒！" % shi)

方法二：
使用yield：简单理解，yield就是return，返回一个值，并记住返回的位置，下次迭代就从这个位置后(下一行)开始。
正常情况使用上面的方式就可以了，但是，如果遇到整个文件只有一行，
而且按照特定的字符进行分割，上面的方式则不行了，这时候yield就非常有用了。
举个例子，log的形式是以{|}做为分割符的：
2018-06-18 16:12:08,289 - main - DEBUG - Do something{|}……
优点：不再限制每行数据的大小，即使整个大文件只有一行。
缺点：速度比上面的方式要慢。

def read_line(filename, split, size):
    with open(filename, 'r+') as f:
        buff = ''                                        #定义缓冲区
        while True:
            while split in buff:                        #若split分割符在缓冲区
                position = buff.index(split)            #查找分割符第一次出现的位置
                yield buff[:position]                    #返回一个值，并记住返回的位置，下次从此开始
                buff = buff[(position + len(split)):]    #更新buff，继续下一步
            chunk = f.read(size)                        #若split不在缓冲区，则读取size个字符
            if not chunk:                                #若chunk为空
                yield buff
                break                                     #跳出循环
            buff = buff + chunk                         #若chunk不为空，则更新buff，继续下一步