Python计算大文件行数方法及性能比较

短命女 2022-10-19 05:30 99阅读 0赞

如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。

**1.readline读所有行**  
使用readlines方法读取所有行:

def readline_count(file_name):
        return len(open(file_name).readlines())

**2.依次读取每行**  
依次读取文件每行内容进行计数:

''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    def simple_count(file_name):
        lines = 0
        for _ in open(file_name):
            lines += 1
        return lines

**3.sum计数**  
使用sum函数计数:

def sum_count(file_name):
        return sum(1 for _ in open(file_name))

**4.enumerate枚举计数:**

''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    def enumerate_count(file_name):
        with open(file_name) as f:
            for count, _ in enumerate(f, 1):
                pass
        return count

**5.buff count**

每次读取固定大小,然后统计行数:

def buff_count(file_name):
        with open(file_name, 'rb') as f:
            count = 0
            buf_size = 1024 * 1024
            buf = f.read(buf_size)
            while buf:
                count += buf.count(b'\n')
                buf = f.read(buf_size)
            return count

**6.wc count**

调用使用wc命令计算行:

''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    def wc_count(file_name):
        import subprocess
        out = subprocess.getoutput("wc -l %s" % file_name)
        return int(out.split()[0])

**7.partial count**

在`buff_count`基础上引入partial:

def partial_count(file_name):
        from functools import partial
        buffer = 1024 * 1024
        with open(file_name) as f:
            return sum(x.count('\n') for x in iter(partial(f.read, buffer), ''))

**8.iter count**

在`buff_count`基础上引入itertools模块 :

''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ '''
    def iter_count(file_name):
        from itertools import (takewhile, repeat)
        buffer = 1024 * 1024
        with open(file_name) as f:
            buf_gen = takewhile(lambda x: x, (f.read(buffer) for _ in repeat(None)))
            return sum(buf.count('\n') for buf in buf_gen)

下面是在我本机 4c8g python3.6的环境下,分别测试100m、500m、1g、10g大小文件运行的时间，单位秒：

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>100M</th> 
   <th>500M</th> 
   <th>1G</th> 
   <th>10G</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>readline_count</td> 
   <td>0.25</td> 
   <td>1.82</td> 
   <td>3.27</td> 
   <td>45.04</td> 
  </tr> 
  <tr> 
   <td>simple_count</td> 
   <td>0.13</td> 
   <td>0.85</td> 
   <td>1.58</td> 
   <td>13.53</td> 
  </tr> 
  <tr> 
   <td>sum_count</td> 
   <td>0.15</td> 
   <td>0.77</td> 
   <td>1.59</td> 
   <td>14.07</td> 
  </tr> 
  <tr> 
   <td>enumerate_count</td> 
   <td>0.15</td> 
   <td>0.80</td> 
   <td>1.60</td> 
   <td>13.37</td> 
  </tr> 
  <tr> 
   <td>buff_count</td> 
   <td>0.13</td> 
   <td>0.62</td> 
   <td>1.18</td> 
   <td>10.21</td> 
  </tr> 
  <tr> 
   <td>wc_count</td> 
   <td>0.09</td> 
   <td>0.53</td> 
   <td>0.99</td> 
   <td>9.47</td> 
  </tr> 
  <tr> 
   <td>partial_count</td> 
   <td>0.12</td> 
   <td>0.55</td> 
   <td>1.11</td> 
   <td>8.92</td> 
  </tr> 
  <tr> 
   <td>iter_count</td> 
   <td>0.08</td> 
   <td>0.42</td> 
   <td>0.83</td> 
   <td>8.33</td> 
  </tr> 
 </tbody> 
</table>