优化shell的文件读取操作

小鱼儿 2022-08-06 02:29 184阅读 0赞

前段时间经常在linux下对文件进行一些读取操作，可在操作得过程中发觉一些脚本的执行效率并不是很理想，下来认真的翻了一下《Mastering UNIX shell Scripting》，学习了一下其中对文件读取和写入得一些方法，在此进行总结记录。

我们对文件得处理往往是通过循环得方式进行的，在循环中解析文件时，需要一种方法把整行得数据读入到一个变量中。最常见的命令是read。该命令很灵活，可用它读取单个字符串也可以读取整行。谈到读取整行，line是另一个可以读一行得命令。但一些操作系统并不支持line命令。除了read和line命令外，也需要查看一下while和for循环得不同方法，这是决定执行速度快慢得主要原因。在预定义得配置中可以把循环作为一个独立得循环来使用，可以用在命令管道中，也可以用文件描述符。每种方法有其自身得一套法则。如何利用循环得到最快得执行速度非常关键，也是决定一个处理文件脚本得关键因素。

文件描述符：0 -stdin，1-stdout，2-stderr，在大多数操作系统中，有效得描述符的值为0到19，使用上述某些值时，必须做很多测试以便确认它们未被系统某种原因而保留。

接下来我们通过一个shell中得time命令来测试不同方法处理文件的时间差，其中time会返回三个值分别为real user sys，代表得意思分别是： 总执行时间；用户/应用系统进程级花费得处理时间；系统在系统/内核级花费得处理时间，所有得计时数据都是输出到stderr或者标准错误，即文件描述符2，所以需要正确重定向标准错误输出进行查看。

方法一：采用重定向标准输入，标准输出的方式。在处理中将标准输入重定向到文件描述附3，标准输出重定向到文件描述附4，并通过read逐行读取数据存入变量LINE中

**\[python\]**  [view plain][] [copy][view plain]

1.  function while\_read\_LINE\_FD\_IN\_AND\_OUT  
2.  \{  
3.      >$OUTFILE  
4.    
5.      **exec** 3<&0  
6.      **exec** 0< $INFILE  
7.    
8.      **exec** 4<&1  
9.      **exec** 1> $OUTFILE  
10.   
11.     **while** read LINE  
12.     do  
13.         echo "$LINE"  
14.         :  
15.     done  
16.   
17.     **exec** 1<&4  
18.     **exec** 4>&-  
19.   
20.     **exec** 0<&3  
21.     **exec** 3>&-  
22. \}

方法二，仍旧采用文件描述符，但是采用line命令，执行方法如下：

**\[python\]**  [view plain][] [copy][view plain]

1.  function while\_LINE\_line\_FD\_IN\_AND\_OUT  
2.  \{  
3.      >$OUTFILE  
4.    
5.      **exec** 3<&0  
6.      **exec** 0< $INFILE  
7.    
8.      **exec** 4<&1  
9.      **exec** 1> $OUTFILE  
10.   
11.     **while** LINE=\`line\`  
12.     do  
13.         echo "$LINE"  
14.         :  
15.     done  
16.   
17.     **exec** 1<&4  
18.     **exec** 4>&-  
19.   
20.     **exec** 0<&3  
21.     **exec** 3>&-  
22. \}

方法三，只重定向标准输出描述符，使用done<$INFILE输入重定向

**\[python\]**  [view plain][] [copy][view plain]

1.  function while\_read\_LINE\_bottom\_FD\_OUT  
2.  \{  
3.      >$OUTFILE  
4.    
5.      **exec** 4<&1  
6.      **exec** 1>$OUTFILE  
7.      **while** read LINE  
8.      do  
9.          echo "$LINE"  
10.         :  
11.     done < $INFILE  
12.   
13.     **exec** 1<&4  
14.     **exec** 4>&-  
15. \}

方法四，不是用文件描述附：

**\[python\]**  [view plain][] [copy][view plain]

1.  function while\_read\_LINE\_bottom  
2.  \{  
3.      >$OUTFILE  
4.    
5.      **while** read LINE  
6.      do  
7.          echo "$LINE" >> $OUTFILE  
8.          :  
9.      done < $INFILE  
10.   
11. \}

方法五，采用for循环的方式

**\[python\]**  [view plain][] [copy][view plain]

1.  function for\_LINE\_cat\_FILE\_cmdsub2\_FD\_OUT  
2.  \{  
3.      >$OUTFILE  
4.    
5.      **exec** 4<&1  
6.      **exec** 1> $OUTFILE  
7.    
8.      **for** LINE **in** $(cat $INFILE)  
9.      do  
10.         echo "$LINE"  
11.         :  
12.     done  
13.   
14.     **exec** 1<&4  
15.     **exec** 4>&-  
16. \}

以上五种方法测试mysql.txt的一个描述文件得时间对比如下：

**\[plain\]**  [view plain][] [copy][view plain]

1.  Method: function while\_read\_LINE\_FD\_IN\_AND\_OUT  
2.  real    0m0.312s  
3.  user    0m0.260s  
4.  sys 0m0.036s  
5.    
6.  Method: function while\_LINE\_line\_FD\_IN\_AND\_OUT  
7.  real    0m6.347s  
8.  user    0m0.000s  
9.  sys 0m1.668s  
10.   
11. Method: function while\_read\_LINE\_bottom\_FD\_OUT  
12. real    0m0.261s  
13. user    0m0.004s  
14. sys 0m0.256s  
15.   
16. Method: function while\_read\_LINE\_bottom  
17. real    0m0.452s  
18. user    0m0.244s  
19. sys 0m0.204s  
20.   
21. Method: function for\_LINE\_cat\_FILE\_cmdsub2\_FD\_OUT  
22. real    0m0.623s  
23. user    0m0.388s  
24. sys 0m0.232s

在对文件进行读取操作时，采用文件符明显快于不采用文件符的，采用read的快于采用line命令的，采用while循环读取文件的快于for循环的。

在\*nix平台上处理任何任务都有多种方法；一些文件处理技术浪费了大量得CPU时间，大多数浪费得时间花费在不必要得变量赋值以及连续地打开和关闭不同得文件上。在使用管道对循环计时也有负面影响，管道使用的文件大小最大不能超过2048个字符。

[view plain]: http://blog.csdn.net/kkkk11kk/article/details/6919638#

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 Shell编程-文件读取方法

/bin/bash while read line do echo $line done < a.txt 用用awk切分数据

布满荆棘的人生/ 2023年08月17日 17:32/ 0 赞/ 129 阅读

相关 shell读取文件的每一行

写法一： \---------------------------------------------------------------------------- \!/

左手的ㄟ右手/ 2022年11月18日 01:15/ 0 赞/ 194 阅读

相关 C++文件读取操作详解

[C++文件读取操作详解 ][C_] http://blog.csdn.net/blues1021。 ![Center][] 图片来自：[http://ww

悠悠/ 2022年09月24日 05:14/ 0 赞/ 488 阅读

相关 shell按行读取文件

方法一： !/bin/bash filename="filename" while read line; do e

系统管理员/ 2022年08月19日 14:16/ 0 赞/ 239 阅读

相关优化shell的文件读取操作

前段时间经常在linux下对文件进行一些读取操作，可在操作得过程中发觉一些脚本的执行效率并不是很理想，下来认真的翻了一下《Mastering UNIX shell Scrip

小鱼儿/ 2022年08月06日 02:29/ 0 赞/ 185 阅读

相关 IO操作文件的读取

/ 程序头部注释开始程序的版权和版本声明部分 Copyright (c) 2011, 烟台大学计算机学院学生

忘是亡心i/ 2022年05月24日 04:53/ 0 赞/ 229 阅读

相关 shell中的数组、函数、文件读取

自己写的一个shell脚本，基本上涵盖了shell脚本常用的一些操作：数组，函数，文件循环读取，参数传递，awk等，在此记录。 !/bin/bash

短命女/ 2022年05月24日 03:06/ 0 赞/ 221 阅读

相关 Java读取操作Property文件

property文件常用作资源配置文件，一下给出两种读取方式：第一种用读取文件流的方式，和读取其他文件一样： [java操作property文件][java_proper

骑猪看日落/ 2022年04月15日 00:06/ 0 赞/ 475 阅读

相关 Python 文件读取操作方法

遍历文件： os.walk： for root, dirs, files in os.walk(".", topdown=False) 选择特定类型文件

旧城等待，/ 2022年02月13日 09:09/ 0 赞/ 206 阅读

相关 shell 读取文件内容

1、准备数据文件 $cat a.txt 200:2 300:3 400:4 500:5 2、用while循环从文件中读取数据 \!/bin/ksh whi

太过爱你忘了你带给我的痛/ 2021年06月24日 14:35/ 0 赞/ 596 阅读