跟散仙学shell编程(九)

小咪咪 2022-04-13 12:08 162阅读 0赞

上篇散仙说了如何在linux里面构建更好的交互式shell，本篇来看下linux里面的文本处理工具sed和gawk，在linux里面最常用的就是这两个命令。  
  
sed编辑器是一个流编辑器，与vim交互式的编辑器不同，sed编辑器需要提前提供一组规则来编辑数据流。  
sed的命令格式如下sed options script file  
  
(1) -e script 在处理输入时，将script中指定的命令添加到运行的命令中  
(2) -f file 在处理输入时，将file中指定的命令添加到运行的命令中  
(3) -n 不要为每个命令生成输出，等待print命令来输出

[search@h1 819]$ echo "this is a test" | sed 's/test/big test/'
    this is a big test
    [search@h1 819]$

在上例中，s命令，会用斜线间指定的第二个文本字符串来替换第一个文本字符串，下面看下如何对一个文件修改替换：

[search@h1 819]$ cat abc.txt 
    
    
    this is cat
    this is a cat 
    this is a big cat
    this is cat
    [search@h1 819]$ sed 's/cat/dog/' abc.txt 
    
    
    this is dog
    this is a dog 
    this is a big dog
    this is dog
    [search@h1 819]$

sed编辑器，并不会修改原来的文件，只会将修改后的数据发送到STDOUT，如果你查看原来的文件，会发现原来的数据还存在。  
  
下面在来看下如何在sed里面使用多个sed命令：

[search@h1 819]$ cat abc.txt 
    
    
    this is cat
    this is a cat 
    this is a big cat
    this is cat
    [search@h1 819]$ sed -e 's/ is/ are/; s/cat/dog/' abc.txt 
    
    
    this are dog
    this are a dog 
    this are a big dog
    this are dog
    [search@h1 819]$

注意is和are的空格，有时候，不生效，可以加个空格测试！  
  
我们也可以将脚本，放在一个文件里，来使用：

[search@h1 819]$ cat abc.txt 
    
    
    this is cat
    this is a cat 
    this is a big cat
    this is cat
    [search@h1 819]$ cat script 
    s/cat/dog/
    s/ is/ are/
    [search@h1 819]$ sed -f script abc.txt 
    
    
    this are dog
    this are a dog 
    this are a big dog
    this are dog
    [search@h1 819]$

下面介绍下gawk，sed有自身的限制，所以gawk可以很好弥补这个缺点，gawk是Unix中原始的awk程序的GNU版本，gawk让流编辑迈上了一个新的台阶，它提供了一种编程语言，而不只是编辑命令，在gawk中，你可以：  
（1）定义变量保存数据  
（2）使用算术和字符串操作符来处理数据  
（3）使用结构化编程概念，比如if-then语句和循环，来数据处理，增加逻辑  
（4）提取数据文件中的数据元素，并将他们按另一顺序重新放置，从而生成格式化报告  
  
  
gawk的命令格式：  
gawk options program file  
  
  
1, -F fs 指定行中分隔数据字段分隔符  
2，-f file 指定读取的文件名  
3,-v var=value 定义gawk程序中的一个变量和默认值  
4，-mf N 指定要处理数据文件中的最大字段数  
5，-mr N 指定数据文件中最大数据行数  
6， -W keyword 指定gawk的兼容模式或警告等级  
  
  
gawk程序脚本用一对花括号，来定义，你必须将脚本命令放在两个括号里，由于命令行假设脚本是单个字符串，所以你必须将脚本放在单引号里面:

[search@h1 819]$ gawk '{ print "我是第一个gawk程序！ "}'
    a
    我是第一个gawk程序！ 
    a
    我是第一个gawk程序！ 
    a
    我是第一个gawk程序

当写完这个脚本时，直接回车运行，你会失望，因为你没有指定任何文件，默认是从控制台读入数据的，只有你输入一行数据，按回车，它才会打印，退出可以使用Ctrl+D命令来退出！  
  
gawk的数据字符变量，默认情况下：  
  
$0代表整个文本行  
$1代表文本行里面的第一个字段  
$2代表文本行里面的第二个字段  
$n代表文本行里面的第n个字段  
  
当它在读取以行文本时，默认的分隔符，是任意的空白字符，也就是空格：

[search@h1 819]$ cat abc.txt 
    
    
    this is cat
    this is a cat 
    this is a big cat
    this is cat
    [search@h1 819]$ gawk  ' { print $1 }' abc.txt 
    
    
    this
    this
    this
    this
    [search@h1 819]$

下面看下指定分隔符的例子：

[search@h1 819]$ gawk -F: ' { print $1}    '  /etc/passwd
    root
    bin
    daemon
    adm
    lp
    sync
    shutdown
    halt
    mail
    uucp
    operator
    games
    gopher
    ftp
    nobody
    vcsa
    saslauth
    postfix
    sshd
    mysql
    search
    [search@h1 819]$

下面看下如何使用多个命令：

[search@h1 819]$ echo "my name is solr"  | gawk  '{  $4="hadoop"; print $0  }'
    my name is hadoop
    [search@h1 819]$

下面看下，如何将gawk程序，存储在文件里，并从文件里执行：

[search@h1 819]$ cat script2 
    { print $1  "'s 目录是 " $6  }
    [search@h1 819]$ gawk -F: -f script2  /etc/passwd
    root's 目录是 /root
    bin's 目录是 /bin
    daemon's 目录是 /sbin
    adm's 目录是 /var/adm
    lp's 目录是 /var/spool/lpd
    sync's 目录是 /sbin
    shutdown's 目录是 /sbin
    halt's 目录是 /sbin
    mail's 目录是 /var/spool/mail
    uucp's 目录是 /var/spool/uucp
    operator's 目录是 /root
    games's 目录是 /usr/games
    gopher's 目录是 /var/gopher
    ftp's 目录是 /var/ftp
    nobody's 目录是 /
    vcsa's 目录是 /dev
    saslauth's 目录是 /var/empty/saslauth
    postfix's 目录是 /var/spool/postfix
    sshd's 目录是 /var/empty/sshd
    mysql's 目录是 /var/lib/mysql
    search's 目录是 /home/search
    [search@h1 819]$

也可以在程序里面指定多个命令，如果这样，只需要将每个命令放新的行即可：

[search@h1 819]$ cat s3 
    {
       
    text = "的目录是 "
    print $1 text $6
    
    
    }
    [search@h1 819]$ gawk  -F: -f s3  /etc/passwd
    root的目录是 /root
    bin的目录是 /bin
    daemon的目录是 /sbin
    adm的目录是 /var/adm
    lp的目录是 /var/spool/lpd
    sync的目录是 /sbin
    shutdown的目录是 /sbin
    halt的目录是 /sbin
    mail的目录是 /var/spool/mail
    uucp的目录是 /var/spool/uucp
    operator的目录是 /root
    games的目录是 /usr/games
    gopher的目录是 /var/gopher
    ftp的目录是 /var/ftp
    nobody的目录是 /
    vcsa的目录是 /dev
    saslauth的目录是 /var/empty/saslauth
    postfix的目录是 /var/spool/postfix
    sshd的目录是 /var/empty/sshd
    mysql的目录是 /var/lib/mysql
    search的目录是 /home/search
    [search@h1 819]$

在数据处理前，执行某个命令：

[search@h1 819]$ gawk  'BEGIN { print "你好，hadoop" }'
    你好，hadoop
    [search@h1 819]$

执行这个命令不需要等待，控制台输入

[search@h1 819]$ gawk  'BEGIN { print "开始读取了："  } {print $0 }  END { print "打印结束了"} '  abc.txt 
    开始读取了：
    
    
    this is cat
    this is a cat 
    this is a big cat
    this is cat
    打印结束了
    [search@h1 819]$

多个命令之间，用大括号分开即可！

[search@h1 819]$ cat s
    BEGIN {
       
    
    print "我们要加个列头"
    print "用户ID     shell "
    print "-------      ------"
    FS=":"
    }
    
    
    {
       
    
    print $1 "      " $7
    
    }
    
    END {
       
    
    print  "结束了....."
    
    }
    [search@h1 819]$ gawk  -f s /etc/passwd
    我们要加个列头
    用户ID     shell 
    -------      ------
    root      /bin/bash
    bin      /sbin/nologin
    daemon      /sbin/nologin
    adm      /sbin/nologin
    lp      /sbin/nologin
    sync      /bin/sync
    shutdown      /sbin/shutdown
    halt      /sbin/halt
    mail      /sbin/nologin
    uucp      /sbin/nologin
    operator      /sbin/nologin
    games      /sbin/nologin
    gopher      /sbin/nologin
    ftp      /sbin/nologin
    nobody      /sbin/nologin
    vcsa      /sbin/nologin
    saslauth      /sbin/nologin
    postfix      /sbin/nologin
    sshd      /sbin/nologin
    mysql      /bin/bash
    search      /bin/bash
    结束了.....

上面简单的几个例子，gawk使用起来非常给力！  
  
上面散仙简单介绍了sed 的命令，下面来看下sed更多的参数：  
s/pattern/replacement/flags  
最后的参数可以有如下：  
数字代表替换第几处的地方  
g代表全局替换所有的地方  
p表示将内容打印出来  
w file将替换结果写入一个文件

[search@h1 819]$ cat t.txt 
    this name is name
    
    this name is hadoop
    [search@h1 819]$ sed 's/name/hadoop/2' t.txt 
    this name is hadoop
    
    this name is hadoop
    [search@h1 819]$ sed 's/name/solr/2' t.txt       
    this name is solr
    
    this name is hadoop
    [search@h1 819]$

全局替换：

[search@h1 819]$ cat t.txt 
    this name is name
    
    this name is hadoop
    [search@h1 819]$ sed 's/name/solr/g' t.txt 
    this solr is solr
    
    this solr is hadoop
    [search@h1 819]$

[search@h1 819]$ cat t.txt 
    this name is name
    
    this name is hadoop
    [search@h1 819]$ sed 's/name/solr/p' t.txt 
    this solr is name
    this solr is name
    
    this solr is hadoop
    this solr is hadoop
    [search@h1 819]$ sed -n  's/name/solr/p' t.txt 
    this solr is name
    this solr is hadoo

\-n命令会禁止sed编辑输出，-p会替换标记输出修改的行  
  
\-w会将修改存入一个新文件：

[search@h1 819]$ sed   's/name/solr/w tt' t.txt    
    this solr is name
    
    this solr is hadoop
    [search@h1 819]$ cat tt 
    this solr is name
    this solr is hadoop
    [search@h1 819]$

如果遇到特殊的字符，则需要转义，使用/进行转义，这个在各种编程语言里都是这样。  
在sed里面可以使用！符作为分隔，例如： /bin/bash!/bin/csh!  
  
  
sed支持更灵活的字符操作：  
可以使用行寻址：  
例如： sed '2s/dog/cat/' data1 这个例子只会改变第二行的数据  
  
sed '2,4s/dog/cat/' data1 这个代表一个范围  
如果不知道到底多少行可以使用  
sed '2,$s/dog/cat/' data1 代表以2开头，所有的行  
  
下面看下sed 的删除命令：  
  
sed 'd3' file 代表删除某个文件的第3行，如果什么也不加，则会删除所有  
也可以指定范围删除sed '2,3d' file  
或者某个范围到结尾删除 sed '3,$d' file  
  
  
此外也可以在查找中删除：  
sed '/number 1/d' file 代表删除number 1所在的行  
  
  
下面看下插入和附加文本:  
插入insert  
追加append  
插入

[search@h1 819]$ echo "1" | sed 'i\"one"'
    "one"
    1
    [search@h1 819]$

追加命令：

[search@h1 819]$ echo "line2" | sed 'a\ line3'
    line2
     line3
    [search@h1 819]$

插入同样可以指定行数前面 :  
  
sed '3i\\some text' 会插入在第三行前面  
  
  
sed '3a\\some text' 会拼接在第三行后面  
  
  
怎么才能直接追加到最后一行：  
  
sed '$a\\ some text '  
  
  
下面看下修改行：  
sed '3c\\这是修改的行'

sed '3i\some text' 会插入在第三行前面

也可以在查询中修改  
  
sed '/number 3/c\\ some text '  
  
也可以在地址区间修改 sed '2,3c\\ some text '  
  
除以之外，还有一个转换命令y：

[search@h1 819]$ echo "this 1 a test of 1 try" | sed 'y/123/456/'
    this 4 a test of 4 try
    [search@h1 819]$

另外，在sed中，p命令可以打印文本行  
=号可以打印行号  
l命令用来列行

[search@h1 819]$ echo "test a test" | sed 'p'
    test a test
    test a test
    [search@h1 819]$ echo "test a test" | sed '='
    1
    test a test
    [search@h1 819]$

\-n命令可以用来禁止其他的行，只显示匹配上的行  
sed -n '/number/p' file  
sed -n '2,3p' file  
  
查找含数字3的行，然后执行两条命令，打印当前行，然后替换在打印

sed -n '/3{p s/ is/ test/p }' bb

l命令会列出行

[search@h1 819]$ sed -n 'l' bb
    this is 3 txt$
    this is 4 text$
    this is a text$
    this name hadoop$
    [search@h1 819]$

sed -n '1,3w test' file 代表将文件file的1-3行的数据写入test文件里面，=n参数代表在写入过程中，不会将输出流在控制台显示  
  
另外sed '3r data12' data7 代码从data7里面读入前行文件插入到data12里面  
  
同样在查询时，也使用 sed '/number 2/r data12 ' data7  
  
在文本末尾添加数据：  
sed '$r data12' data7