shell中文本处理三剑客---之---awk命令详解

怼烎@ 2023-07-07 03:54 14阅读 0赞

## 1.awk介绍 ##

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”

Linux awk命令详解除了使用 sed 命令，Linux 系统中还有一个功能更加强大的文本数据处理工具，就是 awk。它诞生于 20 世纪 70 年代末期，这也许是它影响了众多 Linux 用户的原因之一  
"  
和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理

它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。在 linux 系统日常处理工作中，发挥很重要的作用，掌握了 awk将会使你的工作变的高大上。

awk程序由一个主输入循环(Main input loop)维持,主输入循环反复执行，直到条件被触发，主输入循环无须由程序员去写，awk已经搭好主输入循环的框架  
**awk 命令的基本格式为：**

[root@localhost ~]# awk [选项] '脚本命令' 文件名

awk 的强大之处在于脚本命令，它由 2 部分组成，分别为**匹配规则和执行命令**，如下所示

‘匹配规则\{执行命令\}’

这里的匹配规则，和 sed 命令中的 address 部分作用相同，用来指定脚本命令可以作用到文本内容中的具体行，可以使用字符串（比如 /demo/，表示查看含有 demo 字符串的行）或者正则表达式指定。另外需要注意的是，整个脚本命令是用单引号（’’）括起，而其中的执行命令部分需要用大括号（\{\}）括起来。

在 awk 程序执行时，如果没有指定执行命令，则默认会把匹配的行输出；如果不指定匹配规则，则默认匹配文本中所有的行

\#awk已经搭好主输入循环框架，程序员写的代码被嵌入到主输入循环框架中执行 主输入循环自动依次读取输入文件行，以供处理，而处理文件行的动作是由程序员添加的

\#awk认为输入文件是结构化的，awk将每个输入文件行定义为记录，行中的每个字符串定义为域，域之间用空格，Tab键或其他符号进行分隔，分隔域的符号就叫做分隔符

\#F选项是改变分隔符 -f选项则表示调用awk脚本  
\#awk环境变量FS 可通过在BEGIN字段中设置FS的值来改变分隔符

\#BEGIN语句将FS赋值为逗号，表示以逗号分隔符来处理文件 print语句设置需要打印的域号

[root@server1 ~]# awk 'BEGIN {FS=","} {print $0}' stufile 
    Tom,18,029-11110239
    Tom,18,029-11110239
    Tom,18,029-11110239
    Tom,18,029-11110239
    Tom,18,029-11110239
    Tom,18,029-11110239
    Tom,18,029-11110239
    [root@server1 ~]# awk 'BEGIN {FS=","} {print $1,$3}' stufile 
    Tom 029-11110239
    Tom 029-11110239
    Tom 029-11110239
    Tom 029-11110239
    Tom 029-11110239
    Tom 029-11110239
    Tom 029-11110239

$n:当前记录的第n个域 域间由FS分隔
    $0:记录所有的域
    FS:字段分隔符，默认是空格键
    NF:当前记录中的域数量
    NR:当前记录数(被awk处理过的行数)

## 2.awk模式匹配 ##

任何awk语句都由模式(pattern)和动作(action)组成  
模式是由一组用于测试输入行是否需要执行动作的规则  
动作是包含语句，函数和表达式的执行过程  
简言之，模式决定动作何时触发和触发事件  
动作执行对输入行的处理  
awk的第一种调用方式  
单引号中间是awk命令，该awk命令由两部分组成  
以`‘/’`符号分隔，`^$`部分是模式，花括号部分是动作，该awk命令表示一旦读入的输入文件行是空行，就打印“This is a blank line”

^$是正则表达式，表示空白行
    print表示该动作是打印操作，input是输入文件名称

[root@server1 ~]# touch input
    [root@server1 ~]# awk '/^$/{print "This is a blank line."}' input
    [root@server1 ~]# vim input 
    [root@server1 ~]# awk '/^$/{print "This is a blank line."}' input
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    [root@server1 ~]# cat input 
     
    [root@server1 ~]#

awk的第二种调用方式  
使用awk -f 调用scr.awk文件

[root@server1 ~]# vim scr.awk
    [root@server1 ~]# awk -f scr.awk input 
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    [root@server1 ~]# cat scr.awk 
    /^$/{ print "This is a blank line."}

直接使用awk脚本文件的方法来调用

[root@server1 ~]# vim scr.awk 
    [root@server1 ~]# chmod o+x scr.awk 
    [root@server1 ~]# ./scr.awk input 
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    This is a blank line.
    [root@server1 ~]# cat scr.awk 
    #!/bin/awk -f
    /^$/{ print "This is a blank line."}

## 3.记录和域 ##

awk认为输入文件是结构化的，awk将每个输入文件行定义为记录，行中的每个  
字符串定义为域，域之间用空格，Tab键或其他符号进行分隔，分隔域的符号就叫做分隔符  
awk定义域操作符`$`来指定执行动作的域，域操作符`$`后面跟数字或变量来标识域的位置，每条记录的域从1开始编号，如`$1`表示第一个域 `$0`表示所有域

打印指定的域

[root@server1 ~]# awk '{print $2,$1,$4,$3}' stucoed 
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    Li Tom xian 028-12345678
    [root@server1 ~]# cat stucoed 
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian

打印全部的域

[root@server1 ~]# awk '{print $0}' stucoed Tom Li 028-12345678 xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian

域操作符$后面还可以跟变量，或者变量运算表达式

[root@server1 ~]# awk 'BEGIN {one=1;two=2} {print $(one+two)}' stucoed 
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678

awk默认的设置是空格键，Tab键被看作连续的空格键来处理

[root@server1 ~]# cat stucoed 
    Tom Li         028-12345678  xian
    Tom Li         028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    Tom Li 028-12345678  xian
    [root@server1 ~]# awk 'BEGIN {one=1;two=2} {print $(one+two)}' stucoed 
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678

可以使用-F来改变分隔符  
注意看下面的例子 电话和xian之间用空格分开的化被看作是一个域

[root@server1 ~]# awk -F "\t" '{print $3}' stucoed 
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    028-12345678
    [root@server1 ~]# cat stucoed
    Tom Li        028-12345678    xian
    Tom Li        028-12345678    xian
    Tom Li        028-12345678    xian
    Tom Li         028-12345678    xian
    Tom Li         028-12345678    xian
    Tom Li        028-12345678    xian
    Tom Li        028-12345678    xian
    Tom Li        028-12345678    xian
    [root@server1 ~]# vim stucoed[root@server1 ~]# cat stucoedTom Li 028-12345678 xian
    Tom Li        028-12345678 xian
    Tom Li        028-12345678 xian
    Tom Li         028-12345678 xian
    Tom Li         028-12345678 xian
    Tom Li        028-12345678 xian
    Tom Li        028-12345678 xian
    Tom Li        028-12345678 xian
    [root@server1 ~]# awk -F "\t" '{print $3}' stucoed 
    028-12345678 xian
    028-12345678 xian
    028-12345678 xian
    028-12345678 xian
    028-12345678 xian
    028-12345678 xian
    028-12345678 xian
    028-12345678 xian

尽管-F选项可以改变分隔符 但是 awk还提供了另一种更方便，实用的方法来改变分隔符，这就是使用awk环境变量FS  
我们可以通过在BEGIN字段中设置FS的值来改变分隔符

[root@server1 ~]# awk 'BEGIN {FS=","} {print $0}' stucoed 
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian
    Tom,Li,028-12345678 xian

打印第1域和第3域

[root@server1 ~]# awk 'BEGIN {FS=","} {print $1,$3}' stucoed 
    Tom 028-12345678 xian
    Tom 028-12345678 xian
    Tom 028-12345678 xian
    Tom 028-12345678 xian
    Tom 028-12345678 xian
    Tom 028-12345678 xian
    Tom 028-12345678 xian
    Tom 028-12345678 xian

对于不同的输入文件 需要根据实际情况设置相应的分隔符 如linux的/etc/passwd文件是以冒号为分隔符的

## 4.关系和布尔运算符 ##

awk定义了一组关系运算符用于awk模式匹配

\#使用匹配正则表达式`～`符号  
第一个域匹配root

[root@server1 ~]# awk 'BEGIN {FS=":"} $1~/root/' /tmp/passwd 
    root:x:0:0:root:/root:/bin/bash

全部域匹配root

[root@server1 ~]# awk 'BEGIN {FS=":"} $0~/root/' /tmp/passwd 
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin

全部域不匹配nologin

[root@server1 ~]# awk 'BEGIN {FS=":"} $0!~/nologin/' /tmp/passwd 
    root:x:0:0:root:/root:/bin/bash
    sync:x:5:0:sync:/sbin:/bin/sync
    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
    halt:x:7:0:halt:/sbin:/sbin/halt
    dd:x:1000:1000::/home/dd:/bin/bash

awk在进行模式匹配时，常常使用到条件语句  
awk条件语句与C语言类似

注意：if后面的条件需要用圆括号括起来

[root@server1 ~]# awk 'BEGIN {FS=":"} {if ($3<$4) print $0}' /tmp/passwd 
    adm:x:3:4:adm:/var/adm:/sbin/nologin
    lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
    games:x:12:100:games:/usr/games:/sbin/nologin
    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

多条件精确匹配  
在文件中查找满足`$3==1`或者`$4==10`的记录  
利用`==`符号进行的匹配可称为精确匹配

[root@server1 ~]# awk 'BEGIN {FS=":"} {if ($3==1||$4==10) print $0}' /tmp/passwd 
    bin:x:1:1:bin:/bin:/sbin/nologin

多条件模糊匹配  
将`==`改为`~`符号 表示模糊匹配 所查询内容包含1或者10这个字符就可以

[root@server1 ~]# awk 'BEGIN {FS=":"} {if ($3~1||$4~10) print $0}' /tmp/passwd 
    bin:x:1:1:bin:/bin:/sbin/nologin
    operator:x:11:0:operator:/root:/sbin/nologin
    games:x:12:100:games:/usr/games:/sbin/nologin
    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
    systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
    dbus:x:81:81:System message bus:/:/sbin/nologin
    dd:x:1000:1000::/home/dd:/bin/bash

## 5.表达式 ##

与其他编程语言一样，awk表达式用于存储，操作和获取数据  
一个awk表达式可由数值，字符常量，变量，操作符 函数和正则表达式自由组合而成  
变量是一个值的标识符，定义awk变量非常方便，只需定义一个变量名并将值赋给它即可  
变量名只能包含字母，数字和下划线 而且不能以数字开头  
定义awk变量无须声明变量类型，每个变量有两种类型的值：字符串值和数值  
awk根据表达式上下文来确定使用哪个值  
变量的默认数值为0，默认字符串值为空

统计input文件中的空白行

[root@server1 ~]# awk '/^$/{print x+=1}' input 
    1
    2
    3
    4
    5
    6
    7
    8
    9

\++x /x++ 和–x/x-- 的区别

x++:即返回x值后，x变量增加1
    ++x:即x变量增加1,再返回x值

[root@server1 ~]# awk '/^$/{print x++}' input 
    0
    1
    2
    3
    4
    5
    6
    7
    8
    [root@server1 ~]# awk '/^$/{print ++x}' input 
    1
    2
    3
    4
    5
    6
    7
    8
    9

计算平均值的例子

[root@server1 ~]# vim scr2.awk 
    [root@server1 ~]# cat stucoed 
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    Tom,Li,028-1234567 85,92,97,88
    [root@server1 ~]# vim scr2.awk 
    [root@server1 ~]# vim stucoed 
    [root@server1 ~]# vim scr2.awk 
    [root@server1 ~]# chmod +x scr2.awk #给脚本执行权限
    [root@server1 ~]# ./scr2.awk stucoed #输出学生姓名和平均成绩
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    Tom 72.4
    [root@server1 ~]# cat scr2.awk 
    #!/bin/awk -f
    BEGIN { FS=","}
    { total=$4+$5+$6+$7+$8
    avg=total/5
    print $1,avg}

## 6.系统变量 ##

awk定义了很多内建变量用于设置环境信息，我们称它为系统变量  
这些系统变量可分为:第一种用于改变awk的默认值，如域分隔符  
第二种用于定义系统值，在处理文本时可以读取这些系统值 如记录中的域数量，当前记录数，当前文件名等

`NF`：为记录的域数量  
`NR`：显示当前的记录数，该值根据读取输入文件的进度而变化 读取第一条记录时，`NR=1` 读取到文件末尾时，NR为该文件所包含的记录数  
`$0`: 标示打印记录的所有域  
`FILENAME`:保存了当前的输入文件名

[root@server1 ~]# awk 'BEGIN {FS=","} {print NF,NR,$0} END {print FILENAME}' stucoed 
    7 1 Tom,Li,028-1234567,85,92,97,88
    7 2 Tom,Li,028-1234567,85,92,97,88
    7 3 Tom,Li,028-1234567,85,92,97,88
    7 4 Tom,Li,028-1234567,85,92,97,88
    7 5 Tom,Li,028-1234567,85,92,97,88
    7 6 Tom,Li,028-1234567,85,92,97,88
    7 7 Tom,Li,028-1234567,85,92,97,88
    7 8 Tom,Li,028-1234567,85,92,97,88
    7 9 Tom,Li,028-1234567,85,92,97,88
    7 10 Tom,Li,028-1234567,85,92,97,88
    7 11 Tom,Li,028-1234567,85,92,97,88
    7 12 Tom,Li,028-1234567,85,92,97,88
    7 13 Tom,Li,028-1234567,85,92,97,88
    7 14 Tom,Li,028-1234567,85,92,97,88
    stucoed

## 7.格式化输出 ##

前面的例子只涉及awk如何输入文件进行处理，对于输出的格式并未规定  
而awk的一大主要功能是产生报表，报表就是要求按照于定的格式输出，awk借鉴  
c语言的语法，定义了printf输出语句，它可以规定输出的格式

从域号获取值 `$2`号域与`%s`对应 为字符串  
`$8`号域与`%d`对应 为整数值  
两个域之间用Tab键隔开(`\t`:Tab键)  
每输出两个域换行(`\n`表示换行)

[root@server1 ~]# awk 'BEGIN {FS=","} {printf("%s\t%d\n",$2,$8)}' stucoed 
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0
    Li    0

ASCII字符的转换

[root@server1 ~]# awk 'BEGIN {printf("%c\n",65)}' 
    A

浮数的转换

[root@server1 ~]# awk 'BEGIN {printf("%f\n",2010)}' 
    2010.000000

printf修饰符的例子  
以字符串格式输出文件的第1和第3号域，并对第1个%s进行了修饰  
\-15表示该字符串长度控制为15位，并且左对齐，若字符串不足15位 则用空格补齐

[root@server1 ~]# awk 'BEGIN {FS=","} {printf("%-15s\t%s\n",$1,$3)}' stucoed 
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567

[root@server1 ~]# awk 'BEGIN {FS=","} {printf("%-15s\t%s\n",$1,$3)}' stucoed 
    Tommmm             028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567

如果我们要在输出的域名上加解释语言 可以在BEGIN字段中添加相应的输出注释

[root@server1 ~]# awk 'BEGIN {FS=",";print "Name\t\tPhonenumber"} {printf("%-15s\t%s\n",$1,$3)}' stucoed 
    Name        Phonenumber
    Tommmm             028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567
    Tom                028-1234567

## 8.内置字符串函数 ##

awk提供了强大的内置字符串函数 用于实现文本的字符串替换 查找以及分割等功能

8.1  
gsub函数执行字符串替换功能，它将第一个字符串替换为第二个字符串，gsub函数有两种  
形式，第一种形式作用于全部域 即$0  
第二种形式作用于域t  
OFS：输出域分隔符 默认是空格  
替换第一域上的root字符串

[root@server1 ~]# awk 'BEGIN {FS=":";OFS=":"} gsub(/root/,"dd", $1) {print $0}' /tmp/passwd 
    dd:x:0:0:root:/root:/bin/bash

替换全部域上的root字符串

[root@server1 ~]# awk 'BEGIN {FS=":";OFS=":"} gsub(/root/,"dd") {print $0}' /tmp/passwd 
    dd:x:0:0:dd:/dd:/bin/bash
    operator:x:11:0:operator:/dd:/sbin/nologin

8.2 index和length函数的用法  
index返回第二个字符串在第一个字符串出现的首位置

[root@server1 ~]# awk 'BEGIN {print index("gridsphere","ph")}'
    6

length返回字符串的长度

[root@server1 ~]# awk 'BEGIN {print length("gridsphere")}'
    10

8.3  
`match(s,t)`测试s是否包含t的字符串  
t可以是一个正则表达式 若匹配成功 返回匹配t的首位置  
若匹配不成功 则返回0  
在gridsphere字符串中匹配D/d  
awk默认状态是区分大小写的

[root@server1 ~]# awk 'BEGIN {print match("gridsphere",/D/)}'
    0 #匹配不成功返回0
    [root@server1 ~]# awk 'BEGIN {print match("gridsphere",/d/)}'
    4

先定义str变量，赋值,然后用sub函数讲pro改成大写的PRO str有两个pro  
结果显示只有一个pro改成了大写的PRO

[root@server1 ~]# awk 'BEGIN {str="multiprocessor programming";sub(/pro/,"PRO",str);printf("%s\t",str)}'
    multiPROcessor programming    
    [root@server1 ~]#