文本三剑客AWK详细解读

一时失言乱红尘 2022-01-17 02:13 346阅读 0赞

# AWK语言 #

### 一、基本介绍 ###

**1. 基本格式：awk  \[options\]  'program' file…**

• options：选项

• program：计划（pattern \{action statements;..\}）

**计划又分为pattern(模式)和action(动作)两部分**

• pattern：决定动作语句何时触发及触发事件

例如：BEGIN,END

• action statements：对数据进行处理，放在\{\}内指明

例如：print, printf

**2. 分割符、域和记录**

• awk执行时，由分隔符分隔的字段（域）标记$1,$2..$n称为域标识。$0为所有域，

注意：和shell中变量$符含义不同

• 文件的每一行称为记录

• 省略action（就是\{ \}），则默认执行 print $0 的操作

**3. awk****执行顺序**

1. 第一步：执行BEGIN\{action;… \}语句块中的语句（BEGIN只执行一次）

2. 第二步：从文件或标准输入(stdin)读取一行，然后执行pattern\{ action;… \}语句块，它逐行扫描文件，

从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

3. 第三步：当读至输入流末尾时，执行END\{action;…\}语句块

**注意：**

1. BEGIN语句块是在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、

打印输出表格的表头等语句通常可以写在BEGIN语句块中

2. END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果，

这类信息汇总都是在END语句块中完成，它也是一个可选语句块

3. pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行\{ print \} ，

即打印每一个读取到的行，awk读取的每一行都会执行该语句块

**print格式： print item1, item2, ..**

要点：

(1) 逗号分隔符

(2) 输出的各item可以字符串，也可以是数值；当前记录的字段、变量或awk的表达式

(3) 如省略item，相当于print $0

**示例：**

awk '\{print "hello,awk"\}'

awk –F: '\{print\}' /etc/passwd    （F后面可以不用加引号，如果特殊字符如\{ 、\[、( 等可以使用' ' ）

awk –F: ‘\{print “wang”\}’ /etc/passwd

awk –F: ‘\{print $1\}’ /etc/passwd

awk –F: ‘\{print $0\}’ /etc/passwd

awk –F: ‘\{print $1”\\t”$3\}’ /etc/passwd

tail -3 /etc/passwd |awk -F: '\{print $1,$4\}'

**注意：****\\t  ** **表示分隔符为****tab****键，****\\n****表示为换行键，****-F****表示指定分割符，****-v****键值的意思把**

### 二、高级进阶 ###

**1. awk变量**

（变量又分为**内置**和**自定义**变量）

**内置变量：**

**FS**：输入字段分隔符，默认为空白字符

awk -v FS=':' '\{print $1,FS,$3\}’ /etc/passwd

awk –F: '\{print $1,$3,$7\}’ /etc/passwd

**OFS**：输出字段分隔符，默认为空白字符

awk -v FS=‘:’ -v OFS=‘:’ '\{print $1,$3,$7\}’ /etc/passwd

** RS**：输入记录分隔符，指定输入时的换行符

awk -v RS=' ' ‘\{print \}’ /etc/passwd

**ORS**：输出记录分隔符，输出时用指定符号代替换行符

awk -v RS=' ' -v ORS='\#\#\#'‘\{print \}’ /etc/passwd

awk -v RS='\\n' -v ORS='\\n\\n' '\{print\}' /etc/passwd

** NF**：字段数量

awk -F： ‘\{print NF\}’ /etc/fstab,引用内置变量不用$

awk -F: '\{print $(NF-1)\}' /etc/passwd

**NR**：记录号

awk '\{print NR\}' /etc/fstab ; awk END'\{print NR\}' /etc/fstab

**FNR**：各文件分别计数,记录号

awk '\{print FNR\}' /etc/fstab /etc/inittab

**FILENAME**：当前文件名

awk '\{print FILENAME\}’ /etc/fstab

**ARGC**：命令行参数的个数 （awk是第一个参数）

awk '\{print ARGC\}’ /etc/fstab /etc/inittab

awk ‘BEGIN \{print ARGC\}’ /etc/fstab /etc/inittab

**ARGV**：数组，保存的是命令行所给定的各参数

awk ‘BEGIN \{print ARGV\[0\]\}’ /etc/fstab /etc/inittab

awk ‘BEGIN \{print ARGV\[1\]\}’ /etc/fstab /etc/inittab

**自定义变量：(区分字符大小写)**

(1) -v var=value

(2) 在program中直接定义

**示例：**

awk -v test='hello gawk' '\{print test\}' /etc/fstab

awk -v test='hello gawk' 'BEGIN\{print test\}'

awk 'BEGIN\{test="hello,gawk";print test\}'

awk –F:‘\{sex=“male”;print $1,sex,age;age=18\}’ /etc/passwd

awk -F: '\{sex="male";print $1,sex,age;age=$NF\}' /etc/passwd

\#写在文件里

vim awkscript    编写一个脚本名字叫awkscript

\{print script,$1,$2\}   \# 脚本里的内容

awk -F: -f awkscript script="awk" /etc/passwd   在脚本外执行（结果自己实验）

cat awkscript    写一个脚本名字叫awkscript

\{print script,$1,$NF\}

awk -F: -f awkscript script=“ak47” /etc/passwd

**2. 格式化输出**

printf “FORMAT”, item1, item2, …

(1) 必须指定FORMAT

(2) 不会自动换行，需要显式给出换行控制符，\\n

(3) FORMAT中需要分别为后面每个item指定格式符

**格式符：与item一一对应   **

%c: 显示字符的ASCII码

%d, %i: 显示十进制整数

%e, %E:显示科学计数法数值

%f：显示为浮点数

%g, %G：以科学计数法或浮点形式显示数值

%s：显示字符串

%u：无符号整数

%%: 显示%自身

**修饰符：**

\#\[.\#\]：第一个数字控制显示的宽度；第二个\#表示小数点后精度，%3.1f

\-: 左对齐（默认右对齐） %-15s

\+：显示数值的正负符号 %+d

**示例  **（前面是%是格式，后面$表示要输出的字符，必须配合使用）

awk -F: ‘\{printf "%s",$1\}’ /etc/passwd

awk -F: ‘\{printf "%s\\n",$1\}’ /etc/passwd

awk -F: '\{printf "%-20s %10d\\n",$1,$3\}' /etc/passwd      -号表示左对齐，+号表示右对齐，数字表示中间间隔多少个字符

awk -F: ‘\{printf "Username: %s\\n",$1\}’ /etc/passwd

awk -F: ‘\{printf “Username: %s,UID:%d\\n",$1,$3\}’  /etc/passwd

awk -F: ‘\{printf "Username: %15s,UID:%d\\n",$1,$3\}’  /etc/passwd

awk -F: ‘\{printf "Username: %-15s,UID:%d\\n",$1,$3\}’ /etc/passwd

**3. 操作符**

**1. 算术操作符：**

\+ 、-、\*、/、 ^、%

\-x: 转换为负数

\+x: 转换为数值

**2. 赋值操作符：**

=, +=, -=, \*=, /=, %=, ^=

\++, --

**下面两语句有何不同   **（认真想下）

• awk ‘BEGIN\{i=0;print ++i,i\}’             **a = ++i，相当于 i=i+1; a = i;**

• awk ‘BEGIN\{i=0;print i++,i\}’             **a = i++，相当于 a = i; i=i+1;**

**3. 比较操作符：**

==, !=, >, >=, <, <=

**4. 模式匹配符：**

~：左边是否和右边匹配可以是包含

!~：是否不匹配

示例：

awk –F: '$0 ~ /root/\{print $1\}‘ /etc/passwd    $0是否与字符串root匹配，匹配的话打印$1     $0表示打印全部

awk '$0~“^root"' /etc/passwd   匹配到root开头的行自动打印 /里面是要匹配的模式/ 与sed挺像

awk '$0 !~ /root/‘ /etc/passwd

awk –F: ‘$3==0’ /etc/passwd

**5. 逻辑操作符：**

与&&，或||，非!

示例：

• awk –F: '$3>=0 && $3<=1000 \{print $1\}' /etc/passwd

• awk -F: '$3==0 || $3>=1000 \{print $1\}' /etc/passwd

• awk -F: ‘!($3==0) \{print $1\}' /etc/passwd

• awk -F: ‘!($3>=500) \{print $3\}’ /etc/passwd

**4. PATTERN（模式匹配）**

（根据pattern条件，过滤匹配的行，再做处理）

**1. 如果未指定：空模式，匹配每一行**

**2. /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来**

awk '/^UUID/\{print $1\}' /etc/fstab

awk '!/^UUID/\{print $1\}' /etc/fstab

**3. relational expression: 关系表达式，结果为“真”才会被处理**

真：结果为非0值，非空字符串

假：结果为空字符串或0值

示例：

• awk -F: 'i=1;j=1\{print i,j\}' /etc/passwd

• awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd

• awk –F: '$3>=1000\{print $1,$3\}' /etc/passwd

• awk -F: '$3<1000\{print $1,$3\}' /etc/passwd

• awk -F: '$NF=="/bin/bash"\{print $1,$NF\}' /etc/passwd

• awk -F: '$NF ~ /bash/\{print $1,$NF\}' /etc/passwd

**4. line ranges：行范围**

startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式

awk -F: ‘/^root\\>/,/^nobody\\>/\{print $1\}' /etc/passwd

awk -F: ‘(NR>=10&&NR<=20)\{print NR,$1\}' /etc/passwd

**5. BEGIN/END模式**

BEGIN\{\}: 仅在开始处理文件中的文本之前执行一次

END\{\}：仅在文本处理完成之后执行一次

**示例:**

awk -F : ‘BEGIN \{print "USER USERID"\} \{print $1":"$3\} END\{print "end file"\}'  /etc/passwd

awk -F : '\{print "USER USERID“;print $1":"$3\} END\{print "end file"\}' /etc/passwd

awk -F: 'BEGIN\{print " USER UID \\n--------------- "\}\{print $1,$3\}' /etc/passwd

awk -F: 'BEGIN\{print " USER UID \\n--------------- "\}\{print $1,$3\}'END\{print  "======"\} /etc/passwd

seq 10 |awk ‘i=0’   打印空

seq 10 |awk ‘i=1’   打印1…10

seq 10 | awk 'i=!i‘   打印奇数行

seq 10 | awk '\{i=!i;print i\}‘

seq 10 | awk ‘!(i=!i)’        打印偶数行

seq 10 |awk -v i=1 'i=!i'    打印偶数行

**5. awk控制语句**

*  **if-else**

语法：if(判断条件)\{要执行的命令;…\} else \{statement\} （if语句要写到中括号里）

if(condition1)\{statement1\}  else if(condition2)\{statement2\} else\{statement3\}

使用场景：对awk取得的整行或某个字段做条件判断

示例：

awk -F: '\{if($3>=1000)print $1,$3\}' /etc/passwd

awk -F: '\{if($NF=="/bin/bash") print $1\}' /etc/passwd  变量匹配字符串时，字符要加双引号。

awk '\{if(NF>5) print $0\}' /etc/fstab     NF是字段数

awk -F: '\{if($3>=1000) \{printf "Common user: %s\\n",$1\} else \{printf "root or Sysuser: %s\\n",$1\}\}'  /etc/passwd

注意：printf后跟的格式要用双引号引住，变量写双引号外面

awk -F: '\{if($3>=1000) printf "Common user: %s\\n",$1; else printf "root or Sysuser: %s\\n",$1\}' /etc/passwd

注意：当if要执行的命令简单时。可以不用中括号，if和else之间要用；号分开

df -h|awk -F% '/^\\/dev/\{print $1\}'|awk '$NF>=80\{print $1,$5\}‘

awk 'BEGIN\{ test=100;if(test>90)\{print "very good“\}else if(test>60)\{ print "good"\}else\{print "no pass"\}\}'

*  **while****循环**

语法：while(condition)\{statement;…\}

条件“真”，进入循环；条件“假”，退出循环

使用场景：

对一行内的多个字段逐一类似处理时使用

对数组中的各元素逐一处理时使用

示例：

awk '/^\[\[:space:\]\]\*linux16/\{i=1;while(i<=NF)\{print $i,length($i); i++\}\}' /etc/grub2.cfg

awk ‘/^\[\[:space:\]\]\*linux16/\{i=1;while(i<=NF) \{if(length($i)>=10) \{print$i,length($i)\}; i++\}\}’ /etc/grub2.cfg

**•  ** **do-while循环**

语法：do \{statement;…\}while(condition)

意义：无论真假，至少执行一次循环体

示例：

awk 'BEGIN\{ total=0;i=0;do\{ total+=i;i++;\}while(i<=100);print total\}’   在print

这里不需要$声明要打印的变量

此循环是把while里的循环体放到do里，按照执行顺序至少会执行一次循环体

*  **for****循环**

语法：for(expr1;expr2;expr3) \{statement;…\}

常见用法：

for(variable assignment;condition;iteration process)

\{for-body\}

特殊用法：能够遍历数组中的元素

语法：for(var in array) \{for-body\}

示例：

awk '/^\[\[:space:\]\]\*linux16/\{for(i=1;i<=NF;i++) \{print $i,length($i)\}\}' /etc/grub2.cfg

*  **switch****语句**

语法：switch(表达式) \{case VALUE1 or /REGEXP/: statement1; case  VALUE2 or /REGEXP2/:

statement2; ...; default: statementn\}

表达式如果满足case中的VALUE1或REGEXP 就执行后面的语句。

break和continue

awk ‘BEGIN\{sum=0;for(i=1;i<=100;i++)

\{if(i%2==0)continue;sum+=i\}print sum\}‘   只打印奇数行的和

awk ‘BEGIN\{sum=0;for(i=1;i<=100;i++)

\{if(i==66)break;sum+=i\}print sum\}‘=

break \[n\]  跳出整个循环

continue \[n\]

next  :  提前结束对本行处理而直接进入下一行处理（awk自身循环）

awk -F: '\{if($3%2!=0) next; print $1,$3\}' /etc/passwd

**6. awk****数组** **（比较绕认真理解）**

关联数组：array\[index-expression\]

uindex-expression:

(1) 可使用任意字符串；字符串要使用双引号括起来

(2) 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”

若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历

示例：

weekdays\[“mon”\]="Monday“   字符串要用双引号

awk 'BEGIN\{weekdays\["mon"\]="Monday"; weekdays\["tue"\]="Tuesday";print weekdays\["mon"\]\}‘

awk ‘!arr\[$0\]++’  file  完整写法 awk ‘!arr\[$0\]++\{print $0\}’ file

1.arr\[$0\] 没有赋值默认为空

2.先对arr\[$0\]取反变为1

3.1为真便打印这一行

4.如果遇到重复的行，已经有值了，取反为0，就不打印此行，但是后面是++，这个数组值 i就从1变为了2，

后面的以此类推。

• awk '\{!arr\[$0\]++;print $0, arr\[$0\]\}' dupfile

**数组遍历**

若要遍历数组中的每个元素，要使用for循环

for(var in array) \{for-body\}

var是个变量

var将等于数组的下标

注意：var会遍历array的每个索引

示例：

• awk 'BEGIN\{weekdays\["mon"\]="Monday";weekdays\["tue"\]

="Tuesday";for(i in weekdays) \{print weekdays\[i\]\}\}‘

• netstat -tan | awk '/^tcp/\{state\[$NF\]++\}END \{for(i in state) \{ print i,state\[i\]\}\}'

• awk '\{ip\[$1\]++\}END\{for(i in ip) \{print i,ip\[i\]\}\}' /var/log/httpd/access\_log

**7. awk****函数**

**函数调用**： function\_name(argu1, argu2, ...)

条件表达式（三目表达式）：三个表达式组合到一块

selector?if-true-expression:if-false-expression

当selector为真时执行if-true代码，为假时执行if-false代码

selector条件判断，不能用一个“=”号 ，要用==

**示例：**

awk -F: '\{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf

"%15s:%-s\\n",$1,usertype\}' /etc/passwd

当值为空为零取反值为1（值），当有值时取反为0（假）

**awk工具自带的一些函数**

数值处理：

rand()：返回0和1之间一个随机数  返回的是小数

awk 'BEGIN\{srand(); for (i=1;i<=10;i++)print int(rand()\*100) \}'   int() 也是个函数，对数字取整，定义个整数类型

srand() 生成随机数的种子，有它才能生成随机的

**字符串处理：**

• length(\[s\])：返回指定字符串的长度

• sub(r,s,\[t\])：对t字符串进行搜索r表示的模式匹配的内容，并将第一个匹配的内容替换为s

例如 echo "/etc/redhat-release" |awk 'gsub(/\\//,":",$0)'

r表示的模式匹配需要写/ /里面，s 表示要替换的字符用双引号包住。

echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)'

• gsub(r,s,\[t\])：对t字符串进行搜索r表示的模式匹配的内容，并全部替换为s所表示的内容     全局的

echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)'

• split(s,array,\[r\])：以r为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，

第一个索引值为1,第二个索引值为2,…   （挺奇妙的多看看）

netstat -tan | awk '/^tcp\\>/\{split($5,ip,":");count\[ip\[1\]\]++\}END\{for (i in count) \{print i,count\[i\]\}\}'

**自定义函数**

格式：

function name ( parameter, parameter, ... ) \{

statements

return expression

在小括号里定义好拥有几个参数

示例：

cat fun.awk

function max(v1,v2) \{

v1>v2?var=v1:var=v2

return var

BEGIN\{a=3;b=2;print max(a,b)\}

return var 返回var的值

awk –f fun.awk

\-f调用文件

v1,v2 形参

a，b 实参

形参个数=实参个数

**awk****中调用****shell****命令**

system命令

空格是awk中的字符串连接符，如果system中需要使用awk中的变量可以使用

空格分隔，或者说除了awk的变量外其他一律用" "引用起来。

awk BEGIN'\{system("hostname") \}'

awk 'BEGIN\{score=100; system("echo your score is " score) \}

**8. awk****脚本**

**将****awk****程序写成脚本，直接调用或执行**

示例：

cat f1.awk

\{if($3>=1000)print $1,$3\}

awk -F: -f f1.awk /etc/passwd

1.cat f2.awk

\#!/bin/awk –f

\#this is a awk script

\{if($3>=1000)print $1,$3\}

2.chmod +x f2.awk

3.  . / f2.awk –F: /etc/passwd

**向****awk****脚本传递参数**

格式：

awkfile var=value var2=value2... Inputfile

注意：在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通

过-v 参数，让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变

量都需要一个-v参数

示例：

cat test.awk

\#!/bin/awk –f

\{if($3 >=min && $3<=max)print $1,$3\}

chmod +x test.awk

./ test.awk -F: min=100 max=200 /etc/passwd

# 三、案例 #

cat /etc/rc.sysinit |awk '\{for(i=1;i<=NF;i++)\{num\[$i\]++\}\}END\{for(i in num)\{print i,num\[i\]\}\}'   \#统计单词数

awk '/processor/\{print $NF+1\}' /proc/cpuinfo|tail -1 \# 查看 CPU 核数

awk '/MemTotal/\{print $2/1024/1024"G"\}' /proc/meminfo \# 查看内存总量

**总结：**

awk是个很很强大的文本处理工具，与其说工具还不如说是一种语言，它具备语言的一些特性，后面的可能有些难理解，我也没懂，大家还是根据需求来学把，能拥到就看看

感谢：

本文参考老王

文本三剑客AWK详细解读

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 Linux：管道命令与文本处理三剑客（grep、sed、awk）

相关 Linux 文本处理三剑客之 Awk

相关文本处理三剑客 grep sed awk

相关 Linux之shell学习（三）——文本处理三剑客grep、sed、awk

相关 Linux 文本处理三剑客(grep/sed/awk)

相关 Linux三剑客 grep sed awk 详细使用方法

相关文本三剑客AWK详细解读

相关 Linux文本三剑客超详细教程---grep、sed、awk

相关 linux三剑客之一：awk

相关文本三剑客之awk命令详解