awk使用详解（shell）

小鱼儿 2022-05-30 12:17 190阅读 0赞

一．基本介绍

1.awk:

awk是一个强大的文本分析工具，在对文本文件的处理以及生成报表，awk是无可替代的。awk认为文本文件都是结构化的，它将每一个输入行定义为一个记录，行中的每个字符串定义为一个域(段)，域和域之间使用分割符分割。

2.功能：流控制、数学运算、进程控制、内置的变量和函数、循环和判断

3.工作原理：

awk 会把每行进行一个拆分，用相应的命令对拆分出来的“段”进行处理。

（1）行工作模式，读入文件的每一行，会把一行的内容，存到$0里

（2）使用内置的变量FS(段的分隔符，默认用的是空白字符)，分割这一行，把分割出来的每个段存到相应的变量$(1-100)

（3）输出的时候按照内置变量OFS(out FS)，输出

（4）读入下一行继续操作

简单实例

\[root@tx3 ~\]\# echo "this is a book" > awk.txt

\[root@tx3 ~\]\# awk '\{print $2,$1,$3,$4\}' awk.txt

is this a book

4.   Awk常用内置变量表：

1 $0             当前记录（作为单个变量）

2 $1~$n          当前记录的第n个字段，字段间由FS分隔

3 FS             输入字段分隔符 默认是空格

4 NF             当前记录中的字段个数，就是有多少列

5 NR             已经读出的记录数，就是行号，从1开始

6 RS             输入的记录他隔符默 认为换行符

7 OFS            输出字段分隔符 默认也是空格

8 ORS            输出的记录分隔符，默认为换行符

9 ARGC           命令行参数个数

10 ARGV           命令行参数数组

11 FILENAME       当前输入文件的名字

12 IGNORECASE     如果为真，则进行忽略大小写的匹配

13 ARGIND         当前被处理文件的ARGV标志符

14 CONVFMT        数字转换格式 %.6g

15 ENVIRON        UNIX环境变量

16 ERRNO          UNIX系统错误消息

17 FIELDWIDTHS    输入字段宽度的空白分隔字符串

18 FNR            当前记录数

19 OFMT           数字的输出格式 %.6g

20 RSTART         被匹配函数匹配的字符串首

21 RLENGTH        被匹配函数匹配的字符串长度

常见参数：

### 常用命令选项 ###

*  `-F fs` fs 指定输入分隔符，fs可以时字符串或正则表达式
 *  `-v var=value` 赋值一个用户定义变量，将外部变量传递给awk
 *  `-f scriptfile` 从脚本文件中读取awk命令

例：打印第一行最后一个字段(使用：分割)

\[root@tx3 ~\]\# awk -F: 'NR==1\{print $NF\}' p1

/bin/bash

### awk脚本基本格式 ###

1.  awk 'BEGIN\{ commands \} pattern\{ commands \} END\{ commands \}' file 
    
    --------------------

一个awk脚本通常由`BEGIN， 通用语句块，END语句块组成`，三部分都是可选的。 脚本通常是被单引号或双引号包住。

## awk执行过程分析 ##

*  第一步： 执行`BEGIN { commands } pattern` 语句块中的语句
    
    > BEGIN语句块：在awk开始从输入输出流中读取行之前执行，在BEGIN语句块中执行如变量初始化，打印输出表头等操作。
 *  第二步：从文件或标准输入中读取一行，然后执行`pattern{ commands }`语句块。它逐行扫描文件，从第一行到最后一行重复这个过程，直到全部文件都被读取完毕。
    
    > pattern语句块：pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行\{ print \}，即打印每一个读取到的行。`{ }`类似一个循环体，会对文件中的每一行进行迭代，通常将变量初始化语句放在BEGIN语句块中，将打印结果等语句放在END语句块中。
 *  第三步：当读至输入流末尾时，执行`END { command }`语句块
    
    > END语句块:在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

常用的都在这里了。其他的比较不常用的循环喝天剑判断我就不多说了。可以自己百度。