Grep Sed Awk 笔记和实例

痛定思痛。 2022-05-14 22:54 245阅读 0赞

Grep Sed Awk Note

1. Grep

1.1 何为 Grep

Grep 表示 Global search Regular Expression and Print out the line ，是一种强大的文本搜索工具。它从若干个文件中搜索字符串模板，模板后的所有字符串被视为文件名，因此如果模板中有空格则需要被引用，并默认将搜索结果送到终端。

如果搜索成功，则返回 0 ；如果无法匹配到模板，返回 1 ；如果目标文件不存在，返回 2

1.2 Grep 选项

\- 数字  同时显示匹配行的上下若干行，如 \-2 表示同时显示匹配行的上下 2 行；示例： \#grep -2 “meet” test.txt

\-b  在匹配行前面打印该行所在块；

\-c  只打印匹配的行数；

\-f File  从文件中提取要匹配的模板；

\-h  搜索多个文件时，默认会在匹配行前面显示所在文件名，该参数取消此功能；示例： \#grep –h “meet” test.txt 1.txt

\-i  忽略大小写；

\-q  不显示匹配行，只返回退出状态；

\-l  显示匹配模板的文件列表；示例： grep –l “meet” \*

\-L -l 的取反，显示不匹配模板的文件列表；

\-n  在匹配行前显示行号；

\-s  不显示错误信息；

\-v  只显示不匹配的行；

\-V  显示版本信息；

\-w 结合 /< 和 /> 匹配单词；

1.3  基本正则

^  匹配行开始

$  匹配行末尾

.  匹配一个非换行字符

\*  匹配任意个先前字符

\[\]  匹配指定范围内字符

\[^\]  匹配不属于指定范围的字符

/< 匹配单词开始

/>  匹配单词结束

/\{m/\}  重复 m 次先前字符

/\{m,/\}  重复至少 m 次先前字符

/\{m,n/\}  重复 m 到 n 次先前字符

/w  匹配文字和数字

/W /w 的取反，匹配非文字和数字

/b  设置边界，即只匹配单词；如 ’/bschedule/b’ 不会匹配 ”scheduled”

1.4 扩展正则 egrep 或者 grep –E

\+  匹配至少一个先前字符

?  匹配 0 个或 1 个先前字符

|  匹配其中之一，如 a|b|c

()  在字符串中插入 RE ，如 abc(d|e)fg

\{m\} 、 \{m,\} 、 \{m,n\}  同上表示匹配 m 个、至少 m 个、 m 到 n 个

1.5 POSIX 字符集

\[:alnum:\]  表示文字和数字

\[:alpha:\]  表示文字

\[:digit:\]  表示数字

\[:xdigit:\]  表示十六进制数字

\[:graph:\]  表示非空格、控制字符等的其它非空字符

\[:lower:\]  小写字符

\[:upper:\]  大写字符

\[:cntrl:\]  控制字符

\[:print:\]  可打印字符

\[:punct:\]  标点符号

\[:space:\]  空白字符，如空格、制表符、换行符

1.6  实例

① 从一堆 URL 中提取出非 IP 类 URL ： \# grep "^\[^0-9\]/\{2,3/\}/." final.result > final\_no\_ip.result

② 取出不包含 James 的记录： \#grep –n –v James datafile

③ 取出以 K 、 k 、 A 、 a 开头的记录： \#grep –i –n ^\[AaKk\] datafile

2. Sed

2.1 何为 Sed

Sed 表示 streams editor ，它一次读入一行记录到缓冲区（称为“模式空间”），然后根据命令处理缓冲区中的内容，再送到终端显示。如此循环，直到文件结束。

2.2 Sed 选项

\-e  表示允许多个命令执行，示例： sed –e ‘s/a/A’ –e ‘s/b/B’ data.txt

\-f  后面指定 sed 脚本文件，如果没有 \-e 或 \-f 则第一个非选项参数视为 sed 命令

\-n  取消自动打印模式空间

\-r  在脚本中使用扩展正则表达式

\-s  将输入文件视为独立文件，而非连续长输入

\--help

\--version

2.3 Sed 命令

2.3.1  替换命令 s

s  表示 substitution ，替换，是 sed 中最重要的命令。示例： echo today | sed ‘s/day/night/’ ，得到的输出结果为“ tonight ”。

替换命令中分隔符为“ / ”，所以如果要替换“ / ”就需要进行转义“ // ”，多个这样的正反斜线被称为“ Picket Fence ”。

&  在 s 命令中该符号表示匹配串。示例： echo today | sed ‘s/day/(&)/’ ，得到的输出结果为“ to(day) ”。

/1 sed 可以记忆 /1 到 /9 ，分别表示第 1 到第 9 个匹配串。

2.3.2  替换命令 s 的末尾标记

/g  表示全局搜索。示例： sed ‘s/day/night/g’ 。

/p  表示输出当前行。示例： sed ‘s/day/(&)/p’ 。

/w  将处理结果写到文件中。示例： sed ‘s/day/(&)/w day.txt’

2.3.3  指定 sed 操作范围

通过数字指定行范围： sed ‘1,100 s/a/A’ 。

通过模式指定行范围： sed ‘/start/,/stop/ s/a/A/’ 。

通过混合指定行范围： sed ‘1,/stop/ s/a/A/’ 。

2.3.4  删除命令 d

删除指定行： sed ‘1, d’ 。

删除范围行： sed ‘1,$ d’ ，表示删除第一行到最后一行。

删除匹配行： sed ‘/^$/ d’ ，表示删除空行。

2.3.5  输出命令 p

输出指定行： sed ‘1 p’ 。

输出范围行： sed ‘1,10 p’ 。

输出匹配行： sed ‘/^\#/ p’ 。

2.3.6  取反命令 !

不输出匹配行： sed ‘/^\# !p’ 。

删除非指定行： sed ‘1,10 !d’ ，即删除 11 到最后一行。

2.3.7  使用 \{\} 组合命令

即可以在 \{\} 中放置多条命令。

2.3.8  文件读写与追加、插入、改变

添加 a 表示将行添加到匹配行后面，插入 i 则是插入到前面，命令 c 则是改变当前行。

读文件使用 r 命令，写文件使用 w 命令。

示例： sed ‘/meet/ r 2.txt’ < 1.txt ，如果 2.txt 有 1.txt 的匹配行，则会在该匹配行后面显示 2.txt 的内容。

示例： echo abc123 | sed ‘/abc/ a hello’ ，得到结果为 :

abc123

hello

示例： echo abc123 | sed ‘/abc/ i hello’ ，得到结果为 :

hello

abc123

示例： echo abc123 | sed ‘/abc/ c hello’ ，则将匹配行换成 hello 。

2.3.9  获取下一行 n

示例： sed ‘/meet/\{n; s/meet/(&)/;\}’ meet.txt ，每次匹配到 meet 时，就读入下一行做处理，如示例中是对下一行的 meet 做添加括号的处理。

3 ．  Awk

3.1  何为 Awk

Awk 取名于三个作者的姓氏。它是一种数据驱动的编程语言，用于在 \*nix 下对文本和数据进行处理，它支持用户自定义函数和正则表达式，是一种强大的编程工具。

Awk 逐行扫描文件，当该行匹配指定模式时，就对其执行指定操作，直到处理到输入文件末尾。其一般格式为： pattern \{action\} 。

3.2 Awk 选项

\-F fs  指定域分隔符，后跟字符串或 RE

\-f scriptfile  从文件中读取 awk 命令，后跟文件名

\-v var=val  变量赋值

\-W help  显示帮助信息，使用该命令可以查询其它很多选项

3.3  模式

Awk 的模式可以有： / 正则表达式 / 、关系表达式、模式匹配表达式（ ~ 或者 !~ ）、模式，模式（指定范围）、 BEGIN 、 END 。

3.4  操作

Awk 的操作有：输出、变量或数组赋值、函数、逻辑控制。

3.5  主要环境变量

$0  当前记录

$n  当前记录的第 n 个域

FILENAME  当前文件名

FS  域分隔符，默认为任何空格

NF  当前记录的域数目

NR  当前记录数，即行号

FNR  同上，但相对于文件

3.6  基本正则和 POSIX 字符集

参考上述 grep 和 sed 。

3.7  实例

[http://blog.csdn.net/jasonblog/archive/2010/08/10/5801961.aspx][http_blog.csdn.net_jasonblog_archive_2010_08_10_5801961.aspx]

③ 只输出第一个域： \#awk ‘\{print $1\}’ datafile

④ 显示以 350 结尾的行号： \#awk ‘/350$/ \{print NR\}’ datafile

⑤ 用 if 语句输出第一个域为 Sir 的行号： \#awk ‘\{if($1==”Sir”)\{print NR\}\}’ datafile

[http_blog.csdn.net_jasonblog_archive_2010_08_10_5801961.aspx]: http://blog.csdn.net/jasonblog/archive/2010/08/10/5801961.aspx