面试题:shell脚本编程中grep、sed、awk命令详解

雨点打透心脏的1/2处 2022-09-14 09:57 191阅读 0赞

### 文章目录 ###

*  一、grep的使用
 *  二、sed的使用
 *  三、awk的使用

grep、sed和awk都是文本处理工具，虽然都是文本处理工具单却都有各自的优缺点。在接下来的内容中，将会详细介绍三种命令的使用。

*  **grep：**grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。文本过滤器，如果仅仅是过滤文本，可使用grep，其效率比其他的高很多,(过滤文本)。
 *  **sed：**可以按行处理数据。
 *  **awk：**报告生成器，格式化以后显示。如果对处理的数据需要生成报告之类的信息，或者你处理的数据是按列进行处理的，最好使用awk。（处理列）

# 一、grep的使用 #

grep可以用于**搜索文件中特定模式的子串**，命令的标准使用格式为：

> grep \[option\] “string\_to\_find” filename

*  搜索以we开头的行:

> grep “^we” test0.txt

**运行结果为（其中^表示开头）:**  
![在这里插入图片描述][6c36519732d143f5bb59e8e0d7030a39.png]

*  搜索不以we开头的字符串

> grep -v “^we” test0.txt

![在这里插入图片描述][4d9882f8293c45549222d55ba54abe7a.png]

*  统计匹配成功的行数  
    ![在这里插入图片描述][9609f117fdee4140b8d9d4a1ffae6481.png]
 *  匹配 以we开头的行，并显示行号  
    ![在这里插入图片描述][139672a2c32648f9865128be3bfdf5e3.png]
 *  统计匹配成功的次数  
    ![在这里插入图片描述][30ac971363664596a0dc8dc3bedb5a24.png]
 *  **其中源文件为**  
    ![在这里插入图片描述][635e58934dcc4261b3009d2b80a0e10f.png]

# 二、sed的使用 #

> sed 【options】 ‘【command】’ 【filename】

**其中option中的常用的命令为:**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 1]  
**其中command中的常用的命令为:**  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 2]

*  **我对文件name.txt操作,源文件内容如下所示:**  
    ![在这里插入图片描述][a2e6f98b6c4d4b70a31f709f6d9d8eb7.png]
 *  对源文件中的23替换为000

>  sed -i ‘s/23/000/g’ name.txt

![在这里插入图片描述][96b39fcc8f01456ca62f573316059f22.png]

*  在文件的行首添加id

> sed -i ‘s/^/&id /g’ name.txt

**其中s表示在全文档中寻找，^表示行首位置，代码运行结果为:**  
![在这里插入图片描述][0bccfb594f394772a5b7d738743845e9.png]

# 三、awk的使用 #

**AWK是一种处理文本文件的语言，是一个强大的文本分析工具。  
之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。**

*  awk使用标准格式

> awk 选项参数 ‘\{pattern + action\}’ \{filenames\}

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 3]  
**源文件如下:**  
![在这里插入图片描述][48107a046c31479c832f871d98b36ebf.png]

*   取出文件某一列  
    ![在这里插入图片描述][fc34dfd07c0c4945a6c0fa20bcefbd65.png]
 *   格式化输出  
    ![在这里插入图片描述][3679c9635ace4dfbad4524d7dbc740e5.png]
 *  使用正则取出含有字母e的第一列以及第二列  
    ![在这里插入图片描述][2fc1a734abef40009a5894df6b79cb2a.png]
 *  awk内部使用if语句  
    ![在这里插入图片描述][b1c3070b1c464cc8960cddbb9114d2c9.png]
 *  awk中使用循环  
    ![在这里插入图片描述][2234514be2d54786aec86563605b3295.png]

**awk具有丰富的内置变量可以使用**

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 4]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 5]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 6]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/88fb3309bec245349487be7ede125ad3.png
[6c36519732d143f5bb59e8e0d7030a39.png]: /images/20220828/4f20082bc95546a18bf3fd222172a683.png
[4d9882f8293c45549222d55ba54abe7a.png]: /images/20220828/55f80de3cd014ba2ae4bed824befe111.png
[9609f117fdee4140b8d9d4a1ffae6481.png]: /images/20220828/ce1843f015dc46eea783f483ed761fc6.png
[139672a2c32648f9865128be3bfdf5e3.png]: /images/20220828/7990f8b2a7da45228eccf0b12d1c624b.png
[30ac971363664596a0dc8dc3bedb5a24.png]: /images/20220828/3b52e784701047c6a0daa5a4f8ac7991.png
[635e58934dcc4261b3009d2b80a0e10f.png]: /images/20220828/815cb3d302fb40c7bed465d55934afd9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/1169ea0f376b43d2ad5b1019ed2f6636.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/7e2aecd69b49402a8459514e03781888.png
[a2e6f98b6c4d4b70a31f709f6d9d8eb7.png]: /images/20220828/fa2b8929a54546d1817d2714dc162b83.png
[96b39fcc8f01456ca62f573316059f22.png]: /images/20220828/5949797f9e464f5c93ab66c4f49443d7.png
[0bccfb594f394772a5b7d738743845e9.png]: /images/20220828/9f5965bf9ffb42b9b6d05f8a4ef9e7d0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/0e5c1ae678824163900eed0705117f16.png
[48107a046c31479c832f871d98b36ebf.png]: /images/20220828/74b3c71af75b41ba8421d03b626c96b8.png
[fc34dfd07c0c4945a6c0fa20bcefbd65.png]: /images/20220828/6f1d62f20a694c30b6a11244e2371615.png
[3679c9635ace4dfbad4524d7dbc740e5.png]: /images/20220828/62f673d3a5ba4c74b222a899693c1b55.png
[2fc1a734abef40009a5894df6b79cb2a.png]: /images/20220828/c9b88b15329441588b1d205e60b0a85f.png
[b1c3070b1c464cc8960cddbb9114d2c9.png]: /images/20220828/ae4e5b6c5cdc41b990559af6e68706cc.png
[2234514be2d54786aec86563605b3295.png]: /images/20220828/bb6df3dc117342d994d2657433392441.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/9fa591d0b3b74e05a1578555a9610b55.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/65e23c52d73644ada477fb7f1130f067.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5qOu5piO5biu5aSn5LqO6buR6JmO5biu_size_19_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/7a4b80ff74874cc28b593da101317e66.png