Linux 文本处理三剑客之 Sed

叁歲伎倆 2023-07-15 03:57 10阅读 0赞

**Sed** 全称是：Stream EDitor，是一项Linux指令，功能同awk类似，差别在于，sed简单，对列处理的功能要差一些，awk的功能复杂，对列处理的功能比较强大。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70][]

调用sed命令有两种形式：

*  sed \[options\] 'command' file(s)
 *  sed \[options\] -f scriptfile file(s)
 *  a\\在当前行后面加入一行文本。
 *  b label分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
 *  c\\用新的文本改变本行的文本。
 *  d从模板块（Pattern space）位置删除行。
 *  D删除模板块的第一行。
 *  i\\在当前行上面插入文本。
 *  h拷贝模板块的内容到内存中的缓冲区。
 *  H追加模板块的内容到内存中的缓冲区
 *  g获得内存缓冲区的内容，并替代当前模板块中的文本。
 *  G获得内存缓冲区的内容，并追加到当前模板块文本的后面。
 *  l列表不能打印[字符][Link 1]的清单。
 *  n读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
 *  N追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
 *  p打印模板块的行。
 *  P（大写）打印模板块的第一行。
 *  q退出Sed。
 *  r file从file中读行。
 *  t labelif分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
 *  T label错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
 *  w file写并追加模板块到file末尾。
 *  W file写并追加模板块的第一行到file末尾。
 *  ！表示后面的命令对所有没有被选定的行发生作用。
 *  s/re/string用string替换[正则表达式][Link 2]re。
 *  =打印当前行号码。
 *  \#把注释扩展到下一个换行符以前。
 *  以下的是替换标记g表示行内全面替换。
 *  p表示打印行。
 *  w表示把行写入一个文件。
 *  x表示互换模板块中的文本和缓冲区中的文本。
 *  y表示把一个[字符][Link 1]翻译为另外的字符（但是不用于正则表达式）

Sed常见命令参数

*  p==print 打印 
 *  d：delete 删除
 *  =：打印匹配行的行号
 *  \-n 取消默认的完整输出，只显示匹配 
 *  \-e 允许多项编辑
 *  \-i 修改文件内容
 *  \-r 不需要转义
 *  注意：& 符号在sed命令中代表上次匹配的结果
 *  **sed正则表达式**  
    \\     不转义，即元字符照常打印  
    ^    以字符串开头，如/^My/以My开头的行  
    $   以字符串结尾，如/My$/以My结尾的行  
    .    匹配一字符,如/M..y/M和y间有俩字符  
    \*   匹配0个或多个前面的字符  
    \[\]   匹配里面的单字符,如/\[Mh\]y/匹配My和hy  
    \[^\]  匹配不在里面的字符  
          如/\[^Mh\]y/匹配不是My和hy  
    \$..\$ 保存已经匹配的字符，用\\n来呼出  
         如1,20s/\$you\$self/\\1r/用\\1呼出you，最多保存9个，从左边开始标记  
    &    保存查找串,如s/My/you&you/,&表示My  
    \\＜ 词首定位符，和^类似，如/\\＜My/  
    \\＞ 词尾定位符，和$类似，如/My\\＞/  
    x\\\{m\\\} 连续m个x，如/a\\\{5\\\}/查找连续5个a  
    x\\\{m,\\\} 至少m个x，如/a\\\{5,\\\}/至少5个a  
    x\\\{m,n\\\} 至少m个x，最多n个x  
    \\w   匹配每个字母和数字  
    \\w\\+  匹配每一个单词  
    \\s  匹配每个空格  
    \\x\\+  x表示一个字符or一个单词，当匹配到一个或者多个时操作

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1][]

*  显示文件的某一行
 *  显示 /etc/passwd 文件的第5行 sed -n '5p' /etc/passwd
 *  显示文件的3~5行 sed -n '3,5p' /etc/passwd

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2][]

*  过滤指定的字符串,显示正行内容

![20200315132027850.png][]

*  显示包含"root"的行到包含"ftp"的行之间的行

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3][]

*  打印 1-8 行，并显示行号

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4][]

*  只打印出行号

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5][]

*  只打印出匹配到的行和行号

![20200315133402294.png][]

*  ### **常用查找和替换** ###
 *  查找用 toor 替换 /tmp/passwd 文件中的 root

sed 's@root@toor@g' /tmp/passwd    **\#匹配分隔符可以自定， /   @  \# 均可**  
==>sed 's\#root\#toor\#g'  /tmp/passwd    与上同  
              s==search  查找  
              g==global  全局替换  
              **-i: implace  直接写入文件（慎用）**

*  sed -i 's@root@toor@g' /tmp/passwd  \#将 /tmp/passwd 文件中的 root 替换为 toor，并写入文件
 *  sed -r 's@\[0-9\]+@ @g' /tmp/passwd  \# -r 使用扩展正则表达式，不需要转义，将 /tmp/passwd 中的数字都替换为 空格
 *  sed -ri.bak 's@\[0-9\]+@ @g' /tmp/passwd \# i.bak 为写入文件时自动备份文件为 ：\[文件名\].bak

![20200315133932523.png][]

![20200315143433776.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7][]

*  增加文件内容
 *  ### **i**  :  inset 在匹配到的行的**上一行**增加内容 ###
 *  ### **a **:  after 在匹配到的行的**下一行**增加内容 ###
 *  sed '2a test' /tmp/passwd    在 /tmp/passwd 中的**第2行**的**下**面添加一行
 *  sed '2i test' /tmp/passwd    在 /tmp/passwd 中的**第2行**的**上**面添加一行

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8][]

*  添加多行 使用 \\n 换行符
 *  sed '2i test\\nzhangsan' /tmp/passwd

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9][]

*  在不同的行添加内容
 *  sed -e '2i test' -e '5a zhangsan' /tmp/passwd 
 *  在第2行的前面和第5行的后面各添加一条信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10][]

*  删除行
 *  sed '2d' /tmp/passwd  \#删除第2行
 *  sed '2,4d' /tmp/passwd \#删除2~4行
 *  sed -e\{2,4,8\}d /tmp/passwd  \#删除不连续的行，注意这里没有分号 ' '
 *  sed -nr '/root|nologin/!p' /tmp/passwd  \#删除包含 root 和 nologin 的行，**！为取反**
 *  sed '/toor/ w /tmp/test.txt' /tmp/passwd \# w 将匹配到的内容，写入一个文件 加 -n 为静默模式
 *  find /tmp -name test.txt | xargs sed 's@gf@root@g'   \#和 find 命令结合使用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14][]

![20200315150351844.png][]

*  **使用 Sed 获取本机的 IP 地址**
 *  ifconfig | sed -n '2p' | sed -r 's\#.\*r:(.\*) B.\*k:(.\*)\#\\1\#g‘
 *  ifconfig | sed -nr 's\#.\*r:(.\*) B.\*k:(.\*)\#\\1\#p'
 *  **(.\*)  **表示保留匹配的项,之后可以用\\1取出第一个括号内匹配的内容，\\2取出第二个括号内匹配的内容

![2020031514082639.png][]

![20200315150757737.png][]

*  删除重复的行
 *  sed '$!N; /^\$.\*\$\\n\\1$/!P; D' $FILE   \#删除相邻的重复行，只保留第一行
 *  指定对  
    ‘$' 文件最后一行，  
    ’!' 不进行  
    ’N‘ 读入下一行并加入缓存尾；  
    ’；‘ （语句分隔）  
      
    指定对  
    ’/‘ 查找（起始）  
    ’\\n' 换行符（转意写法）  
    \\1$（字符序列）  
    ’/‘ （查找结束）  
    ’！‘ 不进行  
    ’P‘ 输出缓存中顺序第一字符到’\\n'之间的字符序列  
    ‘；’  
    ‘D’ 删除缓存中顺序第一字符到’\\n'之间的字符序列
 *  sort -n /tmp/test.txt | sed '$!N; /^\$.\*\$\\n\\1$/!P; D'

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 16][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70]: /images/20230529/ddd6facff6824ed6a2569a5c02c8c30e.png
[Link 1]: https://baike.baidu.com/item/%E5%AD%97%E7%AC%A6
[Link 2]: https://baike.baidu.com/item/%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 1]: /images/20230529/0eb4a22c5027459fac602410e3e7b4b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 2]: /images/20230529/7944b09f3e914719af838325ceb5edbc.png
[20200315132027850.png]: /images/20230529/ac23366fecd9412a839b0b0a5cb3a3f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 3]: /images/20230529/e8c330a81e784a388872687bc2fb7f86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 4]: /images/20230529/d32dc1b47472464f80763d459701092a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 5]: /images/20230529/3aa8457fad404679bcd3df4939c6637c.png
[20200315133402294.png]: /images/20230529/99affff648494f64a91679bae887ed49.png
[20200315133932523.png]: /images/20230529/fc45029c7ead4736a95e45e2d75ca950.png
[20200315143433776.png]: /images/20230529/ccadbb97ee47435e8290fe79a2fdb3bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 6]: /images/20230529/9076f64da67a4de68129ffc178778cbb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 7]: /images/20230529/bd84264b87424775a82147e73c3a8b87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 8]: /images/20230529/35ccef49bbfa457c8b6e32f74a2fa4d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 9]: /images/20230529/5696ce38e36c4a9395c097151ee70443.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 10]: /images/20230529/a66496a0c1e04d59973cbae0fef4f514.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 11]: /images/20230529/e60be6a88b2e4957b0b56433230bc510.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 12]: /images/20230529/e611b51b0df14fe093f6cac8f6a82e6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 13]: /images/20230529/0cd99e8483c44f579f4a9bc9164c19a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 14]: /images/20230529/c4f74670a6ab4a4bbc96b04d5ffa4473.png
[20200315150351844.png]: /images/20230529/2a2cc1b95be744eda99d21d981ceb784.png
[2020031514082639.png]: /images/20230529/60177665a4204159a2ae13f8701ed5e3.png
[20200315150757737.png]: /images/20230529/2fa460f919cf4809a50da06b54140b6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 15]: /images/20230529/5c398697435b48489105de8908e551a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2ZlaTA0Mjg_size_16_color_FFFFFF_t_70 16]: /images/20230529/62260673355445b2995ba10c1e58426c.png