linux下sed正则表达式匹配批量替换文件中的内容

左手的ㄟ右手 2021-06-11 15:14 589阅读 0赞

## [https://www.jianshu.com/p/ad3a10fa812a][https_www.jianshu.com_p_ad3a10fa812a] ##

## sed命令介绍 ##

sed是一种流编辑器，它是文本处理中非常有用的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为『模式空间』（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。

## 基本语法 ##

sed的命令格式：sed [options] 'command' file(s)
    sed的脚本格式：sed [options] -f scriptfile file(s)

## 参数 ##

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>完整参数</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-e script</td> 
   <td>-expression=script</td> 
   <td>以选项中的指定的script来处理输入的文本文件</td> 
  </tr> 
  <tr> 
   <td>-f script</td> 
   <td>--files=script</td> 
   <td>以选项中的指定的script文件来处理输入的文本文件</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>--help</td> 
   <td>显示帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>--quiet --silent</td> 
   <td>仅显示script处理后的结果</td> 
  </tr> 
  <tr> 
   <td>-V</td> 
   <td>--version</td> 
   <td>显示版本信息</td> 
  </tr> 
 </tbody> 
</table>

## 命令 ##

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>d</td> 
   <td>删除，删除选择的行</td> 
  </tr> 
  <tr> 
   <td>D</td> 
   <td>删除模板块的第一行</td> 
  </tr> 
  <tr> 
   <td>s</td> 
   <td>替换指定字符</td> 
  </tr> 
  <tr> 
   <td>h</td> 
   <td>拷贝模板块的内容到内存中的缓冲区</td> 
  </tr> 
  <tr> 
   <td>H</td> 
   <td>追加模板块的内容到内存中的缓冲区</td> 
  </tr> 
  <tr> 
   <td>g</td> 
   <td>获得内存缓冲区的内容，并替代当前模板块中文本</td> 
  </tr> 
  <tr> 
   <td>G</td> 
   <td>获得内存缓冲区的内容，并追加到当前模板块文本的后面</td> 
  </tr> 
  <tr> 
   <td>l</td> 
   <td>列表不能打印字符的清单</td> 
  </tr> 
  <tr> 
   <td>n</td> 
   <td>读取下一个输入行，用下一个命令处理新的行而不是第一个命令</td> 
  </tr> 
  <tr> 
   <td>N</td> 
   <td>追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码</td> 
  </tr> 
  <tr> 
   <td>p</td> 
   <td>打印模板块的行</td> 
  </tr> 
  <tr> 
   <td>P</td> 
   <td>打印模板块的第一行</td> 
  </tr> 
  <tr> 
   <td>q</td> 
   <td>退出sed</td> 
  </tr> 
  <tr> 
   <td>b label</td> 
   <td>分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾</td> 
  </tr> 
  <tr> 
   <td>r file</td> 
   <td>从file中读行</td> 
  </tr> 
  <tr> 
   <td>t label</td> 
   <td>if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾</td> 
  </tr> 
  <tr> 
   <td>T label</td> 
   <td>错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾</td> 
  </tr> 
  <tr> 
   <td>w file</td> 
   <td>写并追加模板块到file末尾</td> 
  </tr> 
  <tr> 
   <td>W file</td> 
   <td>写并追加模板块的第一行到file末尾</td> 
  </tr> 
  <tr> 
   <td>!</td> 
   <td>表示后面的命令对所有没有被选定的行发生作用</td> 
  </tr> 
  <tr> 
   <td>=</td> 
   <td>打印当前行号</td> 
  </tr> 
  <tr> 
   <td>#</td> 
   <td>把注释扩展到第一个换行符以前</td> 
  </tr> 
 </tbody> 
</table>

接下来主要介绍替换功能

## 替换的使用 ##

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>g</td> 
   <td>表示行内全面替换</td> 
  </tr> 
  <tr> 
   <td>p</td> 
   <td>表示打印行</td> 
  </tr> 
  <tr> 
   <td>w</td> 
   <td>表示把行写入一个文件</td> 
  </tr> 
  <tr> 
   <td>x</td> 
   <td>表示互换模板块中的文本和缓冲区中的文本</td> 
  </tr> 
  <tr> 
   <td>y</td> 
   <td>表示把一个字符翻译为另外的字符（但是不用于正则表达式）</td> 
  </tr> 
  <tr> 
   <td>\1</td> 
   <td>子串匹配标记</td> 
  </tr> 
  <tr> 
   <td>&amp;</td> 
   <td>已匹配字符串标记</td> 
  </tr> 
 </tbody> 
</table>

当然要使用其功能需要对`正则表达式`有一定了解。这里不在介绍。

## 使用例子 ##

创建一个文档hello.txt:

you are a  boy.
    hello
    my name is han.
    hello
    hello,how do you do.
    hello
    nice to meet you. good job.

开始操作Ｏ（∩＿∩）Ｏ～

### 替换hello成world，并打印到屏幕上 ###

sed 's/hello/world/' hello.txt

s 表示替换  
hello 表示匹配的字母，是正则表达式  
world　表示需要替换成的字母  
执行结果：

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My1iZTc2NjVmMzVlYjJmYjZmLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvMTAwMC9mb3JtYXQvd2VicA][]

image.png

当我们打开文件时，发现并没有改变。这里只是替换缓存区内的内容，并不改变文件里的内容。

从开始位置替换，并加上回车

sed 's/^hello/world\n/' hello.txt

执行结果：

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My03MDA3YWVkYzlkZmY4YjRiLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvMTAwMC9mb3JtYXQvd2VicA][]

image.png

如果文件太大，这样打印就会显示很多不必要的内容，这样我们就可以使用只打印被匹配的行的命令。

只显示被匹配的行

sed -n 's/hello/world/p' hello.txt

n和p的意思上文有介绍　不再解释。  
执行结果：

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My0xNDUyYmJmNTE1M2ZjZDA4LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvNjkyL2Zvcm1hdC93ZWJw][]

image.png

值得注意的是，如果想要回写到文件中（和-i连用），不要只打印当前匹配航，否者只会保存当前匹配行，其他的丢失。

替换文件中的内容，并写到文件里

sed -i 's/o/ABC/' hello.txt

执行结果：  
执行cat查看文件内容：

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My0wN2Y5NDA5ZTQ3ZWRiNTg3LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvNjk1L2Zvcm1hdC93ZWJw][]

image.png

可以看到虽然替换了，但是只替换了第一个被匹配的到内容。  
如果想全部替换到字母'o'，就需要使用参数'g'。

全部替换，，并写到文件里

sed -i 's/o/ABC/g' hello.txt

![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My03ZDE4OTAxYTU0NDY5MjEwLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvODQ3L2Zvcm1hdC93ZWJw][]

image.png

执行后，全部的'o'，都被替换了。

如果想批量修改代码中的内容使用它还是很方便的。Ｏ（∩＿∩）Ｏ哈哈～

获取 所有项目的git地址：
    git/config文件如下：
    [core]
    	repositoryformatversion = 0
    	filemode = false
    	bare = false
    	logallrefupdates = true
    	symlinks = false
    	ignorecase = true
    [remote "origin"]
    	url = ssh://git@git.dianpingoa.com/emidas/emidas-decorate.git
    	fetch = +refs/heads/*:refs/remotes/origin/*
    [branch "master"]
    	remote = origin
    	merge = refs/heads/master
    [branch "feature/search"]
    	remote = origin
    	merge = refs/heads/feature/search
    [branch "beta"]
    	remote = origin
    	merge = refs/heads/beta
    
    
    需要获取每一个url 那一行后面的地址，正则需要匹配  空格符  url = xxxx
    具体正则 (^\s*)url = (.*)，sed命令中需要转义  \ $ * + ( )
    
    sed -n 's/$^\s*$url = $.*$/\2/p' */.git/config > test.txt

作者：漫步\_9378  
链接：https://www.jianshu.com/p/ad3a10fa812a  
来源：简书  
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

[https_www.jianshu.com_p_ad3a10fa812a]: https://www.jianshu.com/p/ad3a10fa812a
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My1iZTc2NjVmMzVlYjJmYjZmLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvMTAwMC9mb3JtYXQvd2VicA]: /images/20210527/a2b141c937de4c8b847d0587c221fdd7.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My03MDA3YWVkYzlkZmY4YjRiLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvMTAwMC9mb3JtYXQvd2VicA]: /images/20210527/53665e2d098749b2bfbcb7ae91dae659.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My0xNDUyYmJmNTE1M2ZjZDA4LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvNjkyL2Zvcm1hdC93ZWJw]: /images/20210527/b72abf53911a4cb0acb4bec1a5154511.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My0wN2Y5NDA5ZTQ3ZWRiNTg3LnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvNjk1L2Zvcm1hdC93ZWJw]: /images/20210527/c8187e5711d44237a912f26056bd73f2.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xMTM0NTg2My03ZDE4OTAxYTU0NDY5MjEwLnBuZz9pbWFnZU1vZ3IyL2F1dG8tb3JpZW50L3N0cmlwJTdDaW1hZ2VWaWV3Mi8yL3cvODQ3L2Zvcm1hdC93ZWJw]: /images/20210527/3dd292738906414b84e16625b2fd70b9.png