Linux Shell基线配置高级操作

太过爱你忘了你带给我的痛 2021-10-01 01:26 379阅读 0赞

## 一、输入解析类 ##

### 1.1 echo解析tab和换行 ###

问题描述：echo默认是原样输出字符串，并不解析\\t和\\n等反斜杠字符，如下图所示。我们希望echo能解析\\t和\\n等字符。

![1116722-20190103111232389-203155969.png][]

处理办法：可以使用-e指示echo识别反斜杠。

![1116722-20190103111101331-1734917112.png][]

### 1.2 cat将变量写入文件 ###

问题描述：我们经常需要将变量写到配置文件，比如将java相关的几个变量写到~/.profile，追加多行cat是最方便的但cat默认会在插入时解析变量，如下图所示。我们希望就是原样写入而不自动解析变量。

![1116722-20190103110026729-1646592213.png][]

处理办法：可通过给EOF加上单引号来指示cat不要解析变量。

![1116722-20190103110429932-196881776.png][]

参考：[https://blog.csdn.net/u010154760/article/details/45955797][https_blog.csdn.net_u010154760_article_details_45955797]

### 1.3 while语句中修改变量值 ###

问题描述：我们知道shell中的变量是全局的，但如果注意会发现有时在while语句内修改变量值并不生效。如下所示，我们想用while语句统计/etc/passwd中的用户数量，但user\_count最后依然是0。

user_count=0
    cat /etc/passwd | while read line
    do
        user_count=`expr $user_count + 1`
    done
    echo $user_count

![1116722-20190105093655511-726882096.png][]

处理办法：造成这种情况的原因是while针对数据从管道传输过来这种方式，会启动一个子shell去处理，在子shell中修改参数并不能影响当前shell中的参数的值（相当于函数中的传值）。解决办法是换一种while就在当前shell中处理的写法。

user_count=0
    while read line
    do
        user_count=`expr $user_count + 1`
    done <<< "$(cat /etc/passwd)"
    echo $user_count

![1116722-20190105094345141-248241197.png][]

参考：[https://stackoverflow.com/questions/16854280/a-variable-modified-inside-a-while-loop-is-not-remembered][https_stackoverflow.com_questions_16854280_a-variable-modified-inside-a-while-loop-is-not-remembered]

### 1.4 Windows换行转Linux换行 ###

问题描述：Windows换行是“\\r\\n”，而Linux换行是“\\n”；Windows上的编写shell文件直接传到Linux系统上运行会报错“$'\\r': command not found”（用vim打开文件会看到行尾是^M），此时需要将“\\r”删除。

处理办法：

shell脚本文件已传到Linux上使用sed删除----sed -i -r 's/\\r$//g' file\_name

shell脚本文件还在Windows上使用Notepad++编缉器转换----菜单----编缉----文档格式转换----转换为Unix格式

sehll脚本由python3动态生成----打开文件时使用newline指定生成文件的换行符，如file\_obj = open("test.sh","w+",encoding="utf-8",newline="\\n")

参考：[https://www.zhihu.com/question/19751023][https_www.zhihu.com_question_19751023]

另附pycharm指定行分格符的方法----与上边说的shell脚本换行无关，即便pycharm指定换行符为“LF”不通过newline指定动态生成的文件换行符依然是“\\r\\n”----分以下三类情况讨论

修改单个文件换行符----pycharm打开文件并切换到该文件----右下角有当前页面的换行符，在其上点击切换为“LF - Unix and OS X (\\n)”

![1116722-20190115095931702-1402888171.png][]

修改文件夹下所有文件换行符----pycharm打开项目----在工程窗口使用光标选中要修改换行符的文件夹----菜单----File----Line Separators----“LF - Unix and OS X (\\n)”

![1116722-20190115100855560-1198240575.png][]

指定后续新建文件换行符（不影响已有文件）----菜单----File----Setting----Code Style----Line separator----设置为“Unix and OS X (\\n)”

![1116722-20190115094109670-1008416584.png][]

参考：[https://www.jetbrains.com/help/pycharm/configuring-line-endings-and-line-separators.html][https_www.jetbrains.com_help_pycharm_configuring-line-endings-and-line-separators.html]

## 二、输出查找类 ##

### 2.1 tail读取指定行后内容 ###

问题描述：我们可以用tail配合-n指定读取文件最后多少行，但如果文件是不定长的而我想读取第1行以后的所有行，这个场景该怎么实现呢。

![1116722-20190103135113722-2083091912.png][]

处理办法：其实-n除了直接接数字还，可以在数字前使用“+”号表示从第几行开始读取。（head的-n有类似的操作head -n -2即表示读取到倒数第二行）

![1116722-20190103135604843-1018482839.png][]

### 2.2 grep查找进程并过滤查找命令本身 ###

问题描述：我们经常使用ps -ef | grep something的语句去查找进程（以便进一步获取pid等），但此时grep本身也会被打印出来，如下图所示。我们希望grep语句本身也被过滤掉。

![1116722-20190103104601781-444766640.png][]

处理办法：使用grep -v grep将grep语句去掉

![1116722-20190103104819635-777008386.png][]

### 2.3 grep打印匹配行的前后几行 ###

问题描述：我们使用grep查找时默认只打印匹配行，这种实现是合理的，但有时候匹配行与前后部份是强关联的我们也想获取。

![1116722-20190103113600811-968951345.png][]

处理办法：我们可以使用-A num指示打印匹配行的后几行，使用-B num指示打印匹配行的前几行。

![1116722-20190103113829723-1993721168.png][]

### 2.4 sed去除块注释 ###

问题描述：在读取tomcat等配置文件时，如果只是直接grep那查找出的内容可能其实是在块注释之中，该项配置其实并不生效。我们希望能先将配置文件中先将所有注释先去除掉。

![1116722-20190103112740343-1975342271.png][]

处理办法：此时可以使用sed '/regex/d'删除单行注释，使用sed '/star\_line\_regex/,/end\_line\_regex/d'来删除掉块注释（d换成p就可用作查找块）。具体到tomcat如下

cat tomcat-users.xml |sed '//d' | sed '//d'

![1116722-20190103112916599-1062253464.png][]

参考：[https://askubuntu.com/questions/525974/how-to-remove-comments-from-an-xml-file][https_askubuntu.com_questions_525974_how-to-remove-comments-from-an-xml-file]

### 1.4 将字符串作为命令执行 ###

问题描述：在shell脚本中我们有时希望使用一个变量保存要执行的命令，再用一个变量保存命令执行后得到的结果。在如下形式中我们需要写两遍命令，这是不符合复用思想的。

# 变量command保存要执行的命令pwd；第一次写pwd
    command="pwd"
    # 变量result保存要执行的命令pwd的结果；再次写pwd
    result=`pwd`

处理办法：我们可以使用eval命令，将command变量中保存的字符串作为命令执行，代码如下。

# 变量command保存要执行的命令pwd；第一次写pwd
    command="pwd"
    # 变量result保存要执行的命令pwd的结果；使用eval $command代替再次敲写命令pwd
    result=`eval $command`

![1116722-20190109100548595-554724840.png][]

参考：[https://stackoverflow.com/questions/2005192/how-to-execute-a-bash-command-stored-as-a-string-with-quotes-and-asterisk][https_stackoverflow.com_questions_2005192_how-to-execute-a-bash-command-stored-as-a-string-with-quotes-and-asterisk]

## 三、其他查找 ##

### 3.1 获取nginx版本号 ###

问题描述：我们知道nginx可以通过-v/-V来获取版本信息，但如果直接将查询赋给变量就会发现不能成功，如下图所示。

![1116722-20190104111543338-2111621352.png][]

处理办法：变量没有承接成功的原因是nginx将信息输出来了stderr而不是stdout，要承接我们需要将stderr重定向到stdout。

nginx_version=`nginx -v 2>&1`

![1116722-20190104111814188-1855439894.png][]

参考：[https://serverfault.com/questions/794873/cant-store-nginx-version-to-variable][https_serverfault.com_questions_794873_cant-store-nginx-version-to-variable]

### 3.2 获取tomcat版本号 ###

问题描述：tomcat的版本号并不在响应的Server头中，只显示在默认的index.jsp和默认的错误页面中，此时可以通过curl获取其版本号（判断tomcat有没有设置隐藏版本号）。但如果默认index.jsp被删除且自定义了错误页面我们该如何通过shell获取到tomcat的版本号呢。

![1116722-20190103115234185-2097616113.png][]

处理办法：此时我们还有三种办法可以获取到版本号。

第一种，解压$CATALINA\_HOME/lib/catalina.jar，到org\\apache\\catalina\\util\\ServerInfo.properties文件中查看版本号。这理论上对服务没有影响，但动服务器文件的做法并不是很好。

第二种，使用java -cp $CATALINA\_HOME/lib/catalina.jar org.apache.catalina.util.ServerInfo使用查看版本号。不过注意查找版本号的服务并不一定是运行tomcat的前户，其环境变量中并不一定有java。

![1116722-20190103120034726-1772000775.png][]

第三种，运行$CATALINA\_HOME/bin/version.sh获取版本信息。这个本质上还是执行第二种中的语句，一样需要有java命令才能获取结果。

![1116722-20190103120153895-1959187221.png][]

参考：[https://community.rsa.com/docs/DOC-81702][https_community.rsa.com_docs_DOC-81702]

转载于:https://www.cnblogs.com/lsdb/p/10213076.html

[1116722-20190103111232389-203155969.png]: /images/20210724/07c4204590524e3c852dead8b8d3a3ac.png
[1116722-20190103111101331-1734917112.png]: /images/20210724/2524e8c9c89e4bb6903dff3f8f1b6ddc.png
[1116722-20190103110026729-1646592213.png]: /images/20210724/dda5b12f2d65443a94d078529d1ea043.png
[1116722-20190103110429932-196881776.png]: /images/20210724/11d2846ecca94582b964464d2962502a.png
[https_blog.csdn.net_u010154760_article_details_45955797]: https://blog.csdn.net/u010154760/article/details/45955797
[1116722-20190105093655511-726882096.png]: /images/20210724/b6a4a5c9569a4541a8ebe0a6debfc57f.png
[1116722-20190105094345141-248241197.png]: /images/20210724/5a9b66fa5f2f4511ae6478a1a3ba367d.png
[https_stackoverflow.com_questions_16854280_a-variable-modified-inside-a-while-loop-is-not-remembered]: https://stackoverflow.com/questions/16854280/a-variable-modified-inside-a-while-loop-is-not-remembered
[https_www.zhihu.com_question_19751023]: https://www.zhihu.com/question/19751023
[1116722-20190115095931702-1402888171.png]: /images/20210724/446d9e033e884926a5c5b8e9f1ff3726.png
[1116722-20190115100855560-1198240575.png]: /images/20210724/98888c8e9d594920b3c3bfada8d63692.png
[1116722-20190115094109670-1008416584.png]: /images/20210724/29c5bd778d6b4cda8b98a8b781e6fdfb.png
[https_www.jetbrains.com_help_pycharm_configuring-line-endings-and-line-separators.html]: https://www.jetbrains.com/help/pycharm/configuring-line-endings-and-line-separators.html
[1116722-20190103135113722-2083091912.png]: /images/20210724/0bda827382504db1b6a9e193e3f27f25.png
[1116722-20190103135604843-1018482839.png]: /images/20210724/682ef3bd72a048978a4dcd76dd91782e.png
[1116722-20190103104601781-444766640.png]: /images/20210724/0569879dcba24e788103d6e373ea4965.png
[1116722-20190103104819635-777008386.png]: /images/20210724/757703e19b684a59805f1cf46dc86247.png
[1116722-20190103113600811-968951345.png]: /images/20210724/d2a711471e4c424295bfc5b5e2bd84fe.png
[1116722-20190103113829723-1993721168.png]: /images/20210724/e0c40c043db44ae1bafe86ccb1c17388.png
[1116722-20190103112740343-1975342271.png]: /images/20210724/545bc208b2b94c2a823232607832afdb.png
[1116722-20190103112916599-1062253464.png]: /images/20210724/2d92846f22574516abc73580df00dfee.png
[https_askubuntu.com_questions_525974_how-to-remove-comments-from-an-xml-file]: https://askubuntu.com/questions/525974/how-to-remove-comments-from-an-xml-file
[1116722-20190109100548595-554724840.png]: /images/20210724/d123591019e3488b9173380a3e51796c.png
[https_stackoverflow.com_questions_2005192_how-to-execute-a-bash-command-stored-as-a-string-with-quotes-and-asterisk]: https://stackoverflow.com/questions/2005192/how-to-execute-a-bash-command-stored-as-a-string-with-quotes-and-asterisk
[1116722-20190104111543338-2111621352.png]: /images/20210724/23694ab7a56a47bbb0ede5aaa660d0b8.png
[1116722-20190104111814188-1855439894.png]: /images/20210724/35c3805df15c481abd03eca78b7e2910.png
[https_serverfault.com_questions_794873_cant-store-nginx-version-to-variable]: https://serverfault.com/questions/794873/cant-store-nginx-version-to-variable
[1116722-20190103115234185-2097616113.png]: /images/20210724/8268dc5d826f467383695faf9b9b615c.png
[1116722-20190103120034726-1772000775.png]: /images/20210724/aa142a490c7e4f92b1ab02f52fe3ea19.png
[1116722-20190103120153895-1959187221.png]: /images/20210724/94c67d8c44b24d2fa0faf5273708c984.png
[https_community.rsa.com_docs_DOC-81702]: https://community.rsa.com/docs/DOC-81702