curl cat grep awk

柔光的暖阳◎ 2024-03-03 08:22 7阅读 0赞

\[root@192 home\]\# cat fozhidao.sh  
\#curl https://www.yourenxsw.com/novel/22220/ > main.txt  
\#cat main.txt | grep href  
\#cat main.txt | grep href > href.txt

curl https://fozhidao.cc/book/56302276 | iconv -f gbk -t utf8 > fozhidao.txt  
cat fozhidao.txt | grep "\\.html"  
cat fozhidao.txt | grep "\\.html" | awk -F'"' '\{ print $2 " " $3 \}' | sed "s:</a></dd>::g" | sed "s:>::g"

**\#\# shell字符串截取八种方法**

假设有变量: var=http://www.aaa.com/123.htm

1. \# 号截取，删除左边字符，保留右边字符。  
代码如下:

echo $\{var\#\*//\}  
其中 var 是变量名，\# 号是运算符，\*// 表示从左边开始删除第一个 // 号及左边的所有字符  
即删除 http://  
结果是 ：www.aaa.com/123.htm

2. \#\# 号截取，删除左边字符，保留右边字符。  
代码如下:

echo $\{var\#\#\*/\}  
\#\#\*/ 表示从左边开始删除最后（最右边）一个 / 号及左边的所有字符  
即删除 http://www.aaa.com/

结果是 123.htm

3. %号截取，删除右边字符，保留左边字符  
代码如下:

echo $\{var%/\*\}  
%/\* 表示从右边开始，删除第一个 / 号及右边的字符

结果是：http://www.aaa.com

4. %% 号截取，删除右边字符，保留左边字符  
代码如下:

echo $\{var%%/\*\}  
%%/\* 表示从右边开始，删除最后（最左边）一个 / 号及右边的字符  
结果是：http:

5. 从左边第几个字符开始，及字符的个数  
代码如下:

echo $\{var:0:5\}  
其中的 0 表示左边第一个字符开始，5 表示字符的总个数。  
结果是：http:

6. 从左边第几个字符开始，一直到结束  
代码如下:

echo $\{var:7\}  
其中的 7 表示左边第8个字符开始，一直到结束。  
结果是 ：www.aaa.com/123.htm

7. 从右边第几个字符开始，及字符的个数  
代码如下:

echo $\{var:0-7:3\}  
其中的 0-7 表示右边算起第七个字符开始，3 表示字符的个数。  
结果是：123

8. 从右边第几个字符开始，一直到结束  
代码如下:

echo $\{var:0-7\}  
表示从右边第七个字符开始，一直到结束。  
结果是：123.htm  
————————————————  
版权声明：本文为CSDN博主「戴国进」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/JineD/article/details/124196546

**shell脚本：**

\#curl https://www.yourenxsw.com/novel/22220/ > main.txt  
\#cat main.txt | grep href  
\#cat main.txt | grep href > href.txt

URL\_PREFIX="https://fozhidao.cc"

\#curl https://fozhidao.cc/book/56302276 | iconv -f gbk -t utf8 > fozhidao.txt  
\#cat fozhidao.txt | grep "\\.html"  
\#cat fozhidao.txt | grep "\\.html" | awk -F'"' '\{ print $2 " " $3 \}' | sed "s:</a></dd>::g" | sed "s:>::g" > pairs.txt  
\#cat fozhidao.txt | grep "\\.html" | awk -F'=' '\{ print $2 \}' | awk -F'<' '\{ print $1 \}' >pairs2.txt

cat fozhidao.txt | grep "\\.html" | awk -F'=' '\{ print $2 \}' | awk -F'<' '\{ print $1 \}' | sed "s:\\"::g" >pairs2.txt

i=0  
for line in \`cat pairs2.txt\`  
do  
((i++))  
url=$\{line%>\*\}  
title=$\{line\#\*>\}  
echo "$i:$line $url $title"  
curl $URL\_PREFIX$url | iconv -f gbk -t utf8 > $title.txt  
done