Linux- 系统随你玩之--玩出花活的命令浏览器下

秒速五厘米 2024-03-25 20:07 43阅读 0赞

![在这里插入图片描述][d58f575734fa4321abf75e80a9647636.jpeg]

#### 文章目录 ####

*  1、背景
 *  2、常规操作
 *   *  2.1、测试相关
     *   *  2.1.1、修改 HTML 请求标头
         *  2.1.2、 模拟不同浏览器发出
         *  2.1.3、重定向
     *  2.2、 下载相关操作
     *   *  2.2.1、 后台下载
         *  2.2.2、设置下载重试次数
         *  2.2.3、过滤指定格式下载
         *  2.2.4、限制总下载文件大小
         *  2.2.5、匿名FTP下载
         *  2.2.6、FTP认证下载
         *  2.2.7、利用代理服务器下载
 *  3、好姐妹
 *  3.1 、curl 和 wget
 *  4、结语

## 1、背景 ##

前文在续，书接上一回[Linux- 系统随你玩之–玩出花活的命令浏览器上][Linux-]， 话说命令浏览器它是一个从网络上自动下载文件的自由工具，支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载，并可以使用 HTTP 代理。  
它的最大特色是断点续传、镜像整个站点。今天我们来讲讲它别的作用。

## 2、常规操作 ##

### 2.1、测试相关 ###

#### 2.1.1、修改 HTML 请求标头 ####

我们在做测试相关工作时 经常发送大量的各种终端的测试请求 其中，HTTP 标头是数据包初始的组成部分，因此会因各种场景需要做经常性修改后发送请求。  
那我们在使用浏览器浏览网页时，你的浏览器向服务器发送了 HTTP 请求标头。具体都发了些什么呢？这个时候我们可以使用 --debug 选项查看 wget 每次请求发送的标头信息：

$wget --debug www.baidu.com

![在这里插入图片描述][6c5014e66e2e4e12b5c81721e1e6971d.png]

#### 2.1.2、 模拟不同浏览器发出 ####

你可以通过 --header 选项修改请求标头，增加不同浏览器参数来，来模拟测试特定的浏览器发出的请求效果。

wget --debug --header="User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36" http://baidu.com

此外，你还可以伪装成特定的移动设备（比如 iPhone ）：

wget --debug \--header = "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari /604.1" \HTTP：// www.baidu.com

#### 2.1.3、重定向 ####

与浏览器请求发送标头信息的方式相同，标头信息也包含在响应中。  
200 响应码意味着成功。而 301 响应则意味着 URL 已经指向不同的网站。  
这种情况下，如果你还要下载文件，那么就需要配合**使用 --max-redirect 参数选项 来达到 wget 的重定向功能** 。  
如果你不想要重定向，那么可以将 --max-redirect 设置为 0 。  
或将其设置为其他数字以控制 wget 跟随的重定向数量。  
![在这里插入图片描述][922d11fc7872461d901f015f6f220c59.png]

### 2.2、 下载相关操作 ###

#### 2.2.1、 后台下载 ####

对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载（网址可按实际情况改为网络文件名地址）  
![在这里插入图片描述][2bfb9c415ef4418b9a4218d716812e52.png]  
在后台下载过程中你可以使用以下命令来查看下载进度以了解进展。  
![在这里插入图片描述][dab72317b07a46b1b362e5783b1836e9.png]

#### 2.2.2、设置下载重试次数 ####

如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。  
如果需要调整**使用–tries增加重试次数**。

> wget –tries=40 http:baidu.com

#### 2.2.3、过滤指定格式下载 ####

使用wget –reject过滤指定格式下载

> wget –reject=gif url

#### 2.2.4、限制总下载文件大小 ####

使用wget -Q限制总下载文件大小，避免下载过大超出预期数据量。  
当你想要下载的文件超过10M而退出下载，你可以使用以下命令:  
wget -Q10m -i filelist.jpg  
切记：该参数只对 递归下载文件时才有效，对单个文件不起限制作用。

#### 2.2.5、匿名FTP下载 ####

你可以使用wget来完成ftp链接的下载。  
使用wget匿名ftp下载

> wget ftp-url

#### 2.2.6、FTP认证下载 ####

使用wget用户名和密码认证的ftp下载

wget –ftp-user=USERNAME –ftp-password=PASSWORD url  
注意：对于需要证书做认证的网站，就只能利用其他下载工具了，例如它的好姐妹curl。

#### 2.2.7、利用代理服务器下载 ####

遇到网络需要经过代理服务器，可以让wget通过代理服务器进行文件的下载。我们可以在当前用户的目录下创建一个.wgetrc文件。  
VI .wgetrc 文件中可以设置代理服务器内容如下：

> http-proxy = 111.111.111.111:8080  
> ftp-proxy = 111.111.111.111:8080

如代理服务器还需要配合密码使用则增加下面的帐号信息：

> –proxy-user=USER设置代理用户  
> –proxy-passwd=PASS设置代理密码

搭配使用参数–proxy=on/off 使用或者关闭代理。

## 3、好姐妹 ##

## 3.1 、curl 和 wget ##

curl 和 wget 的一个最明显的区别是：默认情况下 wget 将查询的网页保存到系统，而 curl 将其显示在终端输出中但不保存它。  
总之一句话就是 **curl 访问链接而 wget 是下载链接**。

## 4、结语 ##

wget到位就结束了，它的好姐妹我也提到了，预知后事如何且听下回分解 您了！  
![请添加图片描述][a53781e8e7574c1c9f8d206c466b7cb3.png]

[d58f575734fa4321abf75e80a9647636.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/dffed204e3ec4b92872273c568434cf0.png
[Linux-]: https://fyydlz.blog.csdn.net/article/details/129539326
[6c5014e66e2e4e12b5c81721e1e6971d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/0a49b4e1f83e4b2ab6629717fd664414.png
[922d11fc7872461d901f015f6f220c59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/062a551730ae4bb5901c2a727f18e169.png
[2bfb9c415ef4418b9a4218d716812e52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4c7f3f11778e403381f5462791bcb8ba.png
[dab72317b07a46b1b362e5783b1836e9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/59e7beeb0c1948d4a11f317b925c3099.png
[a53781e8e7574c1c9f8d206c466b7cb3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/6ad755cfdaa64c59adae75f3a99c1628.png