Python下载的11种姿势，一种比一种高级！

た入场券 2024-04-24 20:35 49阅读 0赞

今天我们一起学习如何使用不同的Python模块从web下载文件。此外，你将下载常规文件、web页面、Amazon S3和其他资源。

最后，你将学习如何克服可能遇到的各种挑战，例如下载重定向的文件、下载大型文件、完成一个多线程下载以及其他策略。

### **1、使用requests** ###

你可以使用requests模块从一个URL下载文件。

考虑以下代码:

![图片][41658973e4c4f24f2cdc6ff812b3162c.jpeg]

你只需使用requests模块的get方法获取URL，并将结果存储到一个名为“myfile”的变量中。然后，将这个变量的内容写入文件。

### **2、使用wget** ###

![图片][a04a2d994e2abceb9ada4c683cdb1603.jpeg]

你还可以使用Python的wget模块从一个URL下载文件。你可以使用pip按以下命令安装wget模块:

考虑以下代码，我们将使用它下载Python的logo图像。

![图片][aa00f6bc275d0d364109f7937b3d7528.jpeg]

在这段代码中，URL和路径(图像将存储在其中)被传递给wget模块的download方法。

### **3、下载重定向的文件** ###

在本节中，你将学习如何使用requests从一个URL下载文件，该URL会被重定向到另一个带有一个.pdf文件的URL。该URL看起来如下:

![图片][d1ce51b43429208b88a28f196e85f0ab.jpeg]

要下载这个pdf文件，请使用以下代码:

![图片][d42068f41f22db22968497a6b9009778.jpeg]

在这段代码中，我们第一步指定的是URL。然后，我们使用request模块的get方法来获取该URL。在get方法中，我们将allow\_redirects设置为True，这将允许URL中的重定向，并且重定向后的内容将被分配给变量myfile。

最后，我们打开一个文件来写入获取的内容。

### **4、分块下载大文件** ###

**考虑下面的代码:**

![图片][cdb07b9c4c56fbcd0137d12066535da1.jpeg]

首先，我们像以前一样使用requests模块的get方法，但是这一次，我们将把stream属性设置为True。

接着，我们在当前工作目录中创建一个名为PythonBook.pdf的文件，并打开它进行写入。

然后，我们指定每次要下载的块大小。我们已经将其设置为1024字节，接着遍历每个块，并在文件中写入这些块，直到块结束。

不漂亮吗?不要担心，稍后我们将显示一个下载过程的进度条。

### **5、下载多个文件(并行/批量下载)** ###

要同时下载多个文件，请导入以下模块:

![图片][c1f3fb91978e5e260834f4704b045ab9.jpeg]

我们导入了os和time模块来检查下载文件需要多少时间。ThreadPool模块允许你使用池运行多个线程或进程。

让我们创建一个简单的函数，将响应分块发送到一个文件:

![图片][9ca29967114bffe201effb8bd528e7e5.jpeg]

这个URL是一个二维数组，它指定了你要下载的页面的路径和URL。

![图片][40e82422bd6de34eba604bc404486dbe.jpeg]

就像在前一节中所做的那样，我们将这个URL传递给requests.get。最后，我们打开文件(URL中指定的路径)并写入页面内容。

现在，我们可以分别为每个URL调用这个函数，我们也可以同时为所有URL调用这个函数。让我们在for循环中分别为每个URL调用这个函数，注意计时器:

![图片][73ccd0a0f6ca680242c0e98ebe76127b.jpeg]

现在，使用以下代码行替换for循环：

![图片][d51732bd1b653e31fe2c15d6ce64bbcf.jpeg]

运行该脚本。

### 6、使用进度条进行下载 ###

进度条是clint模块的一个UI组件。输入以下命令来安装clint模块：

![图片][2779c08010b4e24f3f7381d888a0945b.jpeg]

考虑以下代码:

![图片][a149e5c5f1b968f348498c7cc910f866.jpeg]

在这段代码中，我们首先导入了requests模块，然后，我们从clint.textui导入了进度组件。唯一的区别是在for循环中。在将内容写入文件时，我们使用了进度条模块的bar方法。

### **7、使用urllib下载网页** ###

在本节中，我们将使用urllib下载一个网页。

urllib库是Python的标准库，因此你不需要安装它。

以下代码行可以轻松地下载一个网页:

![图片][7f2496d0ee99b8d22c1f4d4cda397295.jpeg]

在这里指定你想将文件保存为什么以及你想将它存储在哪里的URL。

![图片][c872858b4399a549b56c1053ca9fc4f5.jpeg]

在这段代码中，我们使用了urlretrieve方法并传递了文件的URL，以及保存文件的路径。文件扩展名将是.html。

### **8、通过代理下载** ###

如果你需要使用代理下载你的文件，你可以使用urllib模块的ProxyHandler。请看以下代码：

![图片][7b6b6ddb678574f3027382fded14948a.jpeg]

在这段代码中，我们创建了代理对象，并通过调用urllib的build\_opener方法来打开该代理，并传入该代理对象。然后，我们创建请求来获取页面。

此外，你还可以按照官方文档的介绍来使用requests模块:

![图片][eaeb579e97994f8785f868d67d2c9e42.jpeg]

你只需要导入requests模块并创建你的代理对象。然后，你就可以获取文件了。

### **9、使用urllib3** ###

urllib3是urllib模块的改进版本。你可以使用pip下载并安装它:

![图片][f932c1fae35f8370d3d53837d763b9f8.jpeg]

我们将通过使用urllib3来获取一个网页并将它存储在一个文本文件中。

导入以下模块:

![图片][d7e925ba0ec670db3ce2a1eaff5c352e.jpeg]

在处理文件时，我们使用了shutil模块。

现在，我们像这样来初始化URL字符串变量：

![图片][ced4c279c753b5db6f9eed4e79681da3.jpeg]

然后，我们使用了urllib3的PoolManager ，它会跟踪必要的连接池。

创建一个文件:

![图片][07a2afca11fdc020eeabcc7f332cf8b9.jpeg]

最后，我们发送一个GET请求来获取该URL并打开一个文件，接着将响应写入该文件:

### **10、使用Boto3从S3下载文件** ###

要从Amazon S3下载文件，你可以使用Python boto3模块。

在开始之前，你需要使用pip安装awscli模块:

![图片][22a9fe9109586dc9847077ee96860169.jpeg]

对于AWS配置，请运行以下命令：

![图片][71f163082e7903bcb267a18e676558dc.jpeg]

现在，按以下命令输入你的详细信息：

![图片][94c5d059236f26db9f6f6ea12c7ad522.jpeg]

要从Amazon S3下载文件，你需要导入boto3和botocore。Boto3是一个Amazon SDK，它允许Python访问Amazon web服务(如S3)。Botocore提供了与Amazon web服务进行交互的命令行服务。

Botocore自带了awscli。要安装boto3，请运行以下命令:

![图片][a54b3134c1752085b2e323c4dadbc93d.jpeg]

现在，导入这两个模块：

![图片][816e3e1b5d1bb609d11209ec4f97883b.jpeg]

在从Amazon下载文件时，我们需要三个参数：

*  Bucket名称
 *  你需要下载的文件名称
 *  文件下载之后的名称 初始化变量：

现在，我们初始化一个变量来使用会话的资源。为此，我们将调用boto3的resource()方法并传入服务，即s3:

![图片][12837174d25adcffe150c83d34338452.jpeg]

最后，使用download\_file方法下载文件并传入变量:

![图片][4eb63f67b38a71e2108d0bcf9aaeafd6.jpeg]

### **11、使用asyncio** ###

asyncio模块主要用于处理系统事件。它围绕一个事件循环进行工作，该事件循环会等待事件发生，然后对该事件作出反应。这个反应可以是调用另一个函数。这个过程称为事件处理。asyncio模块使用协同程序进行事件处理。

要使用asyncio事件处理和协同功能，我们将导入asyncio模块:

![图片][69fd6d60ffa65d6bc6dc0d607e2c6ee3.jpeg]

现在，像这样定义asyncio协同方法：

![图片][187e10428f8dc0306fc27a3fa9e3bb17.jpeg]

关键字async表示这是一个原生asyncio协同程序。在协同程序的内部，我们有一个await关键字，它会返回一个特定的值。我们也可以使用return关键字。

现在，让我们使用协同创建一段代码来从网站下载一个文件:

![图片][b19852fc3673de2b0dbdd0aa5530b978.jpeg]

在这段代码中，我们创建了一个异步协同函数，它会下载我们的文件并返回一条消息。

然后，我们使用另一个异步协同程序调用main\_func，它会等待URL并将所有URL组成一个队列。asyncio的wait函数会等待协同程序完成。

现在，为了启动协同程序，我们必须使用asyncio的get\_event\_loop()方法将协同程序放入事件循环中，最后，我们使用asyncio的run\_until\_complete()方法执行该事件循环。

### **更多精彩教程欢迎B站搜索“千锋教育”**  ###

千锋教育Python全套视频教程，轻松掌握Excel、Word、PPT、邮件、爬虫、office办公自动化（宋如宁主讲）

[41658973e4c4f24f2cdc6ff812b3162c.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/bec9b1dcc45942df8103809670d9c933.jpeg
[a04a2d994e2abceb9ada4c683cdb1603.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/9d95631d71a040338e6b91f676289dee.jpeg
[aa00f6bc275d0d364109f7937b3d7528.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/f1a7966af9074c0782f2d600c09b5eec.jpeg
[d1ce51b43429208b88a28f196e85f0ab.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/aa63b7c303c44308a809eb7605c75faf.jpeg
[d42068f41f22db22968497a6b9009778.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/69def3b1adb2435ba09daee6b61ae338.jpeg
[cdb07b9c4c56fbcd0137d12066535da1.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/83668bfc404544b6b1f94da809a9b4d4.jpeg
[c1f3fb91978e5e260834f4704b045ab9.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/4beab7ca52fa4ebbaacd690b35d050b7.jpeg
[9ca29967114bffe201effb8bd528e7e5.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/206add8600f74b279322cfbce95d64d9.jpeg
[40e82422bd6de34eba604bc404486dbe.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/cad88b5481dc4d62ad41d7709cb0c871.jpeg
[73ccd0a0f6ca680242c0e98ebe76127b.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/6ccd563ea4324e5e98fc11c33cd279dd.jpeg
[d51732bd1b653e31fe2c15d6ce64bbcf.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/57751fcd893946599243fdd04c3de9c6.jpeg
[2779c08010b4e24f3f7381d888a0945b.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/cf349ed27c304132868cbde5690152cc.jpeg
[a149e5c5f1b968f348498c7cc910f866.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/6781c6a0c5634a2da881546fbd21dd6c.jpeg
[7f2496d0ee99b8d22c1f4d4cda397295.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/88ac34eb9f9b4eaeb714b2f1cef37c56.jpeg
[c872858b4399a549b56c1053ca9fc4f5.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/96397086a8f140c1a8651c3b5b037241.jpeg
[7b6b6ddb678574f3027382fded14948a.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/0d05b4a37de447a38894b9be16e67662.jpeg
[eaeb579e97994f8785f868d67d2c9e42.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/343d2c7b31454fe8a1b13ff0663a1f6a.jpeg
[f932c1fae35f8370d3d53837d763b9f8.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/96092c0fa05e46deb7672512c9849fd7.jpeg
[d7e925ba0ec670db3ce2a1eaff5c352e.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2fc7ba174dee48eb81657f7d256ed922.jpeg
[ced4c279c753b5db6f9eed4e79681da3.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/880051fadc7c41beaf084ba8031314a6.jpeg
[07a2afca11fdc020eeabcc7f332cf8b9.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/04119029ced74886b7479d81a6868a1d.jpeg
[22a9fe9109586dc9847077ee96860169.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/5848a74a5ac549f9bd5660178ada1256.jpeg
[71f163082e7903bcb267a18e676558dc.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/cd97e9a445d547f0b1a554306b588553.jpeg
[94c5d059236f26db9f6f6ea12c7ad522.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/441251be96994a22855caf3ad705e285.jpeg
[a54b3134c1752085b2e323c4dadbc93d.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/a479183a94274dfdbb1392d74d28f6f1.jpeg
[816e3e1b5d1bb609d11209ec4f97883b.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/14624a4a3bd74137b4e48e5c9277cb0b.jpeg
[12837174d25adcffe150c83d34338452.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/0bc3f1910d014f7ba2d504867b2b3e67.jpeg
[4eb63f67b38a71e2108d0bcf9aaeafd6.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/cf7f8cce6b1b4cacb768ef673b6004ee.jpeg
[69fd6d60ffa65d6bc6dc0d607e2c6ee3.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/343a65d422e34d1eabe446dd73c786bf.jpeg
[187e10428f8dc0306fc27a3fa9e3bb17.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/d0605b8dbcd34f3b9adec504df1bdb88.jpeg
[b19852fc3673de2b0dbdd0aa5530b978.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/df7ddda915f04e4c8ab91c19302a1d68.jpeg