【零基础入门Python爬虫】第一节 Urllib

阳光穿透心脏的1/2处 2023-10-09 20:54 24阅读 0赞

Urllib 是 Python 内置的 HTTP 请求库，它可以让我们以编程的方式发送 HTTP 请求并处理服务器响应。使用 urllib，我们可以轻松地获取 Web 页面、下载文件和与 Web API 进行交互等操作。

在本文中，我们将介绍如何使用 Urllib 进行常见的 HTTP 请求，并对其各个组件进行详细解释。希望通过本篇文章，你可以掌握 Urllib 的基本用法和一些高级技巧，从而更好地进行 Web 开发和数据获取等工作。

--------------------

### 一、安装 Urllib ###

import urllib.request

Urllib 是 Python 自带的标准库，无需另行安装，只需要在代码中导入即可开始使用。

### 二、发送HTTP请求 ###

> Urllib提供了4个方法用于发送HTTP请求：
> 
>  *  `urllib.request.urlopen(url, data=None[, timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)`：打开一个URL地址，并返回一个类似文件的对象。
>  *  `urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)`：下载远程文件到本地。
>  *  `urllib.request.urlcleanup()`：清除缓存中的过期 URL。
>  *  `urllib.request.urlopen(url, data=None[, timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)`：向指定的URL地址发送POST请求，并返回一个类似文件的对象。
> 
> 其中最常用的方法是第一个方法`urllib.request.urlopen()`。该方法接收一个URL地址作为参数，返回一个类似文件的对象。我们可以通过读取这个文件的内容获取HTTP响应。

#### 1.发送 GET 请求 ####

发送 GET 请求是最常见的 HTTP 请求之一，它可以用于获取网页内容、查询 API 接口等场景。在 Urllib 中，我们可以使用 `urllib.request` 模块下的 `urlopen()` 方法来发送 GET 请求：

import urllib.request
    
    response = urllib.request.urlopen('http://www.example.com/')
    html = response.read()
    print(html)

以上代码将向 `http://www.example.com/` 发送一个 GET 请求，并将响应内容保存到变量 html 中。我们可以使用 `read()` 方法来读取响应内容，也可以使用 `decode()` 方法将字节码转换为字符串。

如果你需要添加请求头或其他参数，可以使用如下方法：

import urllib.request
    
    url = 'http://www.example.com/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    }
    req = urllib.request.Request(url=url, headers=headers)
    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8')
    print(html)

以上代码中，我们使用 `urllib.request.Request()` 方法来创建一个请求对象，并传入请求的 URL 和请求头。然后，我们将请求对象传给 `urllib.request.urlopen()` 方法来发送请求并获取响应。

#### 2.发送 POST 请求 ####

发送 POST 请求是另一种常见的 HTTP 请求方式，它可以用于提交表单、上传文件等场景。在 Urllib 中，我们可以使用 `urllib.request` 模块下的 `urlopen()` 方法来发送 POST 请求：

import urllib.parse
    import urllib.request
    
    url = 'http://www.example.com/login'
    data = {
        'username': 'admin',
        'password': '123456',
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    }
    data = urllib.parse.urlencode(data).encode('utf-8')
    req = urllib.request.Request(url=url, data=data, headers=headers)
    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8')
    print(html)

以上代码中，我们使用 `urllib.parse.urlencode()` 方法将参数编码为 URL 编码格式，并使用 `encode()` 方法将其转换为字节码。然后，我们创建一个请求对象，并将请求的 URL、请求头和请求参数传入。最后，我们将请求对象传给 `urlopen()` 方法来发送请求并获取响应。

#### 3.处理响应 ####

Urllib中的响应对象包含了HTTP请求返回的结果，可以通过如下属性和方法来获取响应信息：

*  read(\[size\])：读取指定大小的响应数据；
 *  readline()：读取一行响应数据；
 *  readlines(hint=-1)：读取所有响应数据并以列表形式返回；
 *  getcode()：返回HTTP状态码；
 *  geturl()：返回真实的URL地址。

import urllib.request
    
    response = urllib.request.urlopen('http://www.example.com')
    print(response.getcode())
    print(response.geturl())
    print(response.info())
    
    # 读取响应数据
    html = response.read().decode('utf-8')
    print(html)

#### 4.处理异常 ####

在进行 HTTP 请求时，可能会遇到一些异常情况，例如网络连接超时、服务器返回错误等。为了防止程序崩溃，我们需要使用 try-except 语句来捕获这些异常情况：

import urllib.request
    
    try:
        response = urllib.request.urlopen('http://www.example.com/')
    except urllib.error.URLError as e:
        print(e.reason)
    else:
        html = response.read()

以上代码中，我们使用 try-except 语句来捕获 `urlopen()` 方法可能抛出的异常。如果发生异常，我们将打印异常信息；否则，我们将读取响应内容。

#### 5.使用代理 ####

有时候，我们需要使用代理服务器来访问互联网上的资源，例如绕过 IP 封锁、访问被限制的网站等。在 Urllib中，我们可以使用 `urllib.request.ProxyHandler` 和 `urllib.request.build_opener` 来设置代理：

import urllib.request
    
    proxy_handler = urllib.request.ProxyHandler({'http': 'http://127.0.0.1:8080'})
    opener = urllib.request.build_opener(proxy_handler)
    response = opener.open('http://www.example.com/')
    html = response.read()
    print(html)

以上代码中，我们首先创建了一个代理处理器 `proxy_handler`，并将其传给 `build_opener()` 方法来创建一个自定义的 URL 处理程序。然后，我们使用 `open()` 方法来发送请求并获取响应。

#### 6.使用Cookie ####

Urllib也支持使用Cookie来进行网络请求，可以通过如下方法来设置和获取Cookie。

import urllib.request
    import http.cookiejar
    
    # 保存Cookie到文件
    filename = 'cookie.txt'
    cookie_jar = http.cookiejar.MozillaCookieJar(filename)
    handler = urllib.request.HTTPCookieProcessor(cookie_jar)
    opener = urllib.request.build_opener(handler)
    response = opener.open('http://www.example.com')
    cookie_jar.save()
    
    # 读取Cookie文件
    cookie_jar = http.cookiejar.MozillaCookieJar()
    cookie_jar.load('cookie.txt', ignore_discard=True, ignore_expires=True)
    handler = urllib.request.HTTPCookieProcessor(cookie_jar)
    opener = urllib.request.build_opener(handler)
    response = opener.open('http://www.example.com')
    print(response.read().decode('utf-8'))

#### 7.下载文件 ####

在 Urllib 中，我们可以使用 `urlretrieve()` 方法来下载文件，该方法将从指定的 URL 下载文件并保存到本地路径：

import urllib.request
    
    url = 'http://www.example.com/file.txt'
    urllib.request.urlretrieve(url, 'file.txt')

以上代码中，我们使用 `urllib.request.urlretrieve()` 方法来下载 `file.txt` 文件，并将其保存到当前工作目录下。如果你需要将文件保存到其他目录，可以指定另一个路径。

--------------------

### 总结 ###

本文介绍了Urllib的基本用法，包括发送HTTP请求、处理响应、处理异常、使用代理、使用Cookie等常见操作。Urllib是Python内置的HTTP客户端库，功能强大，易于使用，对于一些小型的网络请求，可以直接使用该库，非常方便。

除了Urllib，Python还有许多其他的HTTP客户端库，例如Requests、httplib2等，它们在某些方面可能比Urllib更加强大和便捷。但是对于一些小型的网络请求场景来说，Urllib已经足够满足需求，并且它能够轻松地与Python标准库中的其他模块集成，使得开发更加高效。

希望通过本文的介绍，能够帮助读者更好地掌握Urllib的用法，以及深入理解Python中的HTTP客户端库。