【Python爬虫】哇！又来一个强大的Python网络库：Urllib3

悠悠 2022-11-08 14:27 258阅读 0赞

在Python程序中，使用频率最高的网络模块莫过于urllib，由于urllib是Python内置的网络模块，不需要单独安装，使用起来非常方便。但随着互联网的不断发展，urllib里的功能明显已经不够用了，所以有了后来的urllib2和urllib3。

从前文的内容来看，urllib中的API大多与URL相关，所以可以得出这样一个结论，urllib主要侧重与URL的请求构造。 而urllib2侧重于HTTP请求的处理， urllib3则是服务于升级的HTTP 1.1标准，且拥有高效 HTTP连接池管理及HTTP 代理服务的功能库，从 urllib 到 urllib2和 urllib3是顺应互联应用升级浪潮的，这股浪潮从通用的网络连接服务到互联网网络的头部应用，支持长连接的 HTTP访问，网络访问不断的便捷化。

1. urllib3模块

urllib3是一个功能强大，条理清晰，用于编写HTTP客户端的Python库，许多Python的原生系统已经开始使用urllib3。urllib3提供了很多python标准库里所没有的重要特性，这些特性包括：

*  线程安全
 *  连接池
 *  客户端SSL/TLS验证
 *  使用multipart编码上传文件
 *  协助处理重复请求和HTTP重定位
 *  支持压缩编码
 *  支持HTTP和SOCKS代理
 *  100%测试覆盖率

urllib3并不是Python语言的标准模块，因此，使用urllib3之前需要使用pip命令或conda命令安装urllib3。

pip install urllib3

或

conda install urllib3

2. 发送HTTP GET请求

使用urllib3中的API向服务端发送HTTP请求，首先需要引用urllib3模块，然后创建PoolManager类的实例，该类用于管理连接池。最后就可以通过request方法发送GET请求了，request方法的返回值就是服务端的响应结果，通过data属性直接可以获得服务端的响应数据。看看，是不是非常简单呢！

当向服务端发送HTTP GET请求时，而且请求字段值包含中文、空格等字符，需要对其进行编码。在urllib.parse模块中有一个urlencode函数，可以将一个字典形式的请求值对作为参数传入urlencode函数，该函数返回编码结果。

# 使用urlencode函数将“极客起源“转换为URL编码形式
    print(urlencode({'wd':'极客起源'}))

执行上面的代码，会输出如下的内容。

wd=%E6%9E%81%E5%AE%A2%E8%B5%B7%E6%BA%90

使用request方法发送HTTP GET请求时，可以使用urlencode函数对GET字段进行编码，也可以直接使用fields关键字参数指定字典形式的GET请求字段。使用这种方式，request方法会自动对fields关键字参数指定的GET请求字段进行编码。

# http是PoolManager类的实例变量
    http.request('GET', url,fields={'wd':'极客起源'})

本例通过urllib3中的API向百度（http://www.baidu.com）发送查询请求，然后获取并输出百度的搜索结果。

from urllib3 import *
    # urlencode函数在urllib.parse模块中
    from urllib.parse import urlencode
    # 调用disable_warnings函数可以阻止显示警告消息
    disable_warnings()
    # 创建PoolManager类的实例
    http = PoolManager()
    '''
    # 下面的代码通过组合URL的方式向百度发送请求
    url = 'http://www.baidu.com/s?' + urlencode({'wd':'极客起源'})
    print(url)
    response = http.request('GET', url)
    '''
    url = 'http://www.baidu.com/s'
    # 直接使用fields关键字参数指定GET请求字段
    response = http.request('GET', url,fields={'wd':'极客起源'})
    # 获取百度服务端的返回值（字节形式），并使用UTF-8格式对其进行解码
    data = response.data.decode('UTF-8')
    # 输出百度服务端返回的内容
    print(data)

运行结果如图1所示。由于百度服务端返回的内容很多，这里只显示了一部分返回内容。

![4cccc0d811521a81a831ad9660bb2a45.png][]

3. 发送HTTP POST请求

如果要向服务端发送比较复杂的数据，通过HTTP GET请求就不太合适，因为HTTP GET请求将要发送的数据都放到了URL中。因此，当向服务端发送复杂数据时建议使用HTTP POST请求。

HTTP POST请求与HTTP GET请求的使用方法类似，只是在向服务端发送数据时，传递数据会跟在HTTP请求头后面，因此，可以使用HTTP POST请求发送任何类型的数据，包括二进制形式的文件（一般会将这样的文件使用Base64或其他编码格式进行编码）。为了能更好地理解HTTP POST请求，本节首先会使用Flask编写一个专门接收HTTP POST请求的服务端。

Flask属于Python语言的第三方模块，需要单独安装，不过如果读者使用的是Anaconda Python开发环境，就不需要安装flask模块了，因为Anaconda已将flask模块集成到里面了。如果读者使用的是标准的Python开发环境，可以使用pip install flask命令安装flask模块。本节只是利用了flask模块编写一个简单的可以处理HTTP POST请求的服务端程序。

本例通过flask模块编写一个可以处理HTTP POST请求的服务端程序，然后使用urllib3模块中相应的API向这个服务端程序发送HTTP POST请求，然后输出服务端的返回结果。

# 支持HTTP POST请求的服务端程序
    from flask import Flask, request
    # 创建Flask对象，任何基于flask模块的服务端应用都必须创建Flask对象
    app = Flask(__name__)
    # 设置/register路由，该路由可以处理HTTP POST请求
    @app.route('/register', methods=['POST'])
    def register():
        # 输出名为name的请求字字段的值
    print(request.form.get('name'))
    # 输出名为age的请求字段的值
    print(request.form.get('age'))
    # 向客户端返回“注册成功”消息
        return '注册成功'
     
    if __name__ == '__main__':
        # 开始运行服务端程序，默认端口号是5000
        app.run()

在上面的程序中涉及到一个路由的概念，其实路由就是在浏览器地址栏中输入的一个Path（跟在域名或IP后面），flask模块会将路由对应的Path映射到服务端的一个函数，也就是说，如果在浏览器地址栏中输入特定的路由，flask模块的相应API接收到这个请求，就会自动调用该路由对应的函数。如果不指定methods，默认可以处理HTTP GET请求，如果要处理HTTP POST请求，需要设置methods的值为\['POST'\]。Flask在处理HTTP POST的请求字段时，会将这些请求保存到字典中，form属性就是这个字典变量。

现在运行上面的程序，会发现程序在Console中输出一行如下的信息。

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

这表明使用flask模块建立的服务端程序的默认端口号是5000。

from urllib3 import *
    disable_warnings()
    http = PoolManager()
    # 指定要提交HTTP POST请求的URL，/register是路由
    url = 'http://localhost:5000/register'
    # 向服务端发送HTTP POST请求，用fields关键字参数指定HTTP POST请求字段名和值
    response = http.request('POST', url,fields={'name':'李宁','age':18})
    # 获取服务端返回的数据
    data = response.data.decode('UTF-8')
    # 输出服务端返回的数据
    print(data)

在运行上面的程序之前，首先应运行server.py，程序会在Console中输出“注册成功”消息，而服务端的Console中会输出如图2所示的信息。

![d6ef3a2c4e7dbe4661a7591cdde7bb32.png][]

\- EOF -

推荐阅读  点击标题可跳转

[编写爬虫竟然成了“面向监狱编程”，就是因为不懂Robots协议（爬虫协议）][Robots]

[卧槽，好强大的魔法，竟能让Python支持方法重载][Python]

[Python装饰器（decorator）不过如此，是我想多了][Python_decorator]

[这样合并Python字典，可以让程序的运行效率提高4倍][Python_4]

[Python代码可以加密吗？Python字节码告诉你！][Python_Python]

[使出Python的六脉神剑，让Python拥有无限扩展性][Python_Python 1]

[Python生成器（Generator）最完美解释][Python_Generator]

关注「极客起源」公众号，加星标，不错过精彩技术干货

![c5c17fe27758d7cecbfdb6ea0b2a932c.png][]

[4cccc0d811521a81a831ad9660bb2a45.png]: /images/20221023/bd7421e65cfc4db49ff099557e8efd66.png
[d6ef3a2c4e7dbe4661a7591cdde7bb32.png]: /images/20221023/1800205a84154950b97c8d0e7b3ac4d0.png
[Robots]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693ce28a1eb5f41cf7c435436c03ae3ff37daebc53bd4c18a0cfeb28d795ba9893762b6374&idx=1&mid=2651365908&scene=21&sn=0c0ca343559d1db074867d66b89b7aef#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f3b8a1eb62d3c68093e7bbc4664c877b9a1d561eae2fe28cc15b5ff97897578d43e3b65&idx=1&mid=2651365837&scene=21&sn=a50df8971721c4298579d98aa7db0011#wechat_redirect
[Python_decorator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f568a1eb6400427ed936f0ba73feb70ef139da1a650529ac1d0606a69bee9aeaa6f5547&idx=1&mid=2651365792&scene=21&sn=9d969fea7030c5b6ffca79461be88ffd#wechat_redirect
[Python_4]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f948a1eb682cbbd11beac44afb562f92716142b61b286a95d44247fb0d421f062396460&idx=1&mid=2651365730&scene=21&sn=4ef4ab8e3f0dff7fa79fe8fffec0f088#wechat_redirect
[Python_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb68a1eb6a02a55a3387e881009abbffa24d3f128fee9715ee7d1184378fe816699a3b1&idx=1&mid=2651365696&scene=21&sn=b3e8106e2a5b49ed8a36014a89b814be#wechat_redirect
[Python_Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e4e8a1eb7587daf3d596210cd7ebb9abc53253da2757798a8232cea7c4e40b2caec5de4&idx=1&mid=2651365560&scene=21&sn=dfa01f756026cd4783f78289f47908e3#wechat_redirect
[Python_Generator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e748a1eb762e07dcf354ac469e727e305d62b33647c833480ca09e407fec913ef4820c7&idx=1&mid=2651365506&scene=21&sn=7a8f298b48bec412b279188e9033853e#wechat_redirect
[c5c17fe27758d7cecbfdb6ea0b2a932c.png]: /images/20221023/019a7f7f22cc462b8b5f31dc7131c33e.png