【Python爬虫实战】用urllib与服务端交互（发送和接收数据）

素颜马尾好姑娘i 2022-10-23 11:20 42阅读 0赞

本文节选自《Python爬虫技术：深入理解原理、技术与开发》。

![format_png][]

urllib是Python3中内置的HTTP请求库，不需要单独安装，官方文档链接如下：

https://docs.python.org/3/library/urllib.html

从官方文档可以看出，urllib包含4个模块，如图1所示。

![format_png 1][]

图1 urllib官方文档目录

这4个模块的功能描述如下：

*  request：最基本的HTTP请求模块，可以用来发送HTTP请求，并接收服务端的响应数据。这个过程就像在浏览器地址栏输入URL，然后按Enter键一样。
 *  error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后根据实际情况，或者进行重试，或者直接忽略，或进行其他操作。
 *  parse：工具模块，提供了很多处理URL的API，如拆分、解析、合并等。
 *  robotparser：主要用来识别网站的robots.txt文件，然后判断哪些网站可以抓取，哪些网站不可以抓取。

本文主要介绍如何通过urllib发送HTTP GET请求和HTTP POST请求，并获取相应数据。

1. 用urlopen函数发送HTTP GET请求

urllib最基本的一个功能就是向服务端发送HTTP请求，然后接收服务端返回的响应数据。这个功能只需要通过urlopen函数就可以搞定。例如，下面的代码向百度发送HTTP GET请求，然后输出服务端的响应结果。

import urllib.request
    response=urllib.request.urlopen('https://baidu.com')
    # 将服务端的响应数据用utf-8解码
    print(response.read().decode('utf-8'))

运行结果如图2所示。

![format_png 2][]        图2 百度首页的HTML代码

我们可以看到，使用urllib与服务端交互是非常容易的，除了import语句外，真正与业务有关的代码只有2行，就完成了整个与服务端交互的过程。其实这个过程已经完成了爬虫的第一步，就是从服务端获取HTML代码，然后就可以利用各种分析库对HTML代码进行解析，提取出我们感兴趣的URL、文本、图像等。

其实urlopen函数返回的是一个对象，而read是这个对象的一个方法，可以利用type方法输出这个对象的类型，当我们知道了对象类型后，就可以很容易知道这个对象中有哪些API，然后调用它们。

import urllib.request
    response=urllib.request.urlopen('https://baidu.com')
    print(type(response))

这段代码会输出如下的结果：

现在我们了解到，urlopen函数返回的是HTTPResponse类型的对象，主要包含read、getheader、getheaders等方法，以及msg、version、status、debuglevel、closed等属性。

下面是一个实际的案例，用来演示了HTTPResponse对象中主要的方法和属性的用法。

import urllib.request
    # 向京东商城发送HTTP GET请求，urlopen函数即可以使用http，也可以使用https
    response=urllib.request.urlopen('https://www.jd.com')
    # 输出urlopen函数返回值的数据类型
    print('response的类型：',type(response))
    # 输出响应状态码、响应消息和HTTP版本
    print('status:',response.status,' msg:',response.msg,' version:', response.version)
    # 输出所有的响应头信息
    print('headers:',response.getheaders())
    # 输出名为Content-Type的响应头信息
    print('headers.Content-Type',response.getheader('Content-Type'))
    # 输出京东商城首页所有的HTML代码（经过utf-8解码）
    print(response.read().decode('utf-8'))

运行结果如图3所示。

![format_png 3][]

图3 HTTPResponse对象的API演示

2.  用urlopen函数发送HTTP POST请求

urlopen函数默认情况下发送的是HTTP GET请求，如果要发送HTTP POST请求，需要使用data命名参数，该参数是bytes类型，需要用bytes类将字符串形式的数据转换为bytes类型。

下面的例子向http://httpbin.org/post发送HTTP POST请求，并输出返回结果。

import urllib.request
    # 将表单数据转换为bytes类型，用utf-8编码
    data=bytes(urllib.parse.urlencode({'name':'Bill','age':30}),encoding='utf-8')
    # 提交HTTP POST请求
    response=urllib.request.urlopen('http://httpbin.org/post',data=data)
    # 输出响应数据
    print(response.read().decode('utf-8'))

这段代码中一开始提供了一个字典形式的表单数据，然后使用urlencode方法将字典类型的表单转换为字符串形式的表单，接下来将字符串形式的表单按utf-8编码转换为bytes类型，这就是要传给urlopen函数的data命名参数的值，要注意，一旦指定了data命名参数，urlopen函数就会向服务端提交HTTP POST请求，这里并不需要显式指定要提交的是POST请求。

本例将HTTP POST请求提交给了http://httpbin.org/post，这是一个用于测试HTTP POST请求的网址，如果请求成功，服务端会将HTTP POST请求信息原封不动地返回给客户端。

运行结果如图4所示。

![format_png 4][]

图4  HTTP POST请求信息

\- EOF -

推荐阅读  点击标题可跳转

[Python爬虫实战：抓取博客文章列表][Python]

[卧槽，好强大的魔法，竟能让Python支持方法重载][Python 1]

[Python装饰器（decorator）不过如此，是我想多了][Python_decorator]

[这样合并Python字典，可以让程序的运行效率提高4倍][Python_4]

[Python字典不是不可以排序，是你方法没用对！][Python 2]

[文件侠告诉你，Python复制文件的N种姿势！][Python_N]

[Python代码可以加密吗？Python字节码告诉你！][Python_Python]

[使出Python的六脉神剑，让Python拥有无限扩展性][Python_Python 1]

[看我用元类（metaclass）花式创建Python类][metaclass_Python]

[你不知道\_\_name\_\_变量是什么意思吗？][name]

[Python生成器（Generator）最完美解释][Python_Generator]

关注「极客起源」公众号，加星标，不错过精彩技术干货

![format_png 5][]

[format_png]: /images/20221023/2e6134429efc43bfbf9fede07eef83b8.png
[format_png 1]: /images/20221023/a330ce5495fa4b7196db50dd35db927a.png
[format_png 2]: /images/20221023/ae15795b204b4f798c1843bb66d4ceab.png
[format_png 3]: /images/20221023/9cf6ec70e7f548e7bb7f0b9c83270c68.png
[format_png 4]: /images/20221023/252364a0118346e486b329541e323745.png
[Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f218a1eb6377333d85d1719950f8ac4bf1d73bedb3d4af5450c326f2848561cbccc2c7b&idx=1&mid=2651365847&scene=21&sn=c25e1be6c79d0908c002cb1230707ac0#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f3b8a1eb62d3c68093e7bbc4664c877b9a1d561eae2fe28cc15b5ff97897578d43e3b65&idx=1&mid=2651365837&scene=21&sn=a50df8971721c4298579d98aa7db0011#wechat_redirect
[Python_decorator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f568a1eb6400427ed936f0ba73feb70ef139da1a650529ac1d0606a69bee9aeaa6f5547&idx=1&mid=2651365792&scene=21&sn=9d969fea7030c5b6ffca79461be88ffd#wechat_redirect
[Python_4]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f948a1eb682cbbd11beac44afb562f92716142b61b286a95d44247fb0d421f062396460&idx=1&mid=2651365730&scene=21&sn=4ef4ab8e3f0dff7fa79fe8fffec0f088#wechat_redirect
[Python 2]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f988a1eb68e3125393946e6050d9224c497324a082998ffd35f1876fe5f864d0b335b2e&idx=1&mid=2651365742&scene=21&sn=8d79163bb7b2d1b1a2132d10dbe75245#wechat_redirect
[Python_N]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb88a1eb6ae7b88f6943e7852693856ec5d94e0ae365ef3b4ba2dfd3c8df9e05c75eb2e&idx=1&mid=2651365710&scene=21&sn=fee949a85ccf358ee151f582e4a110a2#wechat_redirect
[Python_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb68a1eb6a02a55a3387e881009abbffa24d3f128fee9715ee7d1184378fe816699a3b1&idx=1&mid=2651365696&scene=21&sn=b3e8106e2a5b49ed8a36014a89b814be#wechat_redirect
[Python_Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e4e8a1eb7587daf3d596210cd7ebb9abc53253da2757798a8232cea7c4e40b2caec5de4&idx=1&mid=2651365560&scene=21&sn=dfa01f756026cd4783f78289f47908e3#wechat_redirect
[metaclass_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e518a1eb747ba5bfb1c95b7734ba6f003a3629c904e929265a28e2b7379064e05f4a59b&idx=1&mid=2651365543&scene=21&sn=49d128105f9cf0e60e6f29d37f4042db#wechat_redirect
[name]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e6d8a1eb77b7ea2c3dd5bc34365f6f16a9e311b171777275faf91ed355e73e4ce080580&idx=1&mid=2651365531&scene=21&sn=b13ae5e0b8b6513eb2b9ea37d7941643#wechat_redirect
[Python_Generator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e748a1eb762e07dcf354ac469e727e305d62b33647c833480ca09e407fec913ef4820c7&idx=1&mid=2651365506&scene=21&sn=7a8f298b48bec412b279188e9033853e#wechat_redirect
[format_png 5]: /images/20221023/0911c01b68e845d3a50a138c171445b7.png