【零基础学爬虫】Urllib库的使用

梦里梦外; 2022-04-24 07:16 255阅读 0赞

# 回顾 #

由上一篇文章知道：通过python代码向服务器发送request，然后通过获取response就可以获取到网页的内容了。那么python如何向网站发起请求呢？这个过程又是如何实现的呢？

# Urllib #

python的Urllib库为我们实现了想浏览器发起请求的过程，Urllib是python内置的一个http请求库（不需要额外的手动安装），除了发起request，Urllib还提供了比较强大的url解析函数。  
![urllib库.png][urllib_.png]

其中：

*  request模块是用来模拟人工点击，向网站发起request
 *  err是异常处理模块：如果出现请求错误。可以捕捉这个异常，然后进行重试或者其他操作，保证程序不会意外的终止。
 *  parse是一个根据模块，提供了很多URL处理方法：拆分合并之类的
 *  robotparser：主要是依赖识别网站的robots.txt文件，然后判断哪些网站是可以爬去的，哪些是不可以爬取的，使用的比较少。

import urllib.requst
    response = urllib.request.urlopen('http://www.baidu.com')

urllib其实不太好用，后面会介绍其他更好用的库：它是基于Urllib库来实现的。urllib作为最基本的请求库，这里还是介绍一下urllib库的基本原理和使用。

\#\#request.urlopen()函数介绍  
urllib.request.urlopen(  
url, data=None, \[timeout, \]\*, cafile=None, capath=None, cadefault=False, context=None  
)

**其中**

*  url: 需要打开的网址
 *  data：Post提交的数据，应该是byte类型的数据
 *  timeout：设置网站的访问超时时间

\#\#\#urlopen返回的response对象提供方法：

*  read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作，返回的是byte类型的数据，需要使用decode方法转换为字符串，获取响应体的内容
 *  info()：返回HTTPMessage对象，表示远程服务器返回的头信息
 *  getcode()：返回Http状态码。如果是http请求，200请求成功完成 ; 404网址未找到
 *  geturl()：返回请求的url

#### 案例： ####

1.  测试get请求

from urllib import request
    response = request.urlopen('http://www.baidu.com')
    print(response.read().decode('utf-8'))

上面代码打印出来的是浏览器访问“[www.baidu.com][]”时返回的第一个html页面：  
![request.urlopen.jpg][]

> 注：如果你在浏览器中看不到上面的源代码，可以清除cookie试试

2.测试post请求

from urllib import request
    from urllib import parse 
    #request.urlopean(url,data,)
    data = bytes(parse.urlencode({ 'word':'hello'}),encoding='utf-8')
    response = request.urlopen('http://httpbin.org/post',data=data);#这是一个HTTP测试网站
    print(response.read().decode('utf-8'))

*上面代码的输出的是json格式*：  
![urllibPost.png][]

3.超时设置：在规定时间没有得到响应就会抛出异常

from urllib import request
    response = request.urlopen('http://httpbin.org/get',timeout=0.1);#这是一个HTTP测试网站，超时时间设置为0.1秒
    print(response.read().decode('utf-8'))

上面代码会报异常：socket.timeout: timed out

下面代码输出的是：TimeOut

from urllib import request
    from urllib import error
    import socket
    try:
        response = request.urlopen('http://httpbin.org/get',timeout=0.1);#超时0.1s
    except error.URLError as e:
        if isinstance(e.reason,socket.timeout):
            print('TimeOut')

上面是urlopen使用，即发如何发起request请求，下面介绍response相关知识点

\#response

1.  response的类型：

from urllib import request
    response = request.urlopen('http://www.python.org');
    print(type(response))

输出的结果是：  
打印出来的是： *class ‘http.client.HTTPResponse’*

2.response中的主要成员：状态码和响应头

from urllib import request
    response = request.urlopen('http://www.python.org');
    print(response.status)
    print(response.getheaders());
    print(response.getheader('server'))#获取响应头中的某一个取值

输出结果：  
![response内容.jpg][response_.jpg]

上面结果对应浏览器的下面结果：

![浏览器response.jpg][response.jpg]

3.获取response响应体的内容

from urllib import request
    response = request.urlopen('http://www.python.org');
    print(response.read.decode('utf-8'))

输出的内容在文章开头的get请求中以已经介绍了

\#Request对象

*  urlopen可以传入一个Request对象，我们可以在Request对象中配置header，method等  
    ![request对象.png][request_.png]

执行结果：

![结果.png][.png]

另外一种添加header的方式：

![添加head方式.png][head_.png]

# 代理：Handle #

*  可以通过代理伪装自己的IP，爬取数据的时候服务器获取到的是代理的IP地址：

from  urllib import request
    proxy_handle = request.ProxyHandle({ 
        ‘http':http://代理ip
        'https'：https://代理IP
    })
    opener = request.builder_opener(proxy_handle)
    response = opener.open('www.baidu.com')

## cookie ##

在爬虫中，cookie主要是用来维持用户账号的登录状态  
1.**cookie的获取**

#---------------获取cookie
    from http import cookiejar
    from urllib import request
    cookie = cookiejar.CookieJar()
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    for item in cookie:
        print(item.name+' = '+item.value)

2.\*\*cookie保存：\*\*因为cookie可以用来保持登录信息的，所以可以把cookie保存成文本文件。如果cookie没有失效，我们可以从文件读取cookie，并将cookie附加在request中：

#---------------保存cookie
    from http import cookiejar
    from urllib import request
    filename= 'cookie.txt'
    cookie = cookiejar.MozillaCookieJar(filename)
    
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    cookie.save(ignore_discard=True,ignore_expires=True)

3.**cookie**：cookie可以保存成不同的格式，但是这不太重要，你使用什么格式存储的就使用什么格式读取就好，下面是另外一种cookie保存格式，主要是类

#---------------保存cookie另外一种格式
    from http import cookiejar
    from urllib import request
    filename= 'cookie.txt'
    cookie = cookiejar.LWPCookieJar(filename)
    
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    cookie.save(ignore_discard=True,ignore_expires=True)

1.  **装载cookie**

#---------------读取cookie
    from http import cookiejar
    from urllib import request
    filename= 'cookie.txt'
    cookie = cookiejar.LWPCookieJar(filename)
    
    cookie.load('cookie.txt',ignore_discard=True,ignore_expires=True);
    
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    print(response.read().decode('utf-8'))

# 异常处理 #

from urllib import request,error
    try:
        response = request.urlopen('网址')#当网页不存在的时候，异常可以捕获到，程序不会终止退出
    except error.URLError as e:
        print(e.reason)

上面的异常也可以像java那样分类捕捉异常，主要有三个error:  
1.URLError  
2.HTTPError（URLError的子类）  
3.ContentTooShortError

\#parse，URL解析

from urllib.parse import urlparse
    result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
    print(type(result,result))

type:class ‘urllib.parse.ParseResult’  
result:  
scheme=‘http’, netloc=‘[www.baidu.com][]’, path=’/index.html’, params=‘user’, query=‘id=5’, fragment=‘comment’

*  **urlparse**:url的切分
 *  **urlunparse**：将几部分字符串合成一个url

from urllib.parse import urunlparse
    data = ['http','www.baidu.com','index.html','a=6','comment']
    print(urlunparse(data))
    #http://www.baidu.com/index.html?a=6#comment

*  url拼接：urljoin，urlencode  
    ![urljoin.png][]

urlencode将以字典形式组织的参数拼接到url上

--------------------

扫描下方二维码，**及时**获取更多**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术，和**海量资料分享**：公众号后台回复“**csdn**”即可免费领取【csdn】和【百度文库】下载服务；公众号后台回复“**资料**”:即可领取**5T精品学习资料**、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**  
![扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）][1240]

[urllib_.png]: /images/20220218/9d99646b4c714816ab88bb76fa202ef8.png
[www.baidu.com]: http://www.baidu.com
[request.urlopen.jpg]: /images/20220218/7dcfe2dcf2b142b3a4cf90985c801316.png
[urllibPost.png]: /images/20220218/c23f28934fbc42d59b923534d31ac1e5.png
[response_.jpg]: /images/20220218/553345894c654c669842cf0d8a149a38.png
[response.jpg]: /images/20220218/79e732955170498ea0d5be6074b63a7a.png
[request_.png]: /images/20220218/899b80046872403fb61ebdb44f723c6f.png
[.png]: /images/20220218/7f297edf40f144059a4bebbdefb5de59.png
[head_.png]: /images/20220218/880159002c3f45378b6c544e5ceb65b9.png
[urljoin.png]: /images/20220218/c38827e4845649f994274531d4be5f0d.png
[1240]: /images/20220218/352f811180db4cb6a495eacc09d93183.png