【一起学爬虫】Urllib库的使用

素颜马尾好姑娘i 2022-10-01 10:52 294阅读 0赞

\#回顾 由上一篇文章知道：通过python代码向服务器发送request，然后通过获取response就可以获取到网页的内容了。那么python如何向网站发起请求呢？这个过程又是如何实现的呢？

# Urllib #

python的Urllib库为我们实现了想浏览器发起请求的过程，Urllib是python内置的一个http请求库（不需要额外的手动安装），除了发起request，Urllib还提供了比较强大的url解析函数。

其中：

*  request模块是用来模拟人工点击，向网站发起request
 *  err是异常处理模块：如果出现请求错误。可以捕捉这个异常，然后进行重试或者其他操作，保证程序不会意外的终止。
 *  parse是一个根据模块，提供了很多URL处理方法：拆分合并之类的
 *  robotparser：主要是依赖识别网站的robots.txt文件，然后判断哪些网站是可以爬去的，哪些是不可以爬取的，使用的比较少。

import urllib.requst
    response = urllib.request.urlopen('http://www.baidu.com')
    复制代码

urllib其实不太好用，后面会介绍其他更好用的库：它是基于Urllib库来实现的。urllib作为最基本的请求库，这里还是介绍一下urllib库的基本原理和使用。

\#\#request.urlopen()函数介绍 urllib.request.urlopen( url, data=None, \[timeout, \]\*, cafile=None, capath=None, cadefault=False, context=None )

**其中**

*  url: 需要打开的网址
 *  data：Post提交的数据，应该是byte类型的数据
 *  timeout：设置网站的访问超时时间

\#\#\#urlopen返回的response对象提供方法： -  read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作，返回的是byte类型的数据，需要使用decode方法转换为字符串，获取响应体的内容 -   info()：返回HTTPMessage对象，表示远程服务器返回的头信息 - getcode()：返回Http状态码。如果是http请求，200请求成功完成 ; 404网址未找到 - geturl()：返回请求的url

\#\#\#\#案例：

1.  测试get请求

from urllib import request
    response = request.urlopen('http://www.baidu.com')
    print(response.read().decode('utf-8'))
    复制代码

上面代码打印出来的是浏览器访问“www.baidu.com”时返回的第一个html页面：

> 注：如果你在浏览器中看不到上面的源代码，可以清除cookie试试

2.测试post请求

from urllib import request
    from urllib import parse 
    #request.urlopean(url,data,)
    data = bytes(parse.urlencode({
        'word':'hello'}),encoding='utf-8')
    response = request.urlopen('http://httpbin.org/post',data=data);#这是一个HTTP测试网站
    print(response.read().decode('utf-8'))
    复制代码

*上面代码的输出的是json格式*：

3.超时设置：在规定时间没有得到响应就会抛出异常

from urllib import request
    response = request.urlopen('http://httpbin.org/get',timeout=0.1);#这是一个HTTP测试网站，超时时间设置为0.1秒
    print(response.read().decode('utf-8'))
    复制代码

上面代码会报异常：socket.timeout: timed out

下面代码输出的是：TimeOut

from urllib import request
    from urllib import error
    import socket
    try:
        response = request.urlopen('http://httpbin.org/get',timeout=0.1);#超时0.1s
    except error.URLError as e:
        if isinstance(e.reason,socket.timeout):
            print('TimeOut')
    复制代码

上面是urlopen使用，即发如何发起request请求，下面介绍response相关知识点

\#response

1.  response的类型：

from urllib import request
    response = request.urlopen('http://www.python.org');
    print(type(response))
    复制代码

输出的结果是： 打印出来的是： *class 'http.client.HTTPResponse'*

2.response中的主要成员：状态码和响应头

from urllib import request
    response = request.urlopen('http://www.python.org');
    print(response.status)
    print(response.getheaders());
    print(response.getheader('server'))#获取响应头中的某一个取值
    复制代码

输出结果：

上面结果对应浏览器的下面结果：

3.获取response响应体的内容

from urllib import request
    response = request.urlopen('http://www.python.org');
    print(response.read.decode('utf-8'))
    复制代码

输出的内容在文章开头的get请求中以已经介绍了

\#Request对象

*  urlopen可以传入一个Request对象，我们可以在Request对象中配置header，method等

执行结果：

另外一种添加header的方式：

\#代理：Handle

*  可以通过代理伪装自己的IP，爬取数据的时候服务器获取到的是代理的IP地址：

from  urllib import request
    proxy_handle = request.ProxyHandle({
        ‘http':http://代理ip
        'https'：https://代理IP
    })
    opener = request.builder_opener(proxy_handle)
    response = opener.open('www.baidu.com')
    复制代码

\#\#cookie 在爬虫中，cookie主要是用来维持用户账号的登录状态 1.**cookie的获取**

#---------------获取cookie
    from http import cookiejar
    from urllib import request
    cookie = cookiejar.CookieJar()
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    for item in cookie:
        print(item.name+' = '+item.value)
    复制代码

2.\*\*cookie保存：\*\*因为cookie可以用来保持登录信息的，所以可以把cookie保存成文本文件。如果cookie没有失效，我们可以从文件读取cookie，并将cookie附加在request中：

#---------------保存cookie
    from http import cookiejar
    from urllib import request
    filename= 'cookie.txt'
    cookie = cookiejar.MozillaCookieJar(filename)
    
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    cookie.save(ignore_discard=True,ignore_expires=True)
    复制代码

3.**cookie**：cookie可以保存成不同的格式，但是这不太重要，你使用什么格式存储的就使用什么格式读取就好，下面是另外一种cookie保存格式，主要是类

#---------------保存cookie另外一种格式
    from http import cookiejar
    from urllib import request
    filename= 'cookie.txt'
    cookie = cookiejar.LWPCookieJar(filename)
    
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    cookie.save(ignore_discard=True,ignore_expires=True)
    复制代码

1.  **装载cookie**

#---------------读取cookie
    from http import cookiejar
    from urllib import request
    filename= 'cookie.txt'
    cookie = cookiejar.LWPCookieJar(filename)
    
    cookie.load('cookie.txt',ignore_discard=True,ignore_expires=True);
    
    handler = request.HTTPCookieProcessor(cookie)
    opener = request.build_opener(handler)
    response = opener.open('http://www.baidu.com')
    print(response.read().decode('utf-8'))
    复制代码

\#异常处理

from urllib import request,error
    try:
        response = request.urlopen('网址')#当网页不存在的时候，异常可以捕获到，程序不会终止退出
    except error.URLError as e:
        print(e.reason)
    复制代码

上面的异常也可以像java那样分类捕捉异常，主要有三个error: 1.URLError 2.HTTPError（URLError的子类） 3.ContentTooShortError

\#parse，URL解析

from urllib.parse import urlparse
    result = urlparse('http://www.baidu.com/index.html;user?id=5#comment')
    print(type(result,result))
    复制代码

type:class 'urllib.parse.ParseResult' result: scheme='http', netloc='www.baidu.com', path='/index.html', params='user', query='id=5', fragment='comment'

*  **urlparse**:url的切分
 *  **urlunparse**：将几部分字符串合成一个url

from urllib.parse import urunlparse
    data = ['http','www.baidu.com','index.html','a=6','comment']
    print(urlunparse(data))
    #http://www.baidu.com/index.html?a=6#comment
    复制代码

*  url拼接：urljoin，urlencode

urlencode将以字典形式组织的参数拼接到url上

### **资料分享** ###

**[java学习笔记、10T资料、100多个java项目分享][java_10T_100_java]**

--------------------

欢迎关注个人公众号【菜鸟名企梦】，公众号专注：**互联网求职面经**、**java**、**python**、**爬虫**、**大数据**等技术分享\*\*： 公众号\*\*`菜鸟名企梦`**后台发送“csdn”即可免费领取【csdn】和【百度文库】下载服务； 公众号**`菜鸟名企梦`**后台发送“资料”:即可领取**5T精品学习资料\*\*、**java面试考点**和**java面经总结**，以及**几十个java、大数据项目**，**资料很全，你想找的几乎都有**

转载于:https://juejin.im/post/5cbd75c36fb9a03228616807

[java_10T_100_java]: https://link.juejin.im?target=https%3A%2F%2Fblog.csdn.net%2Fliewen_%2Farticle%2Fdetails%2F89737004