爬虫笔记--Requests

浅浅的花香味﹌ 2021-09-22 15:14 343阅读 0赞

Requests库是能够处理获取url（网址链接）中的信息的一个第三方库

一、requests安装：  
            Windows进入cmd命令行：pip install requests

我们可以打开IDLE来查看是否成功的安装。

![20181126121310899.png][]

没有提示错误信息表示我们已经成功地安装好了requests库

二、requests下的主要方法：  
            requests.requests() 构造一个请求，支撑以下的各种方法的基础方法  
            requests.get() 获取HTML网页的主要方法，对应于HTTP的GET  
            requests.head() 获取HTML网页头信息的主要方法，对应于HTTP的HEAD  
            requests.post() 向HTML网页提交POST请求的方法，对应于HTTP的POST  
            requests.put() 向HTML网页提交PUT请求的方法，对应于HTTP的PUT  
            requests.patch() 向HTML网页提交局部修改请求，对应于HTTP的PATCH  （节省带宽）  
            requests.delete() 向HTML网页提交删除请求，对应于HTTP的DELETE

三、Response对象的属性  
            r.status\_code  HTTP请求的返回状态，200表示连接成功  
            r.text HTTP响应内容的字符串形式，即url对应的页面内容  
            r.encoding  从HTTP hader中猜测的响应内容编码方式  
            r.apparent\_encoding  从内容中分析出响应内容编码格式  
            r.content  HTTP响应内容的二进制形式

四、requests异常处理  
            requests.ConnectionError  网络连接异常，如DNS查询失败、拒绝连接等  
            requests.HTTPError   HTTP错误异常  
            requests.URLRequired  URL缺失异常  
            requests.TooManyRedirects   超过最大重定向次数、产生的重定向异常  
            requests.ConnectTimeout   连接服务器超时异常  
            requests.Timeout   请求URL超时异常

为什么要有这么多的异常处理，那是因为有些网站是不能够被访问

一般的原因有下面两种：

1、网站的搭建者或者维护者拥有较高的能力，使用一定的工具来限制你对他们网页内容进行相关的爬取

2、网页本身是具有robots协议，这里请自行百度一下robots协议的相关信息我在此就不介绍了。

对于第一种方法我们不太好解决，因为技术有限，但是如果只是因为robots协议的话我们是可以修改一定的参数来绕过robots协议的。

对requests库的介绍到此为止，希望能对大家有帮助。

[20181126121310899.png]: /images/20210920/ea30398a351a4c11bf8c948dba3f8f02.png