Python爬虫学习记录——3.使用Requests爬取豆瓣短评

ゝ一世哀愁。 2023-05-31 10:19 93阅读 0赞

### 文章目录 ###

*   *  Requests库介绍
     *  Requests库安装
     *  Requests库的简单用法
     *  实战
     *  爬虫协议

## Requests库介绍 ##

Requests库官方的介绍有这么一句话：Requests，唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。  
这句话直接并霸气地宣示了Requests库是python最好的一个HTTP库。  
想要深入学习Requests库，可以参考官方文档：http://cn.python-requests.org/zh\_CN/latest/

## Requests库安装 ##

这里介绍两种常用的python安装第三方库的方法，建议首先使用第一种方法，如果使用第一种方法安装库的时候出现错误，或者使用第一种方法下载速度过慢，再使用第二种方法。

*  **第一种方法：pip安装**
    
    1.  打开cmd命令行，输入pip install requests  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]  
        出现Successfully installed，即表示成功安装。
    2.  然后进入python，输入:
        
            import requests
        
        没有报错的话即表示可以使用requests库了。
 *  **第二种方法：下载包再安装**
    
    1.  前往http://www.lfd.uci.edu/~gohlke/pythonlibs/，手动下载需要安装的第三方包（注意对应你的python版本是32位还是64位）。
    2.  然后在下载下来的文件所在目录按住shift并点击鼠标右键，选择在此处打开Powershell窗口，在此命令行中使用“pip install + 下载下来文件全名”，即可完成安装。  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 1]  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 2]

**注意：无论使用哪种方式，安装完成后，同样需要进入python并import一下，如果没有返回错误，才能确定可以正常使用。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 3]

## Requests库的简单用法 ##

**Requests库的七个主要方法**

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>requests.request()</td> 
   <td>构造一个请求，支撑以下各方法的基础方法</td> 
  </tr> 
  <tr> 
   <td>requests.get()</td> 
   <td>获取HTML网页的主要方法，对应于HTTP的GET</td> 
  </tr> 
  <tr> 
   <td>requests.head()</td> 
   <td>获取HTML网页头信息的方法，对应于HTTP的HEAD</td> 
  </tr> 
  <tr> 
   <td>requests.post()</td> 
   <td>向HTML网页提交POST请求的方法，对应于HTTP的POST</td> 
  </tr> 
  <tr> 
   <td>requests.put()</td> 
   <td>向HTML网页提交PUT请求的方法，对应于HTTP的PUT</td> 
  </tr> 
  <tr> 
   <td>requests.patch()</td> 
   <td>向HTML网页提交局部修改请求，对应于HTTP的PATCH</td> 
  </tr> 
  <tr> 
   <td>requests.delete()</td> 
   <td>向HTML网页提交删除请求，对应于HTTP的DELETE</td> 
  </tr> 
 </tbody> 
</table>

这里只需要掌握最常用的**requests.get()方法**即可。

**Requests.get的用法**

import requests  #导入Requests库
    r = requests.get(url) #使用get方法发送请求，返回包含网页数据的Response并存储到Response对象r中

通过这个方法，可以获得Response对象，进行接下来的操作。

**Response对象的属性**

*  **r.status\_code**：http请求的返回状态，200表示连接成功(阅读HTTP状态码，了解各状态码含义)
 *  **r.text**：返回对象的文本内容
 *  **r.content**：猜测返回对象的二进制形式
 *  **r.encoding**：分析返回对象的编码方式
 *  **r.apparent\_encoding**：响应内容编码方式（备选编码方式）

**以知乎为例，展示上述代码的使用**

>>> import requests
    >>> r = requests.get('https://www.zhihu.com/')
    >>> r.status_code
    500
    >>> r.text   #省略
    >>> r.content   #省略
    >>> r.encoding
    'ISO-8859-1'
    >>> r.apparent_encoding
    'ascii'

## 实战 ##

1.  **分析豆瓣短评网页**  
    首先通过浏览器工具来分析网页的加载方式，注意同步加载和异步加载的区别\*\*：只有同步加载的数据才能直接在网页源代码中直接查看到，异步加载的数据直接查看网页源代码是看不到的。\*\*  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 4]  
    把JavaScript由“允许”改为“阻止”，重新刷新页面，若网页正常加载，说明该网页的加载方式是**同步加载**，若网页没有正常加载，说明该网页的加载方式是**异步加载**。
2.  **使用Requests下载数据**
    
    1.  导入Requests库
    2.  输入url
    3.  使用get方法
    4.  打印返回文本
    5.  抛出异常

import requests #导入Requests库
    url = ' ' #输入url
    r = requests.get(url,timeout=20) #使用get方法
    print(r.text) #打印返回文本
    print(r.raise_for_status()) #抛出异常

1.  **爬取网页通用框架**
    
    1.  定义函数
    2.  设置超时
    3.  异常处理
    4.  调用函数

#定义函数
    def getHTMLText(url):
        try:
            r = requests.get(url,timeout=20) #设置超时
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            return r.text
        except: #异常处理
            return "产生异常"
    
    if __name__ == '__main__':
        url = "https://movie.douban.com/review/best/?start=60"
        print(getHTMLText(url)) #调用函数

## 爬虫协议 ##

**什么是爬虫协议**  
爬虫协议，也被叫做robots协议，是为了告诉网络蜘蛛哪些页面可以抓取，哪些页面不能抓取

**如何查看爬虫协议**  
在访问网站域名后加上robots.txt即可，例如查看百度网站的爬虫协议：https://www.baidu.com/robots.txt

**爬虫协议属性**：

*  拦截所有的机器人：
    
        User-agent: * 
        Disallow: /
 *  允许所有的机器人：
    
        User-agent: * 
        Disallow:

**爬虫建议**

*  爬取互联网公开数据
 *  尽量放慢你的速度
 *  尽量遵循robots协议
 *  不要用于商业用途
 *  不要公布爬虫程序与数据

**为何要遵循爬虫协议**  
即使不是爬虫工程师，关注互联网的人也很少不知道Robots协议的。百度和360从2012年起展开的一场屏蔽与反屏蔽战把原本程序员才知道的Robots协议变成媒体热词。北京一中院8月7日对3B搜索不正当竞争纠纷案（3B案）作出的一审判决让Robots协议在新闻里又火了一把。Robots协议的法律地位或法律效力问题是3B案一系列法律问题中最大的争点。作为一个爬虫学习者必须从中吸取教训，不要让自己的爬虫违反了法律。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]: /images/20230531/290ba93caa3c41f08acfab72b6b3fa5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 1]: /images/20230531/a2dfe5be12074566b7ed5dcc1e12d0b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 2]: /images/20230531/3ce021f5c33e43b68b57149e37979166.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 3]: /images/20230531/d5b00d4e0ded4d58ab272e5fc965d5a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70 4]: /images/20230531/874ceb87f3de46afa74c6fea4f3ebfd1.png