Python爬虫入门

快来打我* 2023-01-01 03:49 194阅读 0赞

# Python爬虫入门之 初识爬虫 #

> 简单介绍Python爬虫相关的知识

### 文章目录 ###

*  Python爬虫入门之 初识爬虫
 *   *  1. 什么是爬虫？
     *  2. requests的基本使用
     *   *  2.1 你的第一个爬虫程序
         *  2.2 headers请求头的重要性
     *  3. 案例：豆瓣电影\`Top250\`数据请求
     *  4. 网页解析

![在这里插入图片描述][resize_m_lfit_w_962_pic_center]  
推荐阅读：

1.  [使用xpath爬取数据][xpath]
2.  [jupyter notebook使用][jupyter notebook]
3.  [BeautifulSoup爬取豆瓣电影Top250][BeautifulSoup_Top250]
4.  [一篇文章带你掌握requests模块][requests]
5.  [Python网络爬虫基础–BeautifulSoup][Python_BeautifulSoup]

## 1. 什么是爬虫？ ##

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

## 2. requests的基本使用 ##

Python里边请求网页，一般用到的是`requests`模块

**安装模块**

> pip install requests

<table> 
 <thead> 
  <tr> 
   <th><strong>方法</strong></th> 
   <th><strong>描述</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>requests.get()</strong></td> 
   <td>请求指定的页面信息，并返回实体主体</td> 
  </tr> 
  <tr> 
   <td><strong>requests.post()</strong></td> 
   <td>向指定资源提交数据进行处理请求（例如提交表单）</td> 
  </tr> 
 </tbody> 
</table>

**常用方法：**

*  `url` ：需要请求的链接
 *  `headers` : 请求头(很重要！！！)

**响应对象：**

<table> 
 <thead> 
  <tr> 
   <th align="center"><strong>方法</strong></th> 
   <th><strong>描述</strong></th> 
   <th><strong>用处</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">text</td> 
   <td>返回响应体文本信息</td> 
   <td>文本内容</td> 
  </tr> 
  <tr> 
   <td align="center">content</td> 
   <td>返回二进制响应内容</td> 
   <td>图片、音乐、视频等</td> 
  </tr> 
  <tr> 
   <td align="center">status_code</td> 
   <td>查看响应码</td> 
   <td>查看请求成功与否</td> 
  </tr> 
  <tr> 
   <td align="center"><code>json</code>()</td> 
   <td>返回<code>json</code>内容，将返回内容中的数据以键值对的方式提取出来</td> 
   <td><code>json</code>格式的数据</td> 
  </tr> 
 </tbody> 
</table>

**响应码：**

<table> 
 <thead> 
  <tr> 
   <th>状态码</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1**</td> 
   <td><strong>指示信息–表示请求已接收，继续处理</strong></td> 
  </tr> 
  <tr> 
   <td>2**</td> 
   <td><strong>成功–表示请求已被成功接收、理解、接受</strong></td> 
  </tr> 
  <tr> 
   <td>3**</td> 
   <td><strong>重定向–信息不完整需要进一步补充</strong></td> 
  </tr> 
  <tr> 
   <td>4**</td> 
   <td><strong>客户端错误–请求有语法错误或请求无法实现</strong></td> 
  </tr> 
  <tr> 
   <td>5**</td> 
   <td><strong>服务器端错误–服务器未能实现合法的请求</strong></td> 
  </tr> 
 </tbody> 
</table>

### 2.1 你的第一个爬虫程序 ###

import requests
    
    url = 'https://www.baidu.com'
    # 请求百度
    resp = requests.get(url)
    
    print(resp.text)		# 查看文本
    print(resp.content)		# 查看二进制的响应内容
    print(resp.status_code)	# 查看响应码

### 2.2 headers请求头的重要性 ###

这里咱们使用豆瓣电影`Top250`来示例：

import requests
    
    url = 'https://movie.douban.com/top250'
    resp = requests.get(url)
    print(resp.status_code)	# 418

> 这里状态码返回为418，很明显是请求不成功该网址的，下面再说如何处理

状态码总结

--------------------

![在这里插入图片描述][09bc8692db48200a65d2733aef08e0d3.png_pic_center]

--------------------

> 所以这个时候应该给我们的requests请求添加请求头，即将自己伪装成浏览器去进行访问。 如果想为请求添加请求头，只要简单地传递一个 `dict` 给 `headers` 参数就可以了。

## 3. 案例：豆瓣电影`Top250`数据请求 ##

[**豆瓣电影Top250**][Top250]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center]

--------------------

import requests
    
    url = 'https://movie.douban.com/top250?start=0&filter='
    headers = {
        
        'user-agent':'Mozilla/5.0'
    }
    
    resp = requests.get(url,headers=headers)
    print(resp.text)

## 4. 网页解析 ##

这里介绍几个从数据中提取信息的方法：

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong><code>BeautifulSoup</code></strong></td> 
   <td>一个可以从HTML或XML文件中提取数据的Python库</td> 
  </tr> 
  <tr> 
   <td><strong><code>XPath</code></strong></td> 
   <td>在XML文档中查找信息的语言</td> 
  </tr> 
  <tr> 
   <td><strong>正则表达式（re）</strong></td> 
   <td>一个特殊的字符序列，它能方便的检查一个字符串是否与某种模式匹配。</td> 
  </tr> 
 </tbody> 
</table>

这里只使用Xpath来做展示，其他的有兴趣可以自己动手学习哦！！

**安装模块：**

pip install lxml
    pip install parsel

**lxml模块：**

from lxml import etree
    
    parse_html = etree.HTML(html)

**Selector模块：**

from parsel import Selector
    
    sel = Selector(html)
    # xpath解析
    sel.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/div/span[4]/text()').extract_first()	# 第一个
    sel.xpath().extract()		# 全部
    
    # css解析
    sel.css()

from lxml import etree
    
    parse_html = etree.HTML(resp.text)
    
    # 电影名称
    parse_html.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
    # 导演、演员
    parse_html.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()[1]')
    # 上映日期
    parse_html.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()[2]')
    # 评分
    parse_html.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()')
    # 评论人数
    parse_html.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[4]/text()')
    # 评语
    parse_html.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[2]/span/text()')

[resize_m_lfit_w_962_pic_center]: /images/20221120/d9dc5bc419a447898f0d888bd8ee49a5.png
[xpath]: https://blog.csdn.net/qq_45176548/article/details/112000086
[jupyter notebook]: https://blog.csdn.net/qq_45176548/article/details/111993214
[BeautifulSoup_Top250]: https://blog.csdn.net/qq_45176548/article/details/111519379
[requests]: https://blog.csdn.net/qq_45176548/article/details/111146017
[Python_BeautifulSoup]: https://blog.csdn.net/qq_45176548/article/details/109144737
[09bc8692db48200a65d2733aef08e0d3.png_pic_center]: https://img-blog.csdnimg.cn/img_convert/09bc8692db48200a65d2733aef08e0d3.png#pic_center
[Top250]: https://movie.douban.com/top250?start=0&filter=
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20201231104853319.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1MTc2NTQ4,size_16,color_FFFFFF,t_70#pic_center