Scrapy框架的使用

刺骨的言语ヽ痛彻心扉 2023-01-12 01:58 180阅读 0赞

# Python爬虫入门之 Scrapy框架的使用 #

Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和[自动化测试][Link 1]。 \[1\]

支持自定义，方便，好用。异步的，，速度嗖嗖嗖的！！！

异步处理框架,可配置和可扩展程度非常高,Python中使用最广泛的爬虫框架

[**Scrapy中文文档**][Scrapy]

**常用命令：**

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>scrapy startproject scrapydemo</td> 
   <td>创建一个名为 <code>scrapydemo</code> 的scrapy项目</td> 
  </tr> 
  <tr> 
   <td>scrapy genspider scrapydemo bilibili.com</td> 
   <td>创建一个名为scrapydemo的spider，访问域名为bilibili.com</td> 
  </tr> 
  <tr> 
   <td>scrapy crawl -o xxx.json</td> 
   <td>数据存储到 xxx.json</td> 
  </tr> 
  <tr> 
   <td>cmdline.execute(“scrapy crawl scrapyspider”.split())</td> 
   <td>启动scrapy的scrapyspider文件</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

## 0. 准备工作 ##

**查看scrapy命令**

> scrapy -h

安装

> pip install scrapy

## 1. 创建一个scrapy项目 ##

**创建scrapy项目**

> scrapy startproject scrapydemo

**切换到scrapydemo项目**

> cd scrapydemo

**创建一个新的spider**

> scrapy genspider scrapydemo bilibili.com

**流程图：**

画图

1.  **Spider**的将需要发送请求的`request`发送给**Engine**（引擎
2.  **Engine**将`request`发送给**Scheduler**（调度器
3.  **Scheduler**（调度器，可理解为url队列)，生成request请求交给**Engine**
4.  **Engine**拿到`request`，通过**DownloaderMiddleware**（可选，主要有`UA`, `Cookie`，代理`IP`）进行层层过滤发送给**Downloader**
5.  **Downloader**向互联网发送请求，获取到`response`后，又经过**SpiderMiddleware**（爬虫中间件）**发送给Engine**
6.  **Engine**获取到`response`数据之后，返回给**Spider**，
7.  **Spider**的`parse()`方法对获取到的`response`数据进行处理，解析出`item`和`request`，然后发送给**Engine**
8.  **Engine**获取到`item`和`request`，将`item`发送给**ItemPipeline**（管道）进行数据持久化，将`request`发送给**Scheduler**（调度
9.  以上步骤会一直循环，循环到无`request（url）`请求，程序才停止。

**注意！即使某个request中报错了，程序也会继续执行到没有request请求才停止。**

--------------------

**部分文件说明：**

<table> 
 <thead> 
  <tr> 
   <th>文件</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>items.py</td> 
   <td>定义采集的数据字段，用于结构化数据</td> 
  </tr> 
  <tr> 
   <td>pipelines.py</td> 
   <td>数据持久化</td> 
  </tr> 
  <tr> 
   <td>settings.py</td> 
   <td>配置文件</td> 
  </tr> 
  <tr> 
   <td>spiders</td> 
   <td>编写爬虫规则</td> 
  </tr> 
  <tr> 
   <td>middleware.py</td> 
   <td>中间件，如为请求添加cookie、ua等</td> 
  </tr> 
 </tbody> 
</table>

## 2. 案例实战 ##

链家

查看君子协议：https://www.bilibili.com/robots.txt

## 3. 数据持久化 ##

**存储为csv：**

cmdline.execute('scrapy crawl spider -o lianjia.csv'.split())

**存储为json：**

cmdline.execute('scrapy crawl spider -o lianjia.json'.split())

**存储到数据库：**

pipeline.py

[Link 1]: https://baike.baidu.com/item/%E8%87%AA%E5%8A%A8%E5%8C%96%E6%B5%8B%E8%AF%95/9815698
[Scrapy]: https://scrapy-chs.readthedocs.io/zh_CN/latest/index.html