Scrapy框架

不念不忘少年蓝@ 2021-09-17 20:54 486阅读 0赞

# Scrapy框架 #

\*\*\*Scrapy\*\*\*是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 使用了Twisted\['twɪstɪd\]异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求，加快开发速度。

#### 原理图 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1ODgwNA_size_16_color_FFFFFF_t_70]

*  **爬虫文件**将第一个需要处理的网址交给引擎。
 *  **引擎**将该网址交给调度器去处理（调度器主要控制爬取网址的顺序）。
 *  **调度器**将处理好的网址返回给引擎。
 *  **引擎**将从**调度器**得到的请求通过下载器中间件处理以后交给给下载器。
 *  **下载器**从互联网上下载网页源码，将下载得到的响应通过下载器中间件交给引擎。
 *  引擎将得到的响应，通过**爬虫中间件**的处理以后交给爬虫文件。
 *  **爬虫文件**得到响应（源码）以后进行相关处理（提取数据，提取新链接）。将数据和链接通过爬虫中间件再交给引擎。
 *  引擎现在有两个数据，引擎会将数据交给**管道文件**处理，管道文件进行响应的保存等的处理，引擎将请求（新链接）交给调度器处理。调度器会把新的链接加入下载队列。

#### scrapy全局命令 ####

# 创建一个项目
    scrapy startproject 项目名  
    # 测试电脑性能
    scrapy bench

#### scrapy项目命令 ####

# 创建一个爬虫文件
    scrapy genspider 爬虫文件名 域名
    # 运行爬虫文件
    scrapy crawl 爬虫文件名
    # 列出爬虫的名字
    scrapy list
    # 在浏览器打开url
    scrapy view
    # 查看scrapy的版本
    scrapy version

##### scrapy爬虫实例 #####

# -*- coding: utf-8 -*-
    import scrapy
    
    class QuotesSpider(scrapy.Spider):
        # 爬虫的名字
        name = 'quotes'
        # 允许爬取的域名
        allowed_domains = ['quotes.toscrape.com']
        # 初始url,默认发出请求,将response返回到回调函数parse
        start_urls = [f'http://quotes.toscrape.com/page/{v}/' for v in range(1, 2)]
    
    	# 回调函数
        def parse(self, response):
            # 根据xpath获取数据
            quotes = response.xpath('//div[@class="row"]/div[@class="col-md-8"]/div')
            for quote in quotes:
                text = quote.xpath('.//span[@class="text"]/text()').extract_first()
                author = quote.xpath('.//span/small[@class="author"]/text()').extract_first()
                yield { author: text}

> start\_urls为一个可迭代对象,可以为列表和元组
> 
> extract()**提取xpath对象中的数据**,结果为一个列表
> 
> extract\_first()提取出列表中的第一个数据
> 
> 如果不写extract()和extract\_first() ,结果为一个对象

##### 保存文件结果 #####

scrapy crawl 爬虫名 -o 保存路径/文件.json

#### start\_request方法 ####

start\_urls内部默认会调用start\_request方法,如果不使用start\_urls,可以重写该方法自行定义发送请求

为什么要重写start\_request方法

*  start\_urls默认为GET请求
 *  重写start\_request方法可以设置headers,meta,callback等,callback为回调函数

#### Request方法 ####

*  url 本次请求的网址
 *  callback 回调函数
 *  headers 请求头 ,字典格式
 *  cookies Cookie ,字典格式
 *  meta **以浅复制的方式在两个方法之间传递数据-\[字典格式\]**
 *  method 请求方式,默认不写为GET方式

##### meta的使用案例 #####

*  爬取豆瓣top250中的电影名称以及电影详情中的简介

# -*- coding: utf-8 -*-
    import scrapy
    
    
    class DoubanSpider(scrapy.Spider):
        name = 'douban'
        allowed_domains = ['movie.douban.com/top250']
        start_urls = [f'https://movie.douban.com/top250/?start={v}&filter=' for v in range(0, 100, 25)]
    
        def parse(self, response):
            li = response.xpath('//ol/li')
            for v in li:
                title = v.xpath('.//a/img/@alt').extract_first()
                detail = v.xpath('.//div[@class="pic"]//a/@href').extract_first()
                # 通过meta保存的数据,在回调函数中可以直接拿到
                yield scrapy.Request(detail, callback=self.parsedetail, meta={ "title": title})
    
        def parsedetail(self, response):
            summary = response.xpath('//span[@property="v:summary"]/text()').extract()
            allsum = ''
            for sum in summary:
                allsum += sum.strip()
            # 获取meta中的值
            yield { response.meta['title']: allsum}

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk1ODgwNA_size_16_color_FFFFFF_t_70]: /images/20210726/4bcc7bbf527644b9bc6f7af81d69841c.png