Creating a project

在开始抓取之前，您将必须设置一个新的Scrapy项目。 输入您要存储代码并运行的目录：scrapy startproject tutorial
Anacoda下使用

这将创建一个包含以下内容的教程目录：

Spiders是您定义的类，Scrapy用于从网站（或一组网站）中获取信息。 他们必须继承Spider的子类，并定义要发出的初始请求，可以选择如何跟随页面中的链接，以及如何解析下载的页面内容以提取数据。
这是我们第一个Spider的代码。 将其保存在项目中tutorial/spiders目录下的一个名为quotes_spider.py的文件中：

import scrapy
class QuotesSpider(scrapy.Spider):
    name = "quotes"
    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

QuotesSpider类将scrapy.Spider作为父类，并定义了一些属性和方法：
name用于识别Spide，它在一个项目中必须是唯一的，也就是说，您不能为不同的Spider设置相同的名称。
start_requests()必须返回一个可迭代的请求（您可以返回一个请求列表或编写一个生成器函数），Spider将从中开始爬行。 随后的请求将根据这些初始请求连续生成。
parse()一个将被调用以处理针对每个请求下载的响应的方法。 response参数是TextResponse的一个实例，该实例保存页面内容并具有其他有用的方法来处理它。parse方法通常解析响应，提取刮取的数据作为字典，还查找要遵循的新URL并从中创建新请求（Request）。

run spider

要使我们的蜘蛛工作，请转到项目的顶级目录并运行：scrapy crawl quotes

检查当前目录中的文件。 您应该注意，已经创建了两个新文件：quotes-1.html和quotes-2.html，其中包含我们URL的内容，正如我们的parse方法所指示的那样。

Scrapy调度Spider的start_requests方法返回的scrapy.Request对象。 在收到每个响应时，它实例化Response对象并调用与请求关联的回调方法（在本例中为parse方法），并将响应作为参数传递。

A shortcut to the start_requests method

无需实现从URL生成scrapy.Request对象的start_requests方法，只需定义带有URL列表的start_urls类属性即可。 然后，Scrapy提供的start_requests默认实现将使用此列表来为您的蜘蛛创建初始请求。

import scrapy
class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]
    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)

即使我们没有明确告诉Scrapy这样做，也会调用parse方法来处理这些URL的响应。 发生这种情况是因为parse是Scrapy的默认回调方法，对于没有显式分配的回调的请求会调用该方法。

scrapy shell

学习如何使用Scrapy提取数据的最佳方法是使用Scrapy shell尝试选择器。请记住，从命令行运行Scrapy shell时，始终将网址括在引号中，否则包含参数（即＆字符）的网址将不起作用。
scrapy shell ‘http://quotes.toscrape.com/page/1/’
在Windows上，请使用双引号代替：
scrapy shell “http://quotes.toscrape.com/page/1/”

CSS选择器

使用shell，您可以尝试使用带有响应对象的CSS选择元素：



运行response.css(‘title’)的结果是一个名为SelectorList的类似列表的对象，该对象表示围绕XML / HTML元素的Selector对象的列表，并允许您运行进一步的查询来细化选择或提取内容数据。

这里有两点需要注意：一是我们在CSS查询中添加了:: text，这意味着我们只想直接在