【Python】Scrapy入门1-新建爬虫到爬取内容

绝地灬酷狼 2021-10-29 11:22 364阅读 0赞

之前使用requests模块和BeautifulSoup来写爬虫，虽然可以实现想要的功能，但每次要从头开始，设置请求头--进入第一个链接--爬取这一页的进入具体信息条目的链接和进入下一页的链接--进入具体的信息条目的链接--爬取自己想要的内容--储存。

每次都需要重复的做这些操作，不免有些麻烦。

Scrapy框架就可以完美的解决这些问题，新建一个Scrapy项目之后，只需写几行代码就可以爬取一级界面，简单修改items.py（类似于JavaBean）之后，就可以爬取二级界面。

下载Scrapy，安装了pip之后对，对这些的管理更为方便，直接使用pip install Scrapy下载安装。

安装好之后，scrapy startproject example

在当前目录就会新建一个项目，如果需要在D盘的xx目录下新建项目，则在D盘的xx目录下打开控制台（或PowerShell）。

然后输入cd example进入该项目的目录

以这个练习爬虫的网站为例：

http://books.toscrape.com/

**最简单的爬取一级界面**（书籍信息，点开每个书籍，可以进入书的详情界面）：

![1503964-20190704202516540-967063746.png][]

这时，对改站点新建一个爬虫，运行命令scrapy gen

这时，会根据你要爬取的网站生成一个爬虫

# -*- coding: utf-8 -*-
    import scrapy
    
    class ScrapebooksSpider(scrapy.Spider):
        name = 'scrapeBooks'
        allowed_domains = ['toscrape.com']
        start_urls = ['http://books.toscrape.com/']
    
        def parse(self, response):
            # 打印输出页面书籍名字的信息
            self.log(response.xpath('//*[@id="default"]/div[1]/div/div/div/section/div[2]/ol/li/article/h3/a/text()').extract())

Xpath的获取通过Chrome的开发者工具，右键该元素，在copy选项里面有Copy Xpath，然后直接粘贴在response.xpath()中即可爬取该内容

self.log是在日志中打印信息

**想要爬取二级界面：**

在Item中设置两个字段，书名和书的简介：

class BooksItem(scrapy.Item):
        # define the fields for your item here like:
        title = scrapy.Field()
        desc = scrapy.Field()

再在爬虫的文件中引用该Item：

from scrapy.http import Request
    from urllib import parse
    # 下方的为引用Item，ScrapyBooks为项目名,.items固定，BookItem见Items.py中定义的class后的名字
    from ScrapeBooks.items import BooksItem

源码：

# -*- coding: utf-8 -*-
    import scrapy
    from scrapy.http import Request
    from urllib import parse
    from ScrapeBooks.items import BooksItem
    
    
    class ScrapebooksSpider(scrapy.Spider):
        name = 'manual'
        allowed_domains = ['toscrape.com']
        start_urls = ['http://books.toscrape.com/']
    
        def parse(self, response):
            # TODO 获取下一页的 URL 并提交到队列
            next_selector = response.xpath('//li[@class=\'next\']/a/@href')
            for url in next_selector.extract():
                yield Request(parse.urljoin(response.url,url))
            # TODO 获取详情的 URL 提交到队列
            item_seletor = response.xpath('//*[@id="default"]/div[1]/div/div/div/section/div[2]/ol/li[1]/article/h3/a/@href')
            for url in item_seletor.extract():
                yield Request(parse.urljoin(response.url, url), callback=self.parse_item)
    
        def parse_item(self, response):
            # TODO 获取相应Item 获取名字
            book = BooksItem()
            book['title'] = response.xpath('//h1/text()').extract()
            book['desc'] = response.xpath('//*[@id="content_inner"]/article/p/text()').extract()
            return book

只是爬取了，还并未储存，简单的储存，可以在运行爬虫的时候输入打印为csv,json,jl等格式

scrapy crawl example -o items.jl 即可输出到items.jl文件中

scrapy crawl example -s COLSESPIDER\_ITEMCOUNT=90 即可设置爬取一定的数量就停止爬虫

--------------------

**更快速的双向爬虫方式**

如果懂了前一种方式，这种简化的方式就非常容易理解了。

scrapy genspider -t crawl CrawlBooks books.toscrape.com

输入以上命令可以快速的继承crawl生成一个双向爬虫。不再是继承spider。

仔细观察，生成的没有parse方法，只有parse\_item方法。

代码中的LinkExtractor是为了专门用来提取href中的链接的。因此正则表达式不需要在最后输入@href。

源代码：

# -*- coding: utf-8 -*-
    import scrapy
    from scrapy.linkextractors import LinkExtractor
    from scrapy.spiders import CrawlSpider, Rule
    from ScrapeBooks.items import BooksItem
    
    class CrawlbooksSpider(CrawlSpider):
        name = 'CrawlBooks'
        allowed_domains = ['books.toscrape.com']
        start_urls = ['http://books.toscrape.com/']
    
        rules = (
            Rule(LinkExtractor(restrict_xpaths= '//li[@class=\'next\']')),
            Rule(LinkExtractor(restrict_xpaths= '//*[@id="default"]/div[1]/div/div/div/section/div[2]/ol/li[1]/article/h3'), callback='parse_item')
        )
    
        def parse_item(self, response):
            book = BooksItem()
            book['title'] = response.xpath('//h1/text()').extract()
            book['desc'] = response.xpath('//*[@id="content_inner"]/article/p/text()').extract()
            return book

CrawlSpider中的Rule参数有如下：

'''
            LinkExtractor : 设置提取链接的规则（正则表达式）
            allow=(), ： 设置允许提取的url
            restrict_xpaths=(), ：根据xpath语法，定位到某一标签下提取链接
            restrict_css=(), ：根据css选择器，定位到某一标签下提取链接
            deny=(), ： 设置不允许提取的url（优先级比allow高）
            allow_domains=(), ： 设置允许提取url的域
            deny_domains=(), ：设置不允许提取url的域（优先级比allow_domains高）
            unique=True, ：如果出现多个相同的url只会保留一个
            strip=True ：默认为True,表示自动去除url首尾的空格
        '''
        '''
        rule
            link_extractor, : linkExtractor对象
            callback=None,  ： 设置回调函数  
            follow=None, ： 设置是否跟进
            process_links=None, ：可以设置回调函数，对所有提取到的url进行拦截
            process_request=identity ： 可以设置回调函数，对request对象进行拦截
        '''

转载于:https://www.cnblogs.com/to-red/p/11134262.html

[1503964-20190704202516540-967063746.png]: /images/20211029/8d56ec08720a4521bdf6cd91b2226d3d.png