Scrapy学习笔记-Scrapy入门Following links

素颜马尾好姑娘i 2023-05-22 13:24 21阅读 0赞

Scrapy支持CSS扩展，可让您选择属性内容  
![在这里插入图片描述][20200417211619349.png]  
![在这里插入图片描述][20200417211650857.png]

import scrapy
    
    
    class QuotesSpider(scrapy.Spider):
        name = "quotes"
        start_urls = [
            'http://quotes.toscrape.com/page/1/',
        ]
    
        def parse(self, response):
            for quote in response.css('div.quote'):
                yield { 
                    'text': quote.css('span.text::text').get(),
                    'author': quote.css('small.author::text').get(),
                    'tags': quote.css('div.tags a.tag::text').getall(),
                }
    
            next_page = response.css('li.next a::attr(href)').get()
            if next_page is not None:
                next_page = response.urljoin(next_page)
                yield scrapy.Request(next_page, callback=self.parse)

现在，在提取数据之后，parse方法将查找到下一页的链接，**使用urljoin方法构建完整的绝对URL**（因为链接可以是相对的），并产生对下一页的新请求， 将其自身注册为回调，以处理下一页的数据提取并保持所有页面的爬网。您在这里看到的是Scrapy的以下链接机制：当您在回调方法中产生请求时，Scrapy将安排该请求的发送并在该请求完成时注册要执行的回调方法。使用此工具，您可以构建复杂的搜寻器，并根据定义的规则跟踪链接，并根据其访问的页面提取不同类型的数据。在我们的示例中，它创建了一个循环，将其链接到下一页的所有链接，直到找不到该链接为止-便于通过分页方式爬网博客，论坛和其他网站。

作为创建请求对象的快捷方式，您可以使用response.follow：

import scrapy
    
    class QuotesSpider(scrapy.Spider):
        name = "quotes"
        start_urls = [
            'http://quotes.toscrape.com/page/1/',
        ]
    
        def parse(self, response):
            for quote in response.css('div.quote'):
                yield { 
                    'text': quote.css('span.text::text').get(),
                    'author': quote.css('span small::text').get(),
                    'tags': quote.css('div.tags a.tag::text').getall(),
                }
    
            next_page = response.css('li.next a::attr(href)').get()
            if next_page is not None:
                yield response.follow(next_page, callback=self.parse)

与scrapy.Request不同，response.follow直接**支持相对URL**\-无需调用urljoin。 注意response.follow仅返回一个Request实例； 您仍然必须产生此请求。  
您还可以将**选择器**传递给response.follow而不是字符串。 该选择器应提取必要的属性：  
![在这里插入图片描述][20200417212454538.png]  
对于<a>元素，有一个快捷方式：response.follow自动使用其href属性。 因此，代码可以进一步缩短：  
![在这里插入图片描述][2020041721260041.png]  
要从一个可迭代对象创建多个请求，可以改用response.follow\_all：  
![在这里插入图片描述][20200417212646972.png]  
![在这里插入图片描述][20200417212716954.png]

import scrapy
    
    class AuthorSpider(scrapy.Spider):
        name = 'author'
    
        start_urls = ['http://quotes.toscrape.com/']
    
        def parse(self, response):
            author_page_links = response.css('.author + a')
            # 发出请求本页中的作者的about所链接的页面的response
            yield from response.follow_all(author_page_links, self.parse_author)
    
            pagination_links = response.css('li.next a')
            # 发出请求本页的下一页的response
            yield from response.follow_all(pagination_links, self.parse)
    
        def parse_author(self, response):
            def extract_with_css(query):
                return response.css(query).get(default='').strip()
    
            yield { 
                'name': extract_with_css('h3.author-title::text'),
                'birthdate': extract_with_css('.author-born-date::text'),
                'bio': extract_with_css('.author-description::text'),
            }

response.css(’.author + a’) 指的是class="author"的small标签的下一个兄弟标签a  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
response.css(‘li.next a’)指的是class="next"的li标签下的子标签a。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]

您可以在运行蜘蛛时使用-a选项来为蜘蛛提供命令行参数：scrapy crawl quotes -o quotes-humor.json -a tag=humor  
这些参数会传递给Spider的\_\_init\_\_方法，并默认成为蜘蛛属性。在此示例中，为tag参数提供的值可通过self.tag获得。 您可以使用它使您的Spider只获取带有特定标记的引号，并根据以下参数构建URL：

class QuotesSpider(scrapy.Spider):
        name = "quotes"
    
        def start_requests(self):
            url = 'http://quotes.toscrape.com/'
            tag = getattr(self, 'tag', None)
            if tag is not None:
                url = url + 'tag/' + tag
            yield scrapy.Request(url, self.parse)
    
        def parse(self, response):
            for quote in response.css('div.quote'):
                yield { 
                    'text': quote.css('span.text::text').get(),
                    'author': quote.css('small.author::text').get(),
                }
    
            next_page = response.css('li.next a::attr(href)').get()
            if next_page is not None:
                yield response.follow(next_page, self.parse)

# 案例 #

处理上一节博客所提到的分页问题。

处理博客列表页  
![在这里插入图片描述][20200418113517140.png]  
![在这里插入图片描述][20200418113641147.png]  
![在这里插入图片描述][20200418114055141.png]  
这里的列表目前不太会处理，使用css获取不太行，下次博客中再处理。我直接使用硬编码来试试。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][20200418115244446.png]

处理博客页  
![在这里插入图片描述][20200418111250838.png]

代码：  
![在这里插入图片描述][2020041822153362.png]

import scrapy
    class QuotesSpider(scrapy.Spider):
        name = "quotes"
        start_urls = [
            'https://blog.csdn.net/asmartkiller'    
        ]
        def parse(self, response):
            # 处理本页的文章列表
            blog_links = response.css('.article-item-box').css('h4').css('a')
            yield from response.follow_all(blog_links, self.parse_page)
            
            # 请求下一页 
            #response.css('li.focus + li::text')
            #if ++self.index <= int(self.num):
            if response.url == self.start_urls[0]:
                pagination_link = self.start_urls[0]+'/article/list/'
                for i in range(2,int(self.num)+1):
                    print('---->生成的链接地址'+pagination_link+str(i))
                    yield response.follow(pagination_link+str(i), self.parse)       
        
        def parse_page(self, response):
            print(response.css('.article-title-box').css('h1::text'))

# 总结 #

创建请求对象：`scrapy.Request(next_page, callback=self.parse)`或`response.follow(next_page, callback=self.parse)`

下面的博客将分析IP代理池框架：https://github.com/jhao104/proxy\_pool/blob/master/doc/introduce.md  
https://github.com/SpiderClub/haipproxy/blob/master/README.md

[20200417211619349.png]: /images/20230521/7718a112ea2f4dddab972e859202e913.png
[20200417211650857.png]: /images/20230521/c34f5faf33eb479689aac966e1897c21.png
[20200417212454538.png]: /images/20230521/355217126d1245d1ac1044ec8960b333.png
[2020041721260041.png]: /images/20230521/d5c6598c19844366a7f177c7aca306fd.png
[20200417212646972.png]: /images/20230521/b0691835c76d46c68bda298249f348d7.png
[20200417212716954.png]: /images/20230521/8125d83f25bd4a92bf0bb6e7028908e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20230521/4429035d42f14382a7d766f9e71bbb7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]: /images/20230521/62cf79f71f504577a3b914d3d3f40645.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]: /images/20230521/206472eae93f4e84ae46ae304289b356.png
[20200418113517140.png]: /images/20230521/df74d7afd9f34576acf8c4b5bffaf658.png
[20200418113641147.png]: /images/20230521/9558f0a30d2e4869a3204ae68d56ec3e.png
[20200418114055141.png]: /images/20230521/dd24ad53209d471b969e8177ed5e0838.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]: /images/20230521/b0304802e42743bb98a496cda2f2c14b.png
[20200418115244446.png]: /images/20230521/ca0def3a394449af83993ccc616a1977.png
[20200418111250838.png]: /images/20230521/746080c09fd747a8ba900bc9923d9f5f.png
[2020041822153362.png]: /images/20230521/66c30d1529924b2e93a6cffd2298224d.png