scrapy初学习--爬取自己csdn博客全部的文章链接

╰+哭是因爲堅強的太久メ 2022-01-11 09:55 247阅读 0赞

**爬取自己csdn博客全部的文章链接**

首先观察自己文章目录列表的url  
![在这里插入图片描述][20190620130702324.png]  
可以很方便地构造出全部的目录url, 每个url中有20个博客文章

然后根据这些url分析源代码, 找出唯一标示元素的信息.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70]  
但我发现一个问题

有一篇不是我的文章也在源代码里面. 分析发现, 他的标示和我的有点不一样, 加了个style属性. 所以在css选择的时候要稍小心, 不要让它乱入了.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 1]  
将其写入到文件. 用追加写的方式, 同时, 需要对文件进行初始化

同样, 这是写在scrapy中的一个小爬虫, 因此需要放在spiders目录下.  
用命令`scrapy crawl all_blog_urls`调用.

结果: 一共247篇博客  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 2]

代码

import scrapy
    
    class all_urls(scrapy.Spider):
        ''' 爬取我的博客上面的全部url链接 '''
        name = "all_blog_urls"
        def start_requests(self):
            urls = []
            for i in range(1, 14): # 生成链接目录的url
                url = 'https://blog.csdn.net/wjh2622075127/article/list/{}?'.format(i)
                urls.append(url)
    
            with open('my_urls.txt', 'w', encoding='utf-8') as clear_file: # 先清空文件
                clear_file.write('')
    
            for url in urls:
                yield scrapy.Request(url=url, callback=self.parse)
    
        def parse(self, response):
            get_url = response.xpath( # url 选择, 由于发现源代码页出现了别人的博客链接, 因此过滤稍麻烦
                '//div[@class="article-item-box csdn-tracking-statistics" '
                'and not(@style="display: none;")]/h4/a/@href'
            ).extract()
    
            with open("my_urls.txt", 'a+', encoding='utf-8') as url_file: # 文件追加写的方式
                for each in get_url:
                    url_file.write(each + '\n')

[20190620130702324.png]: /images/20220110/6ba17a3527154386bb3e571602ee49d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70]: /images/20220110/a5ab5165f93b40ef974ad511592caa0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 1]: /images/20220110/120b411777e249399967320939b92401.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaDI2MjIwNzUxMjc_size_16_color_FFFFFF_t_70 2]: /images/20220110/314a9229504c4500817fc144570ede8b.png