第一个Scrapy项目

一时失言乱红尘 2021-09-23 07:10 418阅读 0赞

在前面已经完成了Scrapy的安装，并把项目导入Pychamr中

*  在tenCent项目中spiders文件下新建my\_spider.py文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70]
 *  在my\_spider.py文件写入如下代码

import scrapy
    
    
    class my_spider(scrapy.Spider):  # 继承scrapy.Spider类
        name = "test_spider"  # 蜘蛛名字
        allowed_domains = ["scrapyd.cn"]  # 允许爬取的域名,一个网站里可能存在其他域名的网站,域名就和本网站不同，这些就会忽略
        start_urls = ["http://lab.scrapyd.cn"]  # Spider爬取的网站，定义初始的请求url，可以多个
    
        # Spider的一个方法，在请求start_url后，之后的方法，这个方法是对网页的解析，与提取自己想要的东西
        # response参数：是请求网页后返回的内容，也就是你需要解析的网页。
        def parse(self, response):
            print("***** spider parse *****")
            with open("test.html", "wb") as f:
                f.write(response.body)

*  运行爬虫  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 1]
 *  在游览器中打开test.html文件，可以发现与原网页页面相同  
    第一次打开会比较慢，因为要加载css和js文件

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70]: /images/20210923/0c46d6ac99f4474bb338ae692d1beaf8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDkyNjUw_size_16_color_FFFFFF_t_70 1]: /images/20210923/01ff9399721a4e889ed924c923cd63bd.png