Scrapy 从入门到能爬（豆瓣读书）

末蓝、 2022-05-24 00:58 135阅读 0赞

利用scrapy也爬过几个网站了，今天将scrapy的从新建项目到完成网页的爬取的相关内容梳理下

### 创建scrapy工程 ###

在想创建文件的地方利用power shell或者命令提示符输入一下命令

scrapy startproject douban  #其中douban是项目名称，可以随意

等待系统生成scrapy文件，用pycharm（pycharm的用法，比如配置虚拟环境等就不过多介绍）打开刚才的项目，项目结构为

![20180517145025144][]

现在一项项的分析：

*  \_\_init\_\_.py是scrapy的初始文件，一般不用管；
 *  items.py是准备爬取网页时的定义元素的地方，比如爬豆瓣读书时定义书名，作者等；
 *  middlerwares.py 是中间件，用来处理scrapy在运行过程中的一些问题，此处先不考虑；
 *  piplines.py 按我自己的理解的地方就是处理你爬下来的东西，比如数据筛选，数据存储什么的；
 *  settings.py 是一些设置，后面会提到。

### spider文件夹下新建一个doubanspider.py 文件(名字可以随意) ###

打开它，没错什么都没有

这时需要给他添加东西

# -*- coding:utf-8 -*-
    import scrapy
    class DouBan(scrapy.Spider):#从Spider继承
        name = "doubanspider"#scrapy可以有多个spider，但spider的名字必须不能重复
        def start_requests(self):
            #设置需要开始的页面
             urls=[
                'https://book.douban.com/tag/?view=type&icn=index-sorttags-all',
            ]
            for url in urls:
                yield scrapy.Request(url,callback=self.parse)
        def parse(self,response):
            pass

### 在项目的根目录下创建一个start.py文件用来启动爬虫 ###

在里面加入

# -*- coding:utf-8 -*-
    from scrapy import cmdline
    cmdline.execute("scrapy crawl doubanspider".split()) #这个doubanspider就是前面提到的spider的名字

### 配置运行文件 ###

![70][]

在虚拟环境都配置好的情况下直接点击箭头所指的“Edit Configurations”出现下图所示的界面。

![70 1][]

点击左上角的加号，在弹出的选框中选择python，name想怎么起就怎么起，Script path就点后面的... 去找刚才的start.py

![70 2][]

好了到目前为止框架搭的已经差不多了，已经可以启动爬虫（空的)了，

未完待更

最后贴上的[我的github地址][github]

[20180517145025144]: /images/20220524/ea4da80f9f034fa7955d32c8634da92a.png
[70]: /images/20220524/a9965a7a3fe24309afb36ec746d90df6.png
[70 1]: /images/20220524/b6f1ff5ffa544e22bb25f98beef6252a.png
[70 2]: /images/20220524/fc50b2d41b5c4277b0f2a6eb691509a8.png
[github]: https://github.com/Prolht/douban