【重磅推荐】python爬虫框架Scrapy的项目初始化和爬虫模块初始化的注意事项（务必跟着这个套路来，否则乱七八糟的问题都会出来！）

青旅半醒 2021-09-18 03:06 180阅读 0赞

### 慎重提醒：命令创建好环境之后，不要轻易去修改系统创建好的文件名，否则会引发很多错误！ ###

## ##

### **创建一个成功的Scrapy3爬虫项目结构的步骤：** ###

**第一步：创建好pipenv虚拟环境目录！**

**第二步：在当前目录下，使用命令：****scrapy startproject  project\_name****【项目名】**

**第三步：进入spiders目录执行命令：****scrapy genspider<name> <domain>** ** 【domain是制定需要爬虫的域名,不要带http】**

**第四步：运行文件执行命令 scrapy crawl book (spider\_name爬虫文件名)【务必在当前项目的根目录如图第一个tutorial2019下执行，否则会提示无法找到 crawl命令】**

**第五步：****在scrapy.cfg文件的同目录下创建一个mian.py调试文件****：调试文件的代码参考：**[https://blog.csdn.net/weixin\_43343144/article/details/87886148][https_blog.csdn.net_weixin_43343144_article_details_87886148]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70][]

[https_blog.csdn.net_weixin_43343144_article_details_87886148]: https://blog.csdn.net/weixin_43343144/article/details/87886148
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzM0MzE0NA_size_16_color_FFFFFF_t_70]: /images/20210812/7375e3276d4f439c84eef24e7c74158c.png