手把手教你如何新建scrapy爬虫框架的第一个项目（下）

蔚落 2022-04-24 14:42 237阅读 0赞

前几天小编带大家学会了[如何新建scrapy爬虫框架的第一个项目（上）][scrapy]，今天我们进一步深入的了解Scrapy爬虫项目创建，这里以伯乐在线网站的所有文章页为例进行说明。

![5d7e5d6ca8de4c8791132fa3caaf5d90][]

在我们创建好Scrapy爬虫项目之后，会得到上图中的提示，大意是让我们直接根据模板进行创建Scrapy项目。根据提示，我们首先运行“cd article”命令，意思是打开或者进入到article文件夹下，尔后执行命令“scrapy genspider jobbole blog.jobbole.com”，代表通过Scrapy中自带的basic模板进行创建Scrapy项目，如下图所示。

![9308c2d6b36540ed8c26b78db20f2ea8][]

根据提示，该模板创建的位置为article.spiders.jobbole，此时再次输入tree /f命令可以查看到除了之前创建Scrapy爬虫项目的基础文件之外，在spiders文件夹下确实是多了一个jobbole.py文件，如下图所示。

![4c3fd40ee90f4bac81a75e103ae5e65c][]

当然了，爬虫模板不一定非得用Scrapy爬虫项目自带的模板，也可以自定义的进行创建，但是基本上Scrapy提供的模板是足够使用的了。

接下来，将整个爬虫项目导入到Pycharm中去，点击左上方“file”à“open”，找到爬虫项目创建的文件夹，点击确认即可。

![3dbe6b4d348d443e8a4398be94a05db9][]

如果在Pycharm中的spiders文件夹下看不到jobbole.py这个文件的话，则先选中spiders文件夹，尔后右键，点击“Synchronize spider”，代表与spiders文件夹进行同步的意思，尔后便可以看到jobbole.py就会被加载出来。

![8fd41ec474de4717a7ed31667b6e2851][]

点击jobbole.py文件进行查看内容，如下图所示。可以看到该文件已经默认的填充了部分Python代码，其实是从源模板中进行复制创建的。

![1245713cfd3d45f98c7b5aef80154dff][]

可以看到该文件中有当前Scrapy爬虫项目的名字name，Scrapy爬虫项目所允许的域名范围allowed\_domains，以及Scrapy爬虫项目的起始URL，即start\_urls。

接下来最后检查一下该项目的Python解释器，点击Pycharm的setting，然后输入“interpreter”，找到解释器所在的位置，如下图所示。

![b579e35cd67948c496460828fa59d707][]

如果“Project Interpreter”显示出来的解释器不是当前项目下的虚拟环境，则点击“Project Interpreter”的右侧的设置按钮，如下图所示。

![3704acdc80b8451694ed9e4a3c999322][]

然后点击“Add local”，如下图所示。

![2bf518013ff64fb0a842bc80d442b1d1][]

找到该项目对应的虚拟环境Python解释器，进行添加即可，如下图所示。

![616068412c4f4431b8d095bc0adc84a9][]

至此，Scrapy爬虫虚拟环境创建、Scrapy爬虫项目的创建以及Scrapy爬虫项目导入到Pycharm中以及解释器的配置已经完成，接下来我们要开始写入爬虫逻辑，以及数据提取等，敬请期待~~

[scrapy]: https://www.toutiao.com/i6659180439825023495/?group_id=6659180439825023495
[5d7e5d6ca8de4c8791132fa3caaf5d90]: http://p9.pstatp.com/large/pgc-image/5d7e5d6ca8de4c8791132fa3caaf5d90
[9308c2d6b36540ed8c26b78db20f2ea8]: http://p1.pstatp.com/large/pgc-image/9308c2d6b36540ed8c26b78db20f2ea8
[4c3fd40ee90f4bac81a75e103ae5e65c]: http://p1.pstatp.com/large/pgc-image/4c3fd40ee90f4bac81a75e103ae5e65c
[3dbe6b4d348d443e8a4398be94a05db9]: /images/20220214/7e28305f750446e594a628c8c31ce690.png
[8fd41ec474de4717a7ed31667b6e2851]: http://p1.pstatp.com/large/pgc-image/8fd41ec474de4717a7ed31667b6e2851
[1245713cfd3d45f98c7b5aef80154dff]: /images/20220214/e852908f2aa343718a2dcb7b7424b9be.png
[b579e35cd67948c496460828fa59d707]: http://p1.pstatp.com/large/pgc-image/b579e35cd67948c496460828fa59d707
[3704acdc80b8451694ed9e4a3c999322]: http://p1.pstatp.com/large/pgc-image/3704acdc80b8451694ed9e4a3c999322
[2bf518013ff64fb0a842bc80d442b1d1]: http://p1.pstatp.com/large/pgc-image/2bf518013ff64fb0a842bc80d442b1d1
[616068412c4f4431b8d095bc0adc84a9]: http://p1.pstatp.com/large/pgc-image/616068412c4f4431b8d095bc0adc84a9