新建一个scrapy项目的步骤

Myth丶恋晨 2022-06-03 10:05 332阅读 0赞

1、创建一个scrapy的开发环境

mkvirtualenv article

mkvirtualenv --python=C:\\Users\\Administrator\\AppData\\Local\\Programs\\Python\\Python\\python.exe

2、使用   scrapy 来创建 ArticleSpider项目

在文件夹中右键，在此处打开命令窗口，本人是在这个目录 C:\\Users\\win\\Desktop\\scrapytest

然后输入下面的指令：

scrapy startproject ArticleSpider

然后将项目导入到pycharm中，项目的结构目录如下图所示

![20171226003143209][]

settings.py是一个总配置文件：

BOT\_NAME ： 工程名字

SPIDER\_MODULES：

NEWSPIDER\_MODULE：

下面module的配置路径

pipelines.py 这个是一个跟数据存储相关的文件

middlewares.py 可以自定义，让scrapy更加可控

items.py 这个文件有点类似于 django中的一个form，定义了数据保存的格式

，但是它要比django的form应用简单，因为它的字段是十分单一的

spider文件夹：这个文件夹中存放的是具体的某个网站的爬虫.

3、通过命令行，我们可以创建出属于自己的一个spider

首先先进入到项目下面，然后执行命令本人项目路径是: C:\\Users\\win\\Desktop\\scrapytest\\ArticleSpider

scrapy genspider jobbole blog.jobbole.com

于是便看到了项目中已经新建了一个 jobbole.py文件，如下图所示:

![20171226004351056][]

我们看到jobbole.py这个文件中已经默认生成了python代码，并且这个类继承自 scrapy.Spider

[20171226003143209]: /images/20220603/ad5313fa2b574e28a39aa20d4240e883.png
[20171226004351056]: /images/20220603/0ced4672d65a47f7935974d1a2d5665c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，332人围观）

还没有评论，来说两句吧...

相关阅读

相关 idea新建一个maven项目

一、使用步骤 1.在Idea中配置maven (1)、打开Idea，点击File，然后点击Settings，进入设置，或者直接按Ctrl+Alt+S进入设置 ![在

我就是我/ 2024年03月27日 09:41/ 0 赞/ 64 阅读

相关 vue如何新建一个项目

vue创建项目（npm安装→初始化项目）第一步npm安装首先：先从nodejs.org中下载nodejs ![在这里插入图片描述][watermark_type_

逃离我推掉我的手/ 2022年12月22日 11:27/ 0 赞/ 246 阅读

相关 vue-cli新建一个项目

1. `sudo npm install -g vue-cli`安装vue-cli 2. 忘记root的密码了，用`sudo passwd root`重置了密码

落日映苍穹つ/ 2022年12月16日 09:20/ 0 赞/ 204 阅读

相关如何新建一个vue项目

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 第一步npm安装首先：先从nodejs.org中

﹏ヽ暗。殇╰゛Y/ 2022年10月01日 15:55/ 0 赞/ 295 阅读

相关新建一个vue项目

用命令行生成vue项目框架需要npm包管理器来安装,而npm又是在安装nodejs的时候同时安装的, 所以首先要安装nodejs。安装完成后，打开cmd。

川长思鸟来/ 2022年06月08日 13:22/ 0 赞/ 266 阅读

相关新建一个scrapy项目的步骤

1、创建一个scrapy的开发环境 mkvirtualenv article mkvirtualenv --python=C:\\Users\\Administr

Myth丶恋晨/ 2022年06月03日 10:05/ 0 赞/ 333 阅读

相关 scrapy 新建项目以及项目结构介绍

> 使用命令 scrapy 命令行来创建项目 > `startproject projectName` 项目结构如下图: ![新建项目][70] > 各个文件功能

矫情吗；*/ 2022年05月30日 02:35/ 0 赞/ 252 阅读

相关 github新建项目推送步骤

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

刺骨的言语ヽ痛彻心扉/ 2022年02月04日 14:34/ 0 赞/ 351 阅读

相关新建一个Angular项目

终端运行命令`ng new 项目名称` 创建路由 y 选择css y 这时会以npm的方式装包,Ctrl+c 退安装 `cd 到刚才创建的文件夹` `用cnpm i

清疚/ 2021年11月11日 04:40/ 0 赞/ 408 阅读

相关 vue如何新建一个项目（超详细步骤）

一：项目初始化第一步：安装vue-cli cnpm install vue-cli -g //全局安装 vue-cli ![water

快来打我*/ 2021年11月10日 14:24/ 0 赞/ 416 阅读