Scrapy命令用法

﹏ヽ暗。殇╰゛Y 2023-07-13 03:42 4阅读 0赞

注意：首先安装好scrapy，pip install scrapy

### 1、在scrapy中创建一个新的项目： ###

scrapy startproject myproject

### 2、在新项目中创建一个新的spider文件： ###

cd myproject # 切换到项目下
    
    scrapy genspider mydomain mydomain.com

### 3、全局命令： ###

startproject
    genspider
    settings
    runspider
    shell
    fetch
    view
    version

### 4、只在项目中使用的命令（局部命令） ###

crawl
    check
    list
    edit
    parse
    bench

### 5、运行spider文件： ###

scrapy crawl <spider>

### 5.1 运行spider文件 不显示日志 ###

scrapy crawl <spider> --nolog

### 6.检查spider文件有无语法错误： ###

scrapy check

### 7.列出spider路径下的spider文件： ###

scrapy list

### 8.编辑spider文件： ###

scrapy edit <spider>

相当于打开vim模式，实际并不好用，在IDE中编辑更为合适。

### 9.将网页内容下载下来，然后在终端打印当前返回的内容，相当于 request 和 urllib 方法： ###

scrapy fetch <url>

### 10.将网页内容保存下来，并在浏览器中打开当前网页内容，直观呈现要爬取网页的内容:　 ###

scrapy view <url>

### 11.打开 scrapy 显示台，类似ipython，可以用来做测试： ###

scrapy shell [url]

### 12.输出格式化内容： ###

scrapy parse <url> [options]

### 13.返回系统设置信息： ###

scrapy settings [options]
    # 例如：
    scrapy settings --get BOT_NAME
    scrapybot

### 14.运行spider： ###

scrapy runspider <spider_file.py>

### 15.显示scrapy版本： ###

scrapy version [-v]  # 后面加 -v 可以显示scrapy依赖库的版本

### 16.测试电脑当前爬取速度性能： ###

scrapy bench

发表评论取消回复

表情：

评论列表（有 0 条评论，4人围观）

还没有评论，来说两句吧...

相关阅读

相关 scrapy库的常用命令

crapy是专业的python爬虫框架，它的命令需要在命令行中执行。 scrapy命令行格式： >scrapy <command> \[options\] \[arg...

客官°小女子只卖身不卖艺/ 2024年04月17日 05:45/ 0 赞/ 45 阅读

相关 xargs命令用法

xargs命令： xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。它擅长将标准输入数据转换成命令行参数，xargs能够处理管道或者stdin并

你的名字/ 2023年08月17日 15:27/ 0 赞/ 35 阅读

相关 Scrapy命令用法

注意：首先安装好scrapy，pip install scrapy 1、在scrapy中创建一个新的项目： scrapy startproject myproj

﹏ヽ暗。殇╰゛Y/ 2023年07月13日 03:42/ 0 赞/ 5 阅读

相关 scrapy常用命令

创建项目 D:\tmp\scrapy>scrapy startproject testproject New Scrapy project 'testproj

深碍√TFBOYSˉ_/ 2022年12月20日 02:58/ 0 赞/ 131 阅读

相关 cp命令用法

cp命令用来将一个或多个源文件或者目录复制到指定的目的文件或目录。它可以将单个源文件复制成一个指定文件名的具体的文件或一个已经存在的目录下。cp命令还支持同时复制多个文件，当一

桃扇骨/ 2022年09月05日 12:47/ 0 赞/ 174 阅读

相关 adb 命令用法

1.adb logcat | grep -i 关键字将Log中的关键字信息不区分大小写列出来 2.adb logcat -c 清除之前的消息

墨蓝/ 2022年07月17日 04:25/ 0 赞/ 302 阅读

相关 patch命令用法

作为程序员，了解`diff`和`patch`命令是非常必要的。比如说发现某个项目有bug，而自己又没有提交权限，此时最合适的解决方法就是用`diff`命令做一个补丁发给组长。组

ゝ一纸荒年。/ 2022年06月13日 08:22/ 0 赞/ 436 阅读

相关 sed命令用法

sed命令用法 sed的选项、命令、替换标记命令格式 sed \[options\] ‘command’ file(s) sed \[options\] -

╰半夏微凉°/ 2022年04月14日 06:57/ 0 赞/ 206 阅读

相关 Scrapy中Spiders的用法

本文来自[官方文档][Link 1] 包括Spiders的简介、一些参数的实例讲解和一些例子。 Spiders Spider类定义了如何爬取某个(或某些)网站。包括

Myth丶恋晨/ 2022年02月27日 04:14/ 0 赞/ 230 阅读

相关 curl 命令用法

curl是一个利用URL规则在linux shell下工作的文件传输工具，可以说是一款很强大的http命令行工具 linux curl命令设置代理 curl -

比眉伴天荒/ 2021年09月28日 09:08/ 0 赞/ 467 阅读