Scrapy命令用法

﹏ヽ暗。殇╰゛Y 2023-07-13 03:42 69阅读 0赞

注意：首先安装好scrapy，pip install scrapy

1、在scrapy中创建一个新的项目：

  1. scrapy startproject myproject

2、在新项目中创建一个新的spider文件：

  1. cd myproject # 切换到项目下
  3. scrapy genspider mydomain mydomain.com

3、全局命令：

  1. startproject
  2. genspider
  3. settings
  4. runspider
  5. shell
  6. fetch
  7. view
  8. version

4、只在项目中使用的命令（局部命令）

  1. crawl
  2. check
  3. list
  4. edit
  5. parse
  6. bench

5、运行spider文件：

  1. scrapy crawl <spider>

5.1 运行spider文件 不显示日志

  1. scrapy crawl <spider> --nolog

6.检查spider文件有无语法错误：

  1. scrapy check

7.列出spider路径下的spider文件：

  1. scrapy list

8.编辑spider文件：

  1. scrapy edit <spider>

相当于打开vim模式，实际并不好用，在IDE中编辑更为合适。

9.将网页内容下载下来，然后在终端打印当前返回的内容，相当于 request 和 urllib 方法：

  1. scrapy fetch <url>

10.将网页内容保存下来，并在浏览器中打开当前网页内容，直观呈现要爬取网页的内容:　

  1. scrapy view <url>

11.打开 scrapy 显示台，类似ipython，可以用来做测试：

  1. scrapy shell [url]

12.输出格式化内容：

  1. scrapy parse <url> [options]

13.返回系统设置信息：

  1. scrapy settings [options]
  2. # 例如：
  3. scrapy settings --get BOT_NAME
  4. scrapybot

14.运行spider：

  1. scrapy runspider <spider_file.py>

15.显示scrapy版本：

  1. scrapy version [-v]  # 后面加 -v 可以显示scrapy依赖库的版本

16.测试电脑当前爬取速度性能：

  1. scrapy bench

发表评论

表情：
评论列表 （有 0 条评论，69人围观）

还没有评论，来说两句吧...

相关阅读

    相关 nslookup命令用法

    nslookup命令用法 nslookup命令用于查询DNS的记录，查看域名解析是否正常，在网络故障的时候用来诊断网络问题。nslookup的用法相对来说还是蛮简单的，主

    我不是女神ヾ我不是女神ヾ/ 0 赞/ 112 阅读

    相关 cp命令用法

    cp命令用来将一个或多个源文件或者目录复制到指定的目的文件或目录。它可以将单个源文件复制成一个指定文件名的具体的文件或一个已经存在的目录下。cp命令还支持同时复制多个文件，当一

    桃扇骨桃扇骨/ 0 赞/ 240 阅读

    相关 adb 命令 用法

    1.adb logcat  | grep  -i   关键字    将Log中的关键字信息不区分大小写列出来 2.adb logcat  -c    清除之前的消息

    墨蓝墨蓝/ 0 赞/ 387 阅读

    相关 patch命令用法

    作为程序员，了解`diff`和`patch`命令是非常必要的。比如说发现某个项目有bug，而自己又没有提交权限，此时最合适的解决方法就是用`diff`命令做一个补丁发给组长。组

    ゝ一纸荒年。ゝ一纸荒年。/ 0 赞/ 501 阅读