如何在pycharm中调试scrapy

冷不防 2022-05-25 13:08 212阅读 0赞

引用：[https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects][https_stackoverflow.com_questions_21788939_how-to-use-pycharm-to-debug-scrapy-projects]

The `scrapy` command is a python script which means you can start it from inside PyCharm.

When you examine the scrapy binary (`which scrapy`) you will notice that this is actually a python script:

#!/usr/bin/python
    
    from scrapy.cmdline import execute
    execute()

This means that a command like `scrapy crawl IcecatCrawler` can also be executed like this: `python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler`

Try to find the scrapy.cmdline package. In my case the location was here: `/Library/Python/2.7/site-packages/scrapy/cmdline.py`

Create a run/debug configuration inside PyCharm with that script as script. Fill the script parameters with the scrapy command and spider. In this case `crawl IcecatCrawler`.

Like this:

![PyCharm Run/Debug Configuration][PyCharm Run_Debug Configuration]

**说明：**

1、script设为使用cmdline.py启动

2、命令行为启动的参数

3、工作区设置为项目工作区

[https_stackoverflow.com_questions_21788939_how-to-use-pycharm-to-debug-scrapy-projects]: https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects
[PyCharm Run_Debug Configuration]: https://i.stack.imgur.com/bcDQH.png

发表评论取消回复

表情：

评论列表（有 0 条评论，212人围观）

还没有评论，来说两句吧...

相关阅读

相关在 PyCharm 中如何查找文件名？

在 PyCharm 中如何查找文件名？在 PyCharm 中，有时候我们需要查找某个文件名称，但是在工程中文件非常多，手动翻找也很费时费力。这个时候，我们可以使用 PyCh

港控/mmm°/ 2024年03月24日 09:36/ 0 赞/ 84 阅读

相关 PyCharm中调试Scrapy单个爬虫

通常运行Scrapy爬虫的方法是在工程目录下执行scrapy crawl 或者crapy runspider scrapy\_first/spider/book.py命令，而不

╰半夏微凉°/ 2023年07月18日 09:19/ 0 赞/ 2 阅读

相关 Pycharm中调试Django程序

首先明确django的启动入口是`manage.py`文件，然后我们为该文件配置启动参数即可直接运行调试模式 ![在这里插入图片描述][watermark_type_ZmF

不念不忘少年蓝@/ 2023年05月22日 06:59/ 0 赞/ 55 阅读

相关 pycharm的scrapy框架-断点调试

在文件根目录,也就是settings.py的上级目录，scrapy.cfg的同级目录，创建main.py: from scrapy.cmdline import ex

今天药忘吃喽~/ 2022年10月08日 02:30/ 0 赞/ 46 阅读

相关 PyCharm下进行Scrapy项目的调试

> PyCharm下进行Scrapy项目的调试，可以在爬虫项目的根目录创建一个main.py，然后在PyCharm设置下运行路径，那么就不用每次都在命令行运行代码，直接运行ma

阳光穿透心脏的1/2处/ 2022年06月15日 11:43/ 0 赞/ 223 阅读

相关如何在pycharm中调试scrapy

引用：[https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-p

冷不防/ 2022年05月25日 13:08/ 0 赞/ 213 阅读

相关 pycharm 装scrapy

手动设置延迟： pip --default-timeout=100 install scrapy pip换成清华源： pip install scrapy -i [htt

Myth丶恋晨/ 2022年05月17日 07:42/ 0 赞/ 236 阅读

相关在PyCharm内部运行Scrapy项目

刚刚接触 scrapy，发现一切的scrapy项目的运行都是在命令行进行的，虽然说调试的时候也很方便，但是每次打开项目去运行都需要打开命令行进入到项目目录里面再去运行，我个人认

小咪咪/ 2022年02月18日 23:39/ 0 赞/ 314 阅读

相关 pycharm--安装Scrapy

在Pycharm中安装Scrapy 打开Pycharm,点击File->Setting，搜索interpreter，选择Project Interpreter 如图,点

曾经终败给现在/ 2021年09月23日 07:08/ 0 赞/ 540 阅读

相关【重磅推荐】在Pycharm中调试scrapy爬虫的两种方法（有坑，务必注意）

第二种方式：参考链接：[https://www.jianshu.com/p/6f7cf38d5792][https_www.jianshu.com_p_6f7cf38d5792

逃离我推掉我的手/ 2021年09月18日 03:06/ 0 赞/ 264 阅读