爬虫日记(74)：Scrapy项目配置参数源码分析

淡淡的烟草味﹌ 2023-01-21 13:17 83阅读 0赞

前面已经知道scrapy程序运行之后，会调用execute（）函数来执行，这是程序入口点，而在这个入口点的背后，第一步做的事情就是获得程序所有的配置参数，因为scrapy程序设计为非常灵活的程序，基本任何模块和组件都是通过配置文件来定制，如果对这个不了解，建议看一下我前面发的文章。

  1. def get_project_settings():
  2.     if ENVVAR not in os.environ:
  3.         project = os.environ.get('SCRAPY_PROJECT', 'default')
  4.         init_env(project)
  6.     settings = Settings()
  7.     settings_module_path = os.environ.get(ENVVAR)
  8.     if settings_module_path:
  9.         settings.setmodule(settings_module_path, priority='project')
  11.     pickled_settings = os.environ.get("SCRAPY_PICKLED_SETTINGS_TO_OVERRIDE")
  12.     if pickled_settings:
  13.         warnings.warn("Use of environment variable "
  14.                       "'SCRAPY_PICKLED_SETTINGS_TO_OVERRIDE' "
  15.                       "is deprecated.", ScrapyDeprecationWarning)
  16.         settings.setdict(pi

发表评论

表情：
评论列表 （有 0 条评论，83人围观）

还没有评论，来说两句吧...

相关阅读