爬虫日记(76):Scrapy的命令行源码分析二

╰半橙微兮° 2023-01-22 14:48 202阅读 0赞

列举目录scrapy\commands里命令

从代码里可以看到,先会从scrapy\commands里得到所有命令,这些命令是scrapy最基本的操作,包含爬虫的创建、运行和分析等等。在这里将学会怎么样构造自己的命令行系统,可以把这部分代码移植到自己的系统里,这样就可让自己的系统也支持强大的命令行方式。如果让我们来设计这个系统,遇到的第一个问题,就是怎么样得到目录里所有命令模块;第二个问题就是怎么样判断这些命令模块是合法的命令。

先来解决第一个问题,就是怎么样从包里得到所有命令模块。查看下面这段代码:

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NhaW1vdXNl_size_16_color_FFFFFF_t_70

这个函数主要是遍历包,把包里所有的模块进行加载。参数path是包的名称,比如’scrapy.commands’,也就是目录scrapy\commands。

第88行是定义一个列表,用来保存包里所有的模块。

第81行是加载当前包的模块,

发表评论

表情:
评论列表 (有 0 条评论,202人围观)

还没有评论,来说两句吧...

相关阅读