Scrapy学习笔记-scrapy的main.py和init.py

怼烎@ 2022-10-06 06:54 126阅读 0赞

在Python工程里，当python检测到一个目录下存在\_\_init\_\_.py文件时，python就会把它当成一个模块(module)。Module跟C＋＋的命名空间和Java的Package的概念很像，都是为了科学地组织化工程，管理命名空间。

\_\_init\_\_.py的设计原则  
\_\_init\_\_.py的原始使命是声明一个模块，所以它可以是一个空文件。在\_\_init\_\_.py中声明的所有类型和变量，就是其代表的模块的类型和变量。我们在利用\_\_init\_\_.py时，应该遵循如下几个原则：  
A、不要污染现有的命名空间。模块一个目的，是为了避免命名冲突，如果你在种用\_\_init\_\_.py时违背这个原则，是反其道而为之，就没有必要使用模块了。  
B、利用\_\_init\_\_.py对外提供类型、变量和接口，对用户隐藏各个子模块的实现。一个模块的实现可能非常复杂，你需要用很多个文件，甚至很多子模块来实现，但用户可能只需要知道一个类型和接口。由于各个子模块的实现有可能非常复杂，而对外提供的类型和接口有可能非常的简单，我们就可以通过这个方式来对用户隐藏实现，同时提供非常方便的使用。  
C、只在\_\_init\_\_.py中导入有必要的内容，不要做没必要的运算。一句话，\_\_init\_\_.py只是为了达到B中所表述的目的，其它事情就不要做啦。

scrapy的\_\_init\_\_.py

import pkgutil
    import sys
    import warnings
    from twisted import version as _txv
    # Declare top-level shortcuts
    from scrapy.spiders import Spider
    from scrapy.http import Request, FormRequest
    from scrapy.selector import Selector
    from scrapy.item import Item, Field
    __all__ = [
        '__version__', 'version_info', 'twisted_version', 'Spider',
        'Request', 'FormRequest', 'Selector', 'Item', 'Field',
    ]
    # Scrapy and Twisted versions
    __version__ = (pkgutil.get_data(__package__, "VERSION") or b"").decode("ascii").strip()
    version_info = tuple(int(v) if v.isdigit() else v for v in __version__.split('.'))
    twisted_version = (_txv.major, _txv.minor, _txv.micro)
    # Check minimum required Python version
    if sys.version_info < (3, 6):
        print("Scrapy %s requires Python 3.6+" % __version__)
        sys.exit(1)
    # Ignore noisy twisted deprecation warnings
    warnings.filterwarnings('ignore', category=DeprecationWarning, module='twisted')
    del pkgutil
    del sys
    del warnings

scrapy的\_\_main\_\_.py从scrapy.cmdline中导入execute函数，并执行

from scrapy.cmdline import execute
    if __name__ == '__main__':
        execute()