接着下来，我们来分析Downloader类的初始化过程，以及相关的数据结构，这样才能明白它具体做了些什么事情。
第69行定义了类Downloader类。
第71行定义保存在请求字典里的键，比如request.meta[self.DOWNLOAD_SLOT]。
第73行定义构造函数，传入爬虫类的管理类对象crawler。
第74行获得设置参数settings。
第75行获得信号发送对象。
第76行定义当前下载对象集合。
第77行定义当前下载活动对象的集合
从前面的HTTP11DownloadHandler类分析可知，它是调用ScrapyAgent类来处理具体的HTTP或HTTPS的协议来下载网页数据。如下调用过程： ![wat
前面分析了下载器的整个源码，理解了下载器的工作过程，在那里经常会遇到一个类，就是DownloadHandlers类，这个类主要用来对不同的下载协议进行管理的，比如文件协议和ht
接着下来我们来分析下载的过程以及数据返回之后的处理，在这个过程里要小心地安排处理的步骤，否则会比较容易出错。 ![watermark_type_ZmFuZ3poZW5naGV
前面可以看到一开始打开蜘蛛类有一次触发调度之外，还有下载数据返回之后进行一次调度。如果中间有调度没有准备好，或者队列满了，这样不会产生有新的下载，那么怎么样再次触发调度发生呢？
spidercls是一个蜘蛛类，比如这里是<class 'ItemDemo.spiders.quotes.QuotesSpider'>内容，self.settings是前面加载
因此继续来分析这两个函数的代码，才能理解蜘蛛类怎么样加载进来，怎么样设置twisted底层的工作框架。我们来查看\_get\_spider\_loader函数的代码，它的定义如
接着下来，我们来分析Downloader类的初始化过程，以及相关的数据结构，这样才能明白它具体做了些什么事情。 ![watermark_type_ZmFuZ3poZW5naG
从前面的分析我们知道，当下载的连接URL去重之后，就需要把URL放到下载器里进行下载，这样才会得到网页相关的数据，比如HTML、图片、脚本等等。然后我们根据网页再来抽取相关的数
前面函数的代码已经很清楚，就是生成请求对象的指纹信息，现在来分析每一行代码的作用： ![20210618123946469.png][] 第52和53行是判断请求是否
上面已经准备了所有队列的对象，下一步我们就来分析怎么进入队列，以及怎么实现优先级队列管理这些请求。这些函数的调用关系如下： 
喜欢ヅ旅行
怼烎@
我就是我
太过爱你忘了你带给我的痛
还没有评论，来说两句吧...