发表评论取消回复
相关阅读
相关 爬虫日记(96):Twisted的通过对象进行回调
前面通过例子来演示怎么样通过函数的方式来进行回调,这样的方式是比较简单的,如果函数比较少,或者函数之间的状态比较少,就可以使用这种方式来进行。如果函数之间比较密切,还有一些状态
相关 爬虫日记(93):Twisted的设计模型
由于scrapy的代码采用twisted的框架来设计,因此需要继续来学习twisted的内容,才可以更加深入地了解scrapy的代码实现方式,以及借鉴scrapy的代码来开发自
相关 爬虫日记(81):Twisted的线程池使用
为了尽快熟悉scrapy的代码,先来抽取里面的一个循环调度的类出来测试一下,这个类实现对回调函数的封装。整个例子的代码如下: 爬虫日记-蔡军生(qq:9073204)
相关 爬虫日记(80):Twisted的循环任务
前面已经学习了Twisted框架的一些延时机制、延时链、多个延时条件等等,接着下来继续学习Twisted的循环任务,比如scrapy里下载任务失败之后,尝试过一段时间再重试下载
相关 爬虫日记(108):Twisted:使用后悔药
有时候有一些操作发送出去了,但是不再需要做,这样就需要使用后悔药。比如前面的诗歌代理服务器,当一个客户端连接过来获取诗歌内容,但是由于服务器下载很慢,但是客户端等不起了,决定关
相关 爬虫日记(107):Twisted:使用生成器构造回调函数
之前我们学习关于装饰器@inlineCallbacks的使用,它可以把生成器函数处理成回调函数,它是根据生成器函数的异步特性来设计的,如下图: ![watermark_typ
相关 爬虫日记(102):Twisted:使用Deferred重构服务器代码
前面实现了一个诗歌下载的服务器,采用socket底层来实现的,这样比较关注底层的细节,并且还是一个阻塞的服务器,这样服务器的性能肯定不会太好。接着下来,重构这个服务器的代码。
相关 爬虫日记(101):Twisted:使用Deferred重构异常代码
我们经常会写同步的代码,并且喜欢使用异常来处理结果,这样的习惯是训练出来的。什么东西都需要等有确定的结果再做下一步,比如下面的异常处理代码: def try\_to\
相关 爬虫日记(100):Twisted:使用Deferred重构回调函数管理
前面的例子可以看到下载诗歌的例子里,使用回调函数来进行实现客户端的代码,这样需要传送两上回调函数进去,接着下来我们使用已经学习的Deferred类来管理回调函数,就不必要传送回
相关 爬虫日记(98):Twisted的使用回调更简单
在前面已经学习了使用一个下载诗歌的客户端,而这个客户端使用了传送层、协议、协议工厂类的抽象,这样更加方便框架的抽象能力,适用更多类型的应用。由于前面的例子实现还是有点复杂,可以
还没有评论,来说两句吧...