python报错:pymongo.errors.CursorNotFound: Cursor not found
今天在做查询mongo并遍历其中url做下载的工作时,报了下面的错误
pymongo.errors.CursorNotFound: Cursor not found
刚开始以为是逻辑处理的不正确,最后找到原因是mongo自身的问题,默认在10分钟内如果没有返回,就会报这个错,就是说如果你的查询语句查询数据量大,并且在十分钟内对这些数据没有处理完成,就会报这个错
解决方法:
1、设置no_cursor_timeout = True,永不超时,游标连接不会主动关闭,需要手动关闭
demos = db.col.find({},no_cursor_timeout = True)
for cursor in demos:
do_something()
demos.close() # 关闭游标
2、设置batch_size返回文档数,默认应该是20个文档(记不清了233333),可以设置小一些
#每次只返回一个文档
demos = db.col.find({}).batch_size(1)
for cursor in demos:
do_something()
注意:这种方法仍然会出现可能超过10分钟任然没有返回,比如你在do_something里进行一些十分耗时的操作,具体采用哪种方法按实际情况而定
还没有评论,来说两句吧...