python爬虫超时重试_python爬虫怎么处理异常和超时？

Dear 丶 2023-01-01 01:45 142阅读 0赞

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升、代理IP超时、程序异常等等，处理好这些问题，才能保证爬虫程序持续地运行下去。

一、反爬虫策略。这里不多说，之前有讨论过，可以参考之前的文章《爬虫如何有效突破网站的反爬机制？》。

二、超时设置。网络总是不会一如既往的稳定如一，可能代理IP某个时间不稳定，也可能目标服务器某个时间不稳定，还有自身机器的网络也可能不稳定，如果不设置好超时，程序也不好跑下去。

selenium+chrome的超时设置：

显式等待：、等待某个条件发生，然后再继续进行代码。

driver = webdriver.Firefox()

driver.get("http://somedomain/url\_that\_delays\_loading")

try:

element = WebDriverWait(driver, 10).until( \#这里修改时间

EC.presence\_of\_element\_located((By.ID, "myDynamicElement"))

)

finally:

driver.quit()

隐式等待：是告诉WebDriver在尝试查找一个或多个元素(如果它们不是立即可用的)时轮询DOM一定时间。默认设置为0，一旦设置，将为WebDriver对象实例的生命期设置隐式等待。

driver = webdriver.Firefox()

driver.implicitly\_wait(10) \# seconds

driver.get("http://somedomain/url\_that\_delays\_loading")

myDynamicElement = driver.find\_element\_by\_id("myDynamicElement")

三、异常处理。是程序就会有异常，不管是什么程序，python使用try&except语句来处理异常。try&except语句不仅仅是要让其捕获异常更重要的是让其忽略异常，因为爬虫中的绝大多数异常可能重新请求就不存在，因此，发现异常的时候将其任务队列进行修复其实是个最省力的好办法。

try:

passhttp://www.\*\*\*.com/\*\*\*/\#

\#可能出错的语句

except Exception,e:

pass

\#保留错误的url，留待下次重跑

print e

finally:

\#无论是否处理了异常都继续运行

print time.ctime()

四、自重启设置。如果一个程序在某种情况下报错多次，或者运行时间够久远，那么其性能可能会下降，就像一台电脑一样，用的越久就越慢，重启不失为一个好办法。当然这是治标不治本，但无疑是最省力的方法之一，当满足设置的重启条件后，程序自重启，也是让程序持久运行的一个好方法。

发表评论取消回复

表情：

评论列表（有 0 条评论，142人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬虫怎么写

编写python爬虫需要了解一些相关的知识，比如网络爬虫的原理、网络爬虫的常见技术、如何使用Python的网络爬虫库等。建议先学习一些基础知识，然后熟悉Python语言，最后再

客官°小女子只卖身不卖艺/ 2024年03月25日 17:04/ 0 赞/ 47 阅读

相关 python怎么爬虫理数据_什么是Python爬虫？怎么样玩爬虫？

★ 爬虫特点概要爬虫的概念爬虫的作用爬虫的分类根据被爬网闸的数量不同，可以分为：根据是否以获取数据为目的，可以分为：根据URL地址和对应页

迷南。/ 2023年01月02日 02:25/ 0 赞/ 231 阅读

相关 python爬虫超时重试_python爬虫怎么处理异常和超时？

该楼层疑似违规已被系统折叠隐藏此楼查看此楼写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升、代理IP超时、程序异常等

Dear 丶/ 2023年01月01日 01:45/ 0 赞/ 143 阅读

相关 java 下载超时_Java下载文件爬虫超时处理解决方案

import java.util.List; import java.io.BufferedReader; import java.io.BufferedWriter;

冷不防/ 2022年11月09日 14:20/ 0 赞/ 323 阅读

相关 python爬虫超时的处理

1. \coding:utf-8 2. ''''' 3. Created on 2014-7-24 4. 5. @author: Administrato

曾经终败给现在/ 2022年09月30日 10:50/ 0 赞/ 162 阅读

相关 Python爬虫编程思想（24）：在requests中使用代理和处理超时

目录 1. 使用代理 2. 超时 -------------------- 1. 使用代理使用代理的必要性在前文已经详细阐述了，reques

缺乏、安全感/ 2022年09月11日 09:23/ 0 赞/ 165 阅读

相关 Python爬虫编程思想（9）：用urllib处理请求超时

[Python爬虫编程思想（10）：通过urllib设置HTTP请求头][Python_10_urllib_HTTP] 当向服务端发送HTTP

骑猪看日落/ 2022年08月29日 15:48/ 0 赞/ 195 阅读

相关超时与重试机制

网上发现这篇好文章，这里记录学习。介绍在实际开发过程中，笔者见过太多故障是因为超时没有设置或者设置的不对而造成的。而这些故障都是因为没有意识到超时设置的

﹏ヽ暗。殇╰゛Y/ 2022年03月08日 19:05/ 0 赞/ 609 阅读

相关 Python爬虫入门：URLError异常处理

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 大家好，本节在这里主要说的是URLError还有HTTP

Myth丶恋晨/ 2022年01月13日 12:23/ 0 赞/ 258 阅读

相关使用jsoup爬虫超时分析与处理

1.请求头信息得一致当你捕获到一个采用`JSOUP` 去请求超时的链接，我是通过`catch` 去发现。 1. `try{` 2. `doc = Jsoup.co

￡神魔★判官ぃ/ 2021年10月09日 10:50/ 0 赞/ 451 阅读