python urllib3秒杀,如何在Python 3中处理urllib的超时？

爱被打了一巴掌 2022-08-30 11:16 154阅读 0赞

![Image 1][]

First off, my problem is quite similar to this one. I would like a timeout of urllib.urlopen() to generate an exception that I can handle.

Doesn't this fall under URLError?

try:

response = urllib.request.urlopen(url, timeout=10).read().decode('utf-8')

except (HTTPError, URLError) as error:

logging.error(

'Data of %s not retrieved because %s\\nURL: %s', name, error, url)

else:

logging.info('Access successful.')

The error message:

resp = urllib.request.urlopen(req, timeout=10).read().decode('utf-8')

File "/usr/lib/python3.2/urllib/request.py", line 138, in urlopen

return opener.open(url, data, timeout)

File "/usr/lib/python3.2/urllib/request.py", line 369, in open

response = self.\_open(req, data)

File "/usr/lib/python3.2/urllib/request.py", line 387, in \_open

'\_open', req)

File "/usr/lib/python3.2/urllib/request.py", line 347, in \_call\_chain

result = func(\*args)

File "/usr/lib/python3.2/urllib/request.py", line 1156, in http\_open

return self.do\_open(http.client.HTTPConnection, req)

File "/usr/lib/python3.2/urllib/request.py", line 1141, in do\_open

r = h.getresponse()

File "/usr/lib/python3.2/http/client.py", line 1046, in getresponse

response.begin()

File "/usr/lib/python3.2/http/client.py", line 346, in begin

version, status, reason = self.\_read\_status()

File "/usr/lib/python3.2/http/client.py", line 308, in \_read\_status

line = str(self.fp.readline(\_MAXLINE + 1), "iso-8859-1")

File "/usr/lib/python3.2/socket.py", line 276, in readinto

return self.\_sock.recv\_into(b)

socket.timeout: timed out

There was a major change from in Python 3 when they re-organised the urllib and urllib2 modules into urllib. Is it possible that there was a change then that causes this?

解决方案

The exception is timeout from socket, so

from socket import timeout

try:

response = urllib.request.urlopen(url, timeout=10).read().decode('utf-8')

except (HTTPError, URLError) as error:

logging.error('Data of %s not retrieved because %s\\nURL: %s', name, error, url)

except timeout:

logging.error('socket timed out - URL %s', url)

else:

logging.info('Access successful.')

should catch the new exception. Though I'm not sure if that answers your question, as I'm not sure what your question is..

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，154人围观）

还没有评论，来说两句吧...

相关阅读

相关 python2中的urllib、urllib2

最近在使用python进行爬虫的学习，遇到了urllib、urllib2还有python3中的urllib，通过这段时间的使用，将其大致的使用场景和区别总结如下： pyth

客官°小女子只卖身不卖艺/ 2023年10月09日 12:58/ 0 赞/ 22 阅读

相关 Python爬虫编程思想（19）：使用urllib3上传文件与处理超时

[Python爬虫编程思想（20）：requests网络库的基本用法][Python_20_requests] 目录 1. 上传文件 2. 超时处理 ---------

清疚/ 2022年09月10日 08:25/ 0 赞/ 268 阅读

相关 python urllib3秒杀,如何在Python 3中处理urllib的超时？

![Image 1][] First off, my problem is quite similar to this one. I would like a timeout

爱被打了一巴掌/ 2022年08月30日 11:16/ 0 赞/ 155 阅读

相关 python中的urllib和urllib2

python中有urllib和urllib2两个模块，但并不是urllib2就完全可以取代urllib 看官方文档上的解释， urllib (https://do

一时失言乱红尘/ 2022年07月27日 19:59/ 0 赞/ 224 阅读

相关 Python的urllib3软件包详解

urllib3是一款Python 3的HTTP客户端。 Python标准库提供了urllib。在Python 2中，另外提供了urllib2；而在Python 3中，重构了u

矫情吗；*/ 2022年06月15日 10:46/ 0 赞/ 484 阅读

相关 Python3之urllib库的使用总结

Urllib库是Python中的一个功能强大、用于操作URL，并在做爬虫的时候经常要用到的库。在Python2.x中，分为Urllib库和Urllib2库，Python3.x之

快来打我*/ 2022年06月10日 10:26/ 0 赞/ 253 阅读

相关 python3.6使用 urllib完成下载

url = u'http://tieba.baidu.com/f?kw=权利的游戏&ie=utf-8&pn=50' url = quote(url, safe

刺骨的言语ヽ痛彻心扉/ 2022年06月07日 10:27/ 0 赞/ 173 阅读

相关 Python3 urllib库学习

python3将python2的urllib和urllib2库整合为一个urllib库，由于近期用到了这个库就参考官方文档和网上的资料总结了一下导入 imp

拼搏现实的明天。/ 2022年06月01日 07:50/ 0 赞/ 214 阅读

相关 python2和python3对比Urllib

Py2.x： Urllib库 Urllin2库 Py3.x： Urllib库变化：在Pytho2.x中使用import urllib2——-对应的，在Py

喜欢ヅ旅行/ 2022年04月11日 04:30/ 0 赞/ 199 阅读

相关 Python urllib与urllib2

　　Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取ht

快来打我*/ 2021年12月20日 08:43/ 0 赞/ 289 阅读