python urllib3秒杀,如何在Python 3中处理urllib的超时？

爱被打了一巴掌 2022-08-30 11:16 177阅读 0赞

![Image 1][]

First off, my problem is quite similar to this one. I would like a timeout of urllib.urlopen() to generate an exception that I can handle.

Doesn't this fall under URLError?

try:

response = urllib.request.urlopen(url, timeout=10).read().decode('utf-8')

except (HTTPError, URLError) as error:

logging.error(

'Data of %s not retrieved because %s\\nURL: %s', name, error, url)

else:

logging.info('Access successful.')

The error message:

resp = urllib.request.urlopen(req, timeout=10).read().decode('utf-8')

File "/usr/lib/python3.2/urllib/request.py", line 138, in urlopen

return opener.open(url, data, timeout)

File "/usr/lib/python3.2/urllib/request.py", line 369, in open

response = self.\_open(req, data)

File "/usr/lib/python3.2/urllib/request.py", line 387, in \_open

'\_open', req)

File "/usr/lib/python3.2/urllib/request.py", line 347, in \_call\_chain

result = func(\*args)

File "/usr/lib/python3.2/urllib/request.py", line 1156, in http\_open

return self.do\_open(http.client.HTTPConnection, req)

File "/usr/lib/python3.2/urllib/request.py", line 1141, in do\_open

r = h.getresponse()

File "/usr/lib/python3.2/http/client.py", line 1046, in getresponse

response.begin()

File "/usr/lib/python3.2/http/client.py", line 346, in begin

version, status, reason = self.\_read\_status()

File "/usr/lib/python3.2/http/client.py", line 308, in \_read\_status

line = str(self.fp.readline(\_MAXLINE + 1), "iso-8859-1")

File "/usr/lib/python3.2/socket.py", line 276, in readinto

return self.\_sock.recv\_into(b)

socket.timeout: timed out

There was a major change from in Python 3 when they re-organised the urllib and urllib2 modules into urllib. Is it possible that there was a change then that causes this?

解决方案

The exception is timeout from socket, so

from socket import timeout

try:

response = urllib.request.urlopen(url, timeout=10).read().decode('utf-8')

except (HTTPError, URLError) as error:

logging.error('Data of %s not retrieved because %s\\nURL: %s', name, error, url)

except timeout:

logging.error('socket timed out - URL %s', url)

else:

logging.info('Access successful.')

should catch the new exception. Though I'm not sure if that answers your question, as I'm not sure what your question is..

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，177人围观）

还没有评论，来说两句吧...

相关阅读

相关 python2中的urllib、urllib2

最近在使用python进行爬虫的学习，遇到了urllib、urllib2还有python3中的urllib，通过这段时间的使用，将其大致的使用场景和区别总结如下： pyth

客官°小女子只卖身不卖艺/ 2023年10月09日 12:58/ 0 赞/ 46 阅读

相关 python发起网络请求模块【requests、selenium、urllib、urllib3】

python网络请求四大模块【requests、selenium、urllib、urllib3】 1、requests 该模块为python第三方库，需要使用pip

心已赠人/ 2023年10月02日 17:08/ 0 赞/ 2 阅读

相关 linux python urllib,Python urllib

Python urllib Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。本文主要介绍 Python3 的 urllib。 urlli

妖狐艹你老母/ 2023年01月21日 11:20/ 0 赞/ 3 阅读

相关 python urllib3秒杀,如何在Python 3中处理urllib的超时？

![Image 1][] First off, my problem is quite similar to this one. I would like a timeout

爱被打了一巴掌/ 2022年08月30日 11:16/ 0 赞/ 178 阅读

相关 python中的urllib和urllib2

python中有urllib和urllib2两个模块，但并不是urllib2就完全可以取代urllib 看官方文档上的解释， urllib (https://do

一时失言乱红尘/ 2022年07月27日 19:59/ 0 赞/ 252 阅读

相关 Python的urllib3软件包详解

urllib3是一款Python 3的HTTP客户端。 Python标准库提供了urllib。在Python 2中，另外提供了urllib2；而在Python 3中，重构了u

矫情吗；*/ 2022年06月15日 10:46/ 0 赞/ 506 阅读

相关 python3.6使用 urllib完成下载

url = u'http://tieba.baidu.com/f?kw=权利的游戏&ie=utf-8&pn=50' url = quote(url, safe

刺骨的言语ヽ痛彻心扉/ 2022年06月07日 10:27/ 0 赞/ 192 阅读

相关 Python3 urllib库学习

python3将python2的urllib和urllib2库整合为一个urllib库，由于近期用到了这个库就参考官方文档和网上的资料总结了一下导入 imp

拼搏现实的明天。/ 2022年06月01日 07:50/ 0 赞/ 250 阅读

相关 python2和python3对比Urllib

Py2.x： Urllib库 Urllin2库 Py3.x： Urllib库变化：在Pytho2.x中使用import urllib2——-对应的，在Py

喜欢ヅ旅行/ 2022年04月11日 04:30/ 0 赞/ 231 阅读

相关 Python urllib与urllib2

　　Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取ht

快来打我*/ 2021年12月20日 08:43/ 0 赞/ 315 阅读