使用jsoup爬虫超时分析与处理

￡神魔★判官ぃ 2021-10-09 10:50 451阅读 0赞

### 1.请求头信息得一致 ###

当你捕获到一个采用`JSOUP` 去请求超时的链接，我是通过`catch` 去发现。

1.  `try{`
2.  `doc = Jsoup.connect(url)`
3.  `.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0")`
4.  `.header("Connection", "close")//如果是这种方式，这里务必带上`
5.  `.timeout(8000)//超时时间`
6.  `.get();`
7.  `} catch (Exception e) {//可以精确处理timeoutException`
8.  `//超时处理`
9.  `}`

通过`try···catch` 去发现超时，然后结合自己的处理，这里要说几个问题。

1.  请求头信息，在你尝试去爬取对方的内容的时候，需要尽可能的和你在http浏览器请求的请求头一致，注意是请求头，不是相应头。
2.  在请求头里务必加上`Connection：close` ，有同学可能会问，这个不是相应头里的吗？是的，有的时候你看到在请求头里，有的时候看到在相应头里，而且一般是 `Connection：keep-alive` ，你加上就可以了。下面会讲到。
3.  当发现对方拒绝请求的时候，把浏览器里看到的请求头全部加上，甚至  [Cookie][]  也加上，注意**换行和空格**，需要自己处理下。尽量一行。
4.  如果对方网站过弱，请采用单线程爬取，要不然会大量超时，甚至把对方`Kill` 了。
5.  如果对方有  [IP][]  限制，采用  [IP][]  代理，或者频率放缓慢一点。

下面看两张图对比下。

![2781529613][]

![1565786250][]

[Cookie]: https://www.sojson.com/tag_cookie.html
[IP]: https://www.sojson.com/tag_ip.html
[2781529613]: https://cdn.www.sojson.com/file/17-05-13-11-55-20/doc/2781529613
[1565786250]: https://cdn.www.sojson.com/file/17-05-13-11-56-19/doc/1565786250

发表评论取消回复

表情：

评论列表（有 0 条评论，451人围观）

还没有评论，来说两句吧...

相关阅读

相关网络爬虫——Jsoup的使用

这里写目录标题 1、Jsoup简介 2、jar包下载 3、请求URL 4、设置头信息 4.1、单

淩亂°似流年/ 2023年10月13日 18:32/ 0 赞/ 27 阅读

相关使用jsoup简单实现爬虫

此为jsoup官网地址：[https://jsoup.org/][https_jsoup.org] 从官网下载jar包后导入eclipse packa

骑猪看日落/ 2023年08月17日 15:38/ 0 赞/ 164 阅读

相关 java爬虫-jsoup

文章目录内容简介主要功能内容简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供

男娘i/ 2023年02月11日 15:30/ 0 赞/ 239 阅读

相关 python爬虫超时重试_python爬虫怎么处理异常和超时？

该楼层疑似违规已被系统折叠隐藏此楼查看此楼写代码总是会出异常的，尤其是爬虫这类程序，无法确保每次请求都能稳定地返回统一的结果，比如反爬虫策略提升、代理IP超时、程序异常等

Dear 丶/ 2023年01月01日 01:45/ 0 赞/ 143 阅读

相关 python爬虫超时的处理

1. \coding:utf-8 2. ''''' 3. Created on 2014-7-24 4. 5. @author: Administrato

曾经终败给现在/ 2022年09月30日 10:50/ 0 赞/ 162 阅读

相关使用jsoup爬虫抓取页面

httpclient 和jsoup都可以实现模拟浏览器抓取页面，前者发送请求，后者解析htm标签比较强大。本例直接使用jsoup实现请求和解析。 package co

骑猪看日落/ 2022年06月07日 13:59/ 0 赞/ 319 阅读

相关 Jsoup+HtmlUnit 爬虫

最近学习java的爬虫，爬取双色球网站的内容，刚开始只用了Jsoup，可以爬取到全部的内容，还以为自己的爬虫技术OK了；结果双色球网站更新了，就爬取不到了，只能继续学习；因

ゞ浴缸里的玫瑰/ 2022年06月01日 07:55/ 0 赞/ 257 阅读

相关 java使用jsoup爬虫入门

一、maven项目里pom添加jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <a

左手的ㄟ右手/ 2022年05月24日 10:13/ 0 赞/ 283 阅读

相关使用jsoup爬虫超时分析与处理

1.请求头信息得一致当你捕获到一个采用`JSOUP` 去请求超时的链接，我是通过`catch` 去发现。 1. `try{` 2. `doc = Jsoup.co

￡神魔★判官ぃ/ 2021年10月09日 10:50/ 0 赞/ 452 阅读

相关爬虫Jsoup

爬虫Jsoup 简介导入jar 简单示例简介 Jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提

旧城等待，/ 2021年10月06日 03:06/ 0 赞/ 535 阅读