多个爬虫http代理ip解决方案

落日映苍穹つ 2022-01-11 04:53 565阅读 0赞

1）通过程序扫出来的代理

通过程序扫IP段、端口找出来的临时性代理。

诸如百度搜索“HTTP代理”，写着“每日更新”、“国内高匿免费”什么的都是这类，购买的话都很廉价。

基本都大同小异，没有哪个好那个坏，几个平台提供的代理至少有3成的重复率。

这类代理，有效期都不高，即便批量验证过在使用时还是会废掉一部分，可以应付低效率的采集、刷单次访问量，但是搞别的的还是算了吧。

2）ADSL拨号服务器

ADSL拨号，断线重连切IP，淘宝有卖的，限定地区拨号、全国拨号都有。相对较稳定，至少比扫描出来的强很多，但切换IP耗时较长，需要几秒到1分钟之间。

所以如果采集是每访问一次切一次IP的话，效率会很慢，只能等当前IP被对方ban掉的时候在拨号换新的IP。

去年刷百度下拉、搞百度点击器的代理切换曾用过ADSL拨号，比较稳定，有些效果，当然也用过上面扫出来的代理，太烂，没法用。但是限于换IP需要断线重连，导致不容易并发执行任务，所以要大规模化要有些成本。

ADSL拨号可以应付对效率要求不高的采集、刷访问量、刷点击之类的。

3）第三方访问

比如通过“谷歌网页翻译”、“有道网页翻译”、“http代理浏览器”等第三方访问渠道请求目标网页。

速度慢，且采集捕获目标内容的时候多了很多干扰。

4）×××软件

诸如“fly\*\*\*”、“green \*\*\*”，采集是IP被ban了直接换一个，×××软件本身靠谱代理还是挺稳定的，就是人得在电脑旁边，手动换一次。但是偶尔查查几万关键词的百度排名、几万页面收录，用×××还是挺悠闲的，这点量级总共也换不了多少次。

5）自建代理

买一台服务器，利用squid+stunnel搭建一台HTTP高匿代理服务器，Tinyproxy也行。squit用来实现http代理，stunnel在代理的基础上建一条隧道实现加密。

如果觉得ip数量少，就多买几台服务器，依次配置squid——

由于是自建代理，都是独享且是真实的IP，所有相当稳定。采集、抢购、刷票、刷点击、刷主播人气什么的都可以干，只有有钱上机子就行——

去年接了一个爬虫单子，抓国外某股票网站，共千万页面量级，反爬虫做的挺恶心，无奈买了20台低配机子做HTTP代理服务器，一个月5000成本——

5）自建代理服务商

如果上面方法自己懒得搞，也没有关系。找个做类似服务的商家，开个api端口即可。

转载于:https://blog.51cto.com/14321856/2403361

发表评论取消回复

表情：

评论列表（有 0 条评论，565人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫（第一篇） IP代理池

搞虫子的都知道，IP代理是必要的方法，为什么？这个大家知道就好了，最近写了个IP代理池，给大家围观一下：开始。首先咱们找到一个免费的IP代理网站，读取人家的数据，但是注意了

朱雀/ 2023年01月12日 01:49/ 0 赞/ 178 阅读

相关【解决方案】IP代理池设计与解决方案

【解决方案】IP代理池设计与解决方案参考文章： [（1）【解决方案】IP代理池设计与解决方案][1_IP] （2）https://www.cnblogs.com/fon

分手后的思念是犯贱/ 2022年09月04日 00:46/ 0 赞/ 205 阅读

相关爬虫 IP代理策略

简介写爬虫，最终还是逃避不了和IP代理打交道。从网上找了好多家IP代理，如表 ![Center][] 最终的选择是无忧IP代理。

亦凉/ 2022年06月08日 23:10/ 0 赞/ 297 阅读

相关西刺代理爬虫多进程改进验证有效代理IP

吐槽作为一名小白，初次写的爬虫，对于性能、耗时等等完全不在意。但是之前写的验证100个proxyIp的有效性话的时间是在无法接受470秒。在被逼无奈的

╰+哭是因爲堅強的太久メ/ 2022年06月03日 06:53/ 0 赞/ 214 阅读

相关网络爬虫生成代理ip

代理写网络爬虫时，经常会遇到ip频繁访问被封的问题，经常使用的解决办法就是代理ip。为此，我写了一个随机生成一个可用代理ip的样例程序。程序 pack

以你之姓@/ 2022年05月25日 09:35/ 0 赞/ 242 阅读

相关 redis 配置多个ip 安全解决方案

因为在 redis 中bind 指定的ip 其实为同一网段或localhost 监听ip,在这里配置内网其他网段或者外网多个ip 后重启 redis 是不会成功的，这

青旅半醒/ 2022年03月10日 21:21/ 0 赞/ 1276 阅读

相关如何建立爬虫代理ip池

目录一、为什么需要建立爬虫代理ip池二、如何建立一个爬虫代理ip池 -------------------- 原文地址：[https://www.cnb

矫情吗；*/ 2022年02月20日 21:19/ 0 赞/ 324 阅读

相关关于使用HTTP代理IP爬虫采集的认知误区

奥地利符号计算研究所的Christoph Koutschan博士在自己的页面上发布了一篇文章，提到他做了一个调查，参与者大多数是计算机科学家，他请这些科学家投票选出最重要的算法

落日映苍穹つ/ 2022年02月13日 00:15/ 0 赞/ 259 阅读

相关多个爬虫http代理ip解决方案

1）通过程序扫出来的代理　　通过程序扫IP段、端口找出来的临时性代理。　　诸如百度搜索“HTTP代理”，写着“每日更新”、“国内高匿免费”什么的都是这类，购买的话都很廉

落日映苍穹つ/ 2022年01月11日 04:53/ 0 赞/ 566 阅读

相关爬虫如何使用代理ip解决封禁？

爬虫如何使用代理ip解决封禁？随着大数据时代的到来，很多做爬虫要用到[代理IP][IP]，爬虫已经成了获取数据的必不可少的方式，在使用爬虫多次爬取同一网站时，经常会被网站的

野性酷女/ 2021年11月11日 05:20/ 0 赞/ 368 阅读