个人对爬虫框架的一些认知（三）

末蓝、 2022-01-22 00:41 192阅读 0赞

接上一篇通用框架的讲解之后，今天给大家讲解下爬虫框架关于代理IP使用这块的一些个人见解。

就我个人使用过的代理种类来看，从获取和使用的方式上，我把他们分为两类：

1.所有出去的代理IP都是用的同一个Ip和端口，不需要动态变化，例如：阿布云；

2.通过代理平台接口获取下来不同的Ip和端口进行配置，动态获取，动态使用，例如：站大爷；

我给大家列下现在有的21个代理平台：

1.  米扑代理 [http://proxy.mimvp.com][http_proxy.mimvp.com]
2.  大象代理 http://www.daxiangdaili.com 
3.  快代理 [http://www.kuaidaili.com][http_www.kuaidaili.com]
4.  站大爷 [http://ip.zdaye.com][http_ip.zdaye.com]
5.  讯代理 [http://www.xdaili.cn][http_www.xdaili.cn]
6.  阿布云代理 [http://www.abuyun.com/][http_www.abuyun.com]
7.  蚂蚁代理 [http://www.mayidaili.com][http_www.mayidaili.com]
8.  360代理 [http://www.swei360.com][http_www.swei360.com]
9.  云代理 [http://www.ip3366.net][http_www.ip3366.net]
10. 代理云 [http://www.dailiyun.com][http_www.dailiyun.com]
11. 流年免费代理 [http://www.89ip.cn][http_www.89ip.cn]
12. 无忧代理 [http://www.data5u.com][http_www.data5u.com]
13. 全网代理 [http://www.goubanjia.com][http_www.goubanjia.com]
14. 芝麻代理 [http://ip.mengdie.com][http_ip.mengdie.com]
15. ITRENT（IP租赁）[http://www.iprent.cn][http_www.iprent.cn]
16. 虎头代理 [http://www.hutoudaili.com][http_www.hutoudaili.com]
17. AWMProxy（需要VPN访问）[http://awmproxy.net][http_awmproxy.net]
18. ProxyKey （需要VPN访问）[http://www.proxykey.com][http_www.proxykey.com]
19. HideMy（需要VPN访问）[http://hidemy.name][http_hidemy.name]
20. HideMyAss（需要VPN访问）[http://www.hidemyass.com][http_www.hidemyass.com]
21. FreeProxyLists （需要VPN访问）[http://freeproxylists.net][http_freeproxylists.net]

--------------------

各平台代理效果如何，我直接给大伙贴个统计图，相信大家一看就会明白的。

![20190604175155539.png][]

代理在爬虫代码里面怎么用，应该不用多讲了吧，随便找一家代理平台，都有相应语言的使用案例的，这里给大家贴一个阿布云的：

[阿布云代理使用接入指南][Link 1]

C\#为例，我贴下代码：

// 要访问的目标页面
        string targetUrl = "http://test.abuyun.com";
        //string targetUrl = "http://proxy.abuyun.com/switch-ip";
        //string targetUrl = "http://proxy.abuyun.com/current-ip";
    
        // 代理服务器
        string proxyHost = "http://http-dyn.abuyun.com";
        string proxyPort = "9020";
    
        // 代理隧道验证信息
        string proxyUser = "H01234567890123D";
        string proxyPass = "0123456789012345";
    
        // 设置代理服务器
        var proxy         = new WebProxy();
        proxy.Address     = new Uri(string.Format("{0}:{1}", proxyHost, proxyPort));
        proxy.Credentials = new NetworkCredential(proxyUser, proxyPass);
    
        ServicePointManager.Expect100Continue = false;
        var request = WebRequest.Create(targetUrl) as HttpWebRequest;
        request.AllowAutoRedirect = true;
        request.KeepAlive = true;
        request.Method    = "GET";
        request.Proxy     = proxy;
    
        //request.Timeout = 20000;
        //request.ServicePoint.ConnectionLimit = 512;
        //request.UserAgent = "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36";
        //request.Headers.Add("Cache-Control", "max-age=0");
        //request.Headers.Add("DNT", "1");
    
        using (var response = request.GetResponse() as HttpWebResponse)
        using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8))
        {
            string htmlStr = sr.ReadToEnd();
        }

不同种类的代理建议大家做成参数可配置化，方便各种情况下的抓取，调整起来也会很方便，本地和代理之间可以任意切换。

另外也建议大家使用账号密码的方式，相对ip白名单的机制会更灵活，也方便放到一些成型的抓取软件如：火车浏览器、八爪鱼这种的。

相关代理知识了解链接：[米扑代理：爬虫代理IP哪家好呢][IP]

有什么的好的意见和建议欢迎给我留言。下一篇章给大家讲解账号机制。

**下一章关于账号体系**：[个人对爬虫框架的一些认知（四）][Link 2]

[http_proxy.mimvp.com]: http://proxy.mimvp.com
[http_www.kuaidaili.com]: http://www.kuaidaili.com
[http_ip.zdaye.com]: http://ip.zdaye.com
[http_www.xdaili.cn]: http://www.xdaili.cn
[http_www.abuyun.com]: http://www.abuyun.com/
[http_www.mayidaili.com]: http://www.mayidaili.com
[http_www.swei360.com]: http://www.swei360.com
[http_www.ip3366.net]: http://www.ip3366.net
[http_www.dailiyun.com]: http://www.dailiyun.com
[http_www.89ip.cn]: http://www.89ip.cn
[http_www.data5u.com]: http://www.data5u.com
[http_www.goubanjia.com]: http://www.goubanjia.com
[http_ip.mengdie.com]: http://ip.mengdie.com
[http_www.iprent.cn]: http://www.iprent.cn
[http_www.hutoudaili.com]: http://www.hutoudaili.com
[http_awmproxy.net]: http://awmproxy.net
[http_www.proxykey.com]: http://www.proxykey.com
[http_hidemy.name]: http://hidemy.name
[http_www.hidemyass.com]: http://www.hidemyass.com
[http_freeproxylists.net]: http://freeproxylists.net
[20190604175155539.png]: /images/20220122/4d7afba4080c4a14adadfc180f4a33e4.png?
[Link 1]: https://www.abuyun.com/http-proxy/dyn-manual.html
[IP]: https://blog.csdn.net/lxb18711871497/article/details/80462180
[Link 2]: https://blog.csdn.net/lxb18711871497/article/details/91383416