爬虫程序的优化策略

客官°小女子只卖身不卖艺 2021-12-14 09:39 173阅读 0赞

1、注意很多网站，可以先用代理ip+ua（ua库随机提取）访问，之后会返回来一个cookie，那ip+ua+cookie就是一一对应的，然后用这个ip、ua和cookie去采集网站，这样效果会比较好  
2、有些网站反爬取的措施应该比较强的。访问之后每次清除缓存，这样能有效规避部分网站的检测；但是有些网站更严格的判断，如果都是新链接从ip发出，也会被判定拒绝（直接403拒绝访问），因此有些爬虫客户会去分析网站的cookies缓存内容，然后进行修改。  
3、浏览器的标识（User-Agent）也很重要，用户都是一种浏览器，也是容易判断作弊，要构造不同的浏览器标识，否则容易被判定爬虫。[https://httpbin.org/headers，用代理访问之后，浏览器标识需要修改，建议浏览器用phantomjs框架，这个可以模拟其他浏览器的标示（需要标示库的话，我们可以提供1000+），可以通过API接口实现各种浏览器的采集模拟。][https_httpbin.org_headers_phantomjs_1000_API]  
4、信息类网站（58、企查查、工商），这类网站主要靠信息提供商业服务，所以反爬措施很严格，非账号（匿名）采集务必生成正确的cookie和ua，同时限制好频率。建议通过账号登陆来进行采集，这样可以提高采集效率。  
5、另外还需要模拟一些用户鼠标行为，这样才能通过这些网站的反爬措施。  
7、通过流量统计和日志分析，如果发现单个IP访问、单个session访问、User-Agent信息超出设定的正常频度阈值  
8、选择正确的爬虫代理

[https_httpbin.org_headers_phantomjs_1000_API]: https://httpbin.org/headers%EF%BC%8C%E7%94%A8%E4%BB%A3%E7%90%86%E8%AE%BF%E9%97%AE%E4%B9%8B%E5%90%8E%EF%BC%8C%E6%B5%8F%E8%A7%88%E5%99%A8%E6%A0%87%E8%AF%86%E9%9C%80%E8%A6%81%E4%BF%AE%E6%94%B9%EF%BC%8C%E5%BB%BA%E8%AE%AE%E6%B5%8F%E8%A7%88%E5%99%A8%E7%94%A8phantomjs%E6%A1%86%E6%9E%B6%EF%BC%8C%E8%BF%99%E4%B8%AA%E5%8F%AF%E4%BB%A5%E6%A8%A1%E6%8B%9F%E5%85%B6%E4%BB%96%E6%B5%8F%E8%A7%88%E5%99%A8%E7%9A%84%E6%A0%87%E7%A4%BA%EF%BC%88%E9%9C%80%E8%A6%81%E6%A0%87%E7%A4%BA%E5%BA%93%E7%9A%84%E8%AF%9D%EF%BC%8C%E6%88%91%E4%BB%AC%E5%8F%AF%E4%BB%A5%E6%8F%90%E4%BE%9B1000+%EF%BC%89%EF%BC%8C%E5%8F%AF%E4%BB%A5%E9%80%9A%E8%BF%87API%E6%8E%A5%E5%8F%A3%E5%AE%9E%E7%8E%B0%E5%90%84%E7%A7%8D%E6%B5%8F%E8%A7%88%E5%99%A8%E7%9A%84%E9%87%87%E9%9B%86%E6%A8%A1%E6%8B%9F%E3%80%82