爬虫扩展——爬虫与反爬虫的恩怨情仇

短命女 2023-09-29 12:10 15阅读 0赞

**目录**

一. 爬虫与防爬的斗争与环境

二. 斗争的过程与发展

总结

爬虫文章专栏

--------------------

## 一. 爬虫与防爬的斗争与环境 ##

>  相信进行过爬虫的朋友都有感觉，想要得到自己想要的东西和结果，仅仅掌握爬虫是不够的，重要的是对抗反爬，今天我们就来讨论下爬虫与反爬虫的对抗。

>  在讨论之前，有几个概念需要我们先明白： 
> 
>  *  **爬虫**：自动获取网站数据的程序，关键是**批量的获取**。（仅获取几条数据严格来说并不是爬虫） 
>  *  **反爬虫**：使用技术手段防止爬虫程序的方法 
>  *  **误伤**：反爬技术将普通用户识别为爬虫，从而限制其访问，如果误伤过高，反爬效果 
>  *  再好也不能使用（例如封 ip，只会限制 ip 在某段时间内不能访问） 
>  *  **成本**：反爬虫需要的人力和机器成本 
>  *  **拦截**：成功拦截爬虫，一般拦截率越高，误伤率越高

--------------------

## 二. 斗争的过程与发展 ##

**第一场**

>  *  爬虫：对网站的数据感兴趣，着手分析网络请求，用 Scrapy 写爬虫爬取网站数据；
>  *  网站：后台监控发现请求中的 User-Agent 都是 python，直接限制访问（不能封ip）；

**第二场**

>  *  爬虫：通过在请求头中传递 User-Agent 参数模拟浏览器请求；
>  *  网站：后台监控发现同一 ip 在某时间段内请求过于频繁，直接限制访问（不能封 ip）；

**第三场**

>  *  爬虫：在原来的基础上，再通过 ip 代理向网站发起请求；
>  *  网站：后台监控发现 ip 发生变化，但某一时间段内的请求量过大，对服务器造成过大压力，网站中某些数据直接要求登录才能访问（例如：新浪微博）；

**第四场**

>  *  爬虫：注册账号，每次请求携带 cookie 或者 token；
>  *  网站：健全账号体系，用户只能访问好友信息，非好友信息不能访问，或只能访问部分信息（例如：Facebook）；

**第五场**

>  *  爬虫：注册多个账号，多个账号联合爬取，设置程序，每个账号每天固定添加好友，但是养号是个相对耗时的过程；
>  *  网站：后台监控发现请求过于频繁，为避免服务器压力过大，进一步加剧 ip 访问频率限制；

**第六场**

>  *  爬虫：模拟人去请求，限制请求速度 
>  *  网站：后台监控到 ip 访问时间段过长，例如一天 24 小时都在有规律地请求，弹出验证码

**第七场**

>  *  爬虫：通过各种手段识别验证码（建议使用云打码，自己去研究识别验证码太费时，时效性也太差） 
>  *  网站：增加动态网站，数据通过 js 动态加载，增加网络分析复杂度，或者发现大量请求时只请求 html，而不请求 image 和 css 以及 js，亦或者直接返回假数据给爬虫

**第八场**

>  *  爬虫：通过 selenium 和 phantomjs（无界面浏览器）完全模拟浏览器操作 
>  *  网站：还有完没完了，成本太高了，我先暂时放弃吧，等我有钱了，或者等我找到了新技术再来解决你

--------------------

## 总结 ##

这就是目前爬虫与防爬的大概发展，但是，游戏并没有结束，爬虫与反爬虫一直在对抗，一直在互相进步。正因为有对抗，技术才会飞跃发展。有些网站不是做不出反爬技术，而是他们需要衡量所付出的成本与获得的利益是否匹配，没有两全其美的方案，只是在中间寻求一个平衡而已~~

欢迎大家留言一起讨论问题~~~

--------------------

**注：本文是参考风变编程课程资料（已经授权）及部分百度资料整理所得，系博主个人整理知识的文章，如有侵权，请联系博主，感谢~**

--------------------

## **爬虫文章专栏** ##

[https://blog.csdn.net/weixin\_53919192/category\_11748211.html![icon-default.png?t=M3K6][icon-default.png_t_M3K6]https://blog.csdn.net/weixin\_53919192/category\_11748211.html][https_blog.csdn.net_weixin_53919192_category_11748211.html_icon-default.png_t_M3K6_icon-default.png_t_M3K6_https_blog.csdn.net_weixin_53919192_category_11748211.html]

[icon-default.png_t_M3K6]: https://csdnimg.cn/release/blog_editor_html/release2.1.0/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M3K6
[https_blog.csdn.net_weixin_53919192_category_11748211.html_icon-default.png_t_M3K6_icon-default.png_t_M3K6_https_blog.csdn.net_weixin_53919192_category_11748211.html]: https://blog.csdn.net/weixin_53919192/category_11748211.html