认识了解爬虫

绝地灬酷狼 2021-11-14 14:54 264阅读 0赞

百度百科的定义：　　爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

网站一般肯定都不喜欢让你爬取。

反爬机制：对应的载体是网站,防止爬虫爬取数据。

反反爬策略：对应的载体是爬虫程序

**常见的反爬机制及应对策略：**

1.校验Headers，查看请求头，是浏览器还是机器，以及对Referer （上级链接）进行检测。（针对策略：对请求头信息进行伪装，封装到requests请求头中）

2.IP限制，限制一个ip地址，短时高频的请求。（针对策略：使用代理IP，更换IP地址。注意ip代理的匿名程度）

3. UA 限制，校验请求头中User-Agent参数。（针对策略：伪装一下）

4.验证码反爬虫或者模拟登陆，通过校验验证码以及用户是否登陆。（针对策略：可使用第三方验证码识别平台识别验证码，使用requests的Session功能，记录cookie，模拟登陆）

5.数据动态加载，把展示数据通过ajax动态请求添加到页面中，防止爬虫程序直接获取。（针对策略：通过抓包工具，网页检查等，对请求url识别和处理，从而获得响应数据）

6.cookie限制，通过校验cookie进行识别爬虫还是浏览器。（针对策略：cookie不常变化的可以手动在请求头中添加cookie参数，cookie经常变化的可以使用Session的对象去发请求，过于麻烦的情况可以使用selenium模块，完全模拟浏览器行为）

爬虫的分类:

> 1.通用爬虫:抓取一整张页面源码内容

> 2.聚焦爬虫:抓取页面中局部的内容

> 3.增量式爬虫:可以监测网站数据更新的情况,抓取网站中最新更新出来的数据

**爬虫的合法性:**

1.干扰了被访问网站的正常运营

2.抓取了收到法律保护的特定类型的数据或信息

**规避违法风险:**

遵守robots协议

优化程序,避免敏感数据

使用传播抓取到的信息时,注意个人隐私等敏感信息.

网站的robots协议:

网站告诉爬虫可以爬取的数据路径。（一般在网站url后直接添加robots.txt查看）

robots协议防君子不防小人，并不能够真正的去防止爬虫程序

转载于:https://www.cnblogs.com/NoteBook3013/p/11108966.html

发表评论取消回复

表情：

评论列表（有 0 条评论，264人围观）

还没有评论，来说两句吧...

相关阅读

相关 [网络爬虫]入门篇-对爬虫的了解

1.利用python-whis库可以查看网站的所有者 import whois print(whois.whois("url")) 2.利用builtwit

水深无声/ 2023年10月13日 19:51/ 0 赞/ 48 阅读

相关 02-认识python爬虫

学习目的了解爬虫，爬虫起源；爬虫是什么专业术语：网络爬虫（又被称为网页蜘蛛，网络机器人）网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者

迈不过友情╰/ 2022年12月08日 14:17/ 0 赞/ 239 阅读

相关 Android初试--了解和认识Android

1.了解Android Android一词本义指“机器人”，是Google于2007年11月5日宣布的基于Linux平台的开源手机操作系统的名称，该平台由操作系统、中间件、用

短命女/ 2022年10月06日 05:47/ 0 赞/ 272 阅读

相关认识React，了解React

一、React简介 1、React是一个用于构建用户界面的JavaScript库。 2、React起源于Facebook的内部项目，用来建设Instagram的网站

偏执的太偏执、/ 2022年09月11日 11:17/ 0 赞/ 197 阅读

相关网络编程 — 端口的认识与了解

端口有过一些黑客攻击方面知识的读者都会知道，其实那些所谓的黑客并不是像人们想象那样从天而降，而是实实在在从您的电脑"大门"

分手后的思念是犯贱/ 2022年06月12日 23:53/ 0 赞/ 561 阅读

相关爬虫入门-01-爬虫基础了解

1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想

柔光的暖阳◎/ 2022年06月06日 12:38/ 0 赞/ 312 阅读

相关 react suspense的认识和了解

react suspense的认识和了解 react suspense见名知意后续版本相关技术背景解决的问题或

超、凢脫俗/ 2022年04月23日 05:50/ 0 赞/ 199 阅读

相关 Java爬虫技术的简单认识

> [Java 从零开始学爬虫（gecco）][Java _gecco] > > [Java爬虫项目实战（一）][Java] > > [爬虫入门手写一个J

朴灿烈づ我的快乐病毒、/ 2022年02月18日 10:31/ 0 赞/ 200 阅读

相关认识了解爬虫

百度百科的定义：　　爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网站一般肯定都不喜欢让你爬取。　　反爬机制：对应的载体是网站,防止爬虫爬取数据。　

绝地灬酷狼/ 2021年11月14日 14:54/ 0 赞/ 265 阅读

相关快速认识网络爬虫与Scrapy网络爬虫框架

本课程为之后Scrapy课程的预先课程,非常简单,主要是为了完全没有基础的小白准备的,如果你已经有了一定的了解那么请跳过该部分问:什么是网络爬虫答:就是从网上下载数据

末蓝、/ 2021年09月30日 04:28/ 0 赞/ 533 阅读