隐藏链接反爬虫

客官°小女子只卖身不卖艺 2023-07-24 14:39 11阅读 0赞

### 文章目录 ###

*   *  隐藏链接反爬虫定义
     *   *  详细说明
         *  解决办法
         *  补充说明

## 隐藏链接反爬虫定义 ##

隐藏连接反爬虫指的是在网页中隐藏用于检测爬虫程序得链接手段。被隐藏得链接不会显示在页面中，正常用户无法访问，但是爬虫程序有可能将该链接放入待爬队列，并向该链接发起请求。开发者可以利用这个特点区分正常用户和爬虫程序。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70]

### 详细说明 ###

我们访问某个网站得列表页时，为了拿到详情页得内容，我们需要将列表页得所有url加入到待爬取得队列中，在网页的列表div中加入对应的CSS样式，混入页面不显示的的class属性\{display:none;\}，用来隐藏链接,正常的用户是不会看源码的，更不可能点击到这个链接，只有爬虫程序会获取到，只要客户端向这个隐藏的链接发起请求，就将该客户端视为爬虫，并且拒绝来自该IP的请求。  
![在这里插入图片描述][20200412152824248.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 2]

### 解决办法 ###

由于爬虫工程师在分析网页时通常只需要找到目标数据的元素定位，所以隐藏在标签列表中的特殊超链接并不容易被发现，这其实时利用了爬虫工程师的粗心。隐藏链接这种反爬虫手段很适合网站中的列表页，所以在分析页面的时候一定要小心谨慎。

### 补充说明 ###

因为客户端的IP地址会随着网络的关闭与开启而变化，所以在实际的应用中，为了避免误伤到正常用户，IP的封禁并不会持续很久，正确的做法是在一定时间后解除对客户端IP的封禁。  
![在这里插入图片描述][2020052414383272.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70]: /images/20230528/8ea490f906334e65a6bf4a400d1dd81d.png
[20200412152824248.png]: /images/20230528/01cccbe9e31e45af8e87662bac8c9f17.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 1]: /images/20230528/541b691458dc4c2f948d58055740379a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MDY0Ng_size_16_color_FFFFFF_t_70 2]: /images/20230528/c575d9c9b1134bebb3d5735fb3519bff.png
[2020052414383272.png]: /images/20230528/452b421f48984dd3b907c871f327a55e.png