第二章--网络爬虫实现原理和实现技术

我就是我 2022-04-17 07:00 219阅读 0赞

### 文章目录 ###

*   *  网络爬虫实现原理详解
     *  爬行策略
     *  网页更新策略
     *  网页分析算法
     *  身份识别

## 网络爬虫实现原理详解 ##

通用网络爬虫：

1.  获取初始的URL；
2.  根据初始的URL爬取页面并获得新的URL，将网页存储到原始数据库，并发现新的URL；
3.  将新的URL放到URL队列中，并依据新的URL爬取网页，同时从新网页中获取新的URL，并重复上述的爬取过程；
4.  满足爬虫系统设置的停止条件时，停止爬 取；

聚焦网络爬虫：  
之前在第一章已经写过了，其实就是比上面的通用网络爬虫加了链接评价手段和内容评价手段；

## 爬行策略 ##

在网络爬虫爬取的过程中，在待爬取的URL列表中，可能有很多URL地址，那么爬虫应该先爬哪个呢？  
目前的爬行策略主要有深度优先爬行策略、广度优先爬行策略、大站优先策略、反链策略、其他爬行策略等。下面我们将分别进行介绍：  
深度优先爬行策略：网络爬虫首先会爬取一个网页，然后将这个网页的下层链接依次深入爬完再返回上一层进行爬取。  
广度优先爬行策略：网络爬虫首先会爬取同一层次的网页，将同一层次的网页爬取完之后然后选择下一层次的网页进行爬取。  
大站爬行策略：我们可以按对应网页所属的站点进行归类，如果某个网站的网页数量很多，我们则将其称之为大站。优先爬取大站中的网页URL地址。  
反链策略：一个网页的反向链接数指的是该网页被其他网页指向的次数，这些次数在一定程度上代表了被其他网页推荐的次数。按照反链策略的话，网络爬虫再爬取的过程中优先爬取那些反链次数多的网页，但是也会有一些问题就是这些反链是可以通过垃圾网站刷次数的，所以在选择策略的时候一般会考虑可靠的反链数。

## 网页更新策略 ##

一个网站的网页经常会更新，作为爬虫方我们什么时候去爬取合适呢？  
常见的网页更新策略主要有三种：用户体验策略、历史数据策略、聚类分析策略。

用户体验策略：根据用户的体验信息优先更新排名靠前的网页。  
历史数据策略：根据网页的历史更新数据，通过泊松过程进行建模等手段，预测该网页的下一次更新的时间，从而确定下一次对该网页爬取的时间，即确定更新周期。  
以上两种策略的弊端：

1.  两种策略都需要历史数据作为依据，但是对于一些新网页来说并没有历史数据；
2.  通过对历史数据进行分析，增加了网络爬虫服务器的压力和负担。

聚类分析策略：

1.  首先，经过大量的研究发现，一般来说，具有类似属性的网页其更新频率类似。这是聚类更新策略运用在爬虫网页更新的一个前提指导思想。
2.  对海量的网页进行分类，每个类中的网页都有类似的属性，即一般具有类似的更新频率。
3.  聚类完成之后，我们可以对同一个聚类中的网页进行抽样，然后求该抽样结果的平均更新值，从而确定对每个聚类的爬行频率。

## 网页分析算法 ##

基于用户行为的网页分析算法：依据用户对这些网页的访问行为对这些网页进行评价。  
基于网络拓扑的网页分析算法：这种分析算法是依靠网页的链接关系、结构关系、已知网页或数据等对网页进行分析的一种算法。可以细分为基于网页粒度的分析算法、基于网页块粒度的分析算法、基于网站粒度的分析算法。  
基于网页内容的网页分析算法：根据网页的数据、文本等网页内容特征，对网页进行响应的评价。

## 身份识别 ##

在爬虫对网页爬取的过程中，爬虫必然要访问对应的网页，此时正规的爬虫会告知对应网页的网站站长其爬虫身份。网站的管理员则可以通过爬虫告知的身份信息对爬虫的身份进行识别，我们称之为爬虫的身份识别过程。