网络爬虫——WebMagic详解(一)

ゝ一纸荒年。 2023-10-13 22:46 2阅读 0赞

#### 目录 ####

*   *  1、WebMagic概览
     *   *  1.1、设计思想
         *  1.2、总体架构
         *   *  1.2.1、WebMagic的四个组件
             *  1.2.2、用于数据流转的对象
             *  1.2.3、控制爬虫运转的引擎——Spider
         *  1.3、项目组成
         *   *  1.3.1、主要部分
             *  1.3.2、外围功能
     *  2、快速开始
     *   *  2.1、使用Maven
         *  2.2、不使用Maven
         *  2.3、第一个爬虫项目
     *  3、编写基本的爬虫
     *   *  3.1、实现PageProcessor
         *   *  3.1.1、爬虫的配置
             *  3.1.2、页面元素的抽取
             *  3.1.3、链接的发现
         *  3.2、使用Selectable抽取元素
         *   *  3.2.1、抽取部分API
             *  3.2.2、获取结果的API
         *  3.3、使用Pipeline保存结果
         *  3.4、爬虫的配置、启动和终止
         *   *  3.4.1、Spider
             *  3.4.2、Site
         *  3.5、Jsoup和Xsoup
         *   *  3.5.1、Jsoup
             *  3.5.2、Xsoup
             *  3.5.3、Saxon
         *  3.6、爬虫的监控
         *   *  3.6.1、为项目添加监控
             *  3.6.2、查看监控信息
         *  3.7、配置代理
         *  3.8、处理非HTTP GET请求

### 1、WebMagic概览 ###

WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。

这部分提供非常简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。

扩展部分(webmagic-extension)提供一些便捷的功能，例如注解模式编写爬虫等。同时内置了一些常用的组件，便于爬虫开发。

#### 1.1、设计思想 ####

一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优秀的爬虫Scrapy，而实现则应用了HttpClient、Jsoup等Java世界最成熟的工具，目标就是做一个Java语言Web爬虫的教科书般的实现。

如果你是爬虫开发老手，那么WebMagic会非常容易上手，它几乎使用Java原生的开发方式，只不过提供了一些模块化的约束，封装一些繁琐的操作，并且提供了一些便捷的功能。

如果你是爬虫开发新手，那么使用并了解WebMagic会让你了解爬虫开发的常用模式、工具链、以及一些问题的处理方式。熟练使用之后，相信自己从头开发一个爬虫也不是什么难事。

因为这个目标，WebMagic的核心非常简单——在这里，功能性是要给简单性让步的。

WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成，核心代码非常简单，主要是将这些组件结合并完成多线程的任务。这意味着，在WebMagic中，你基本上可以对爬虫的功能做任何定制。

#### 1.2、总体架构 ####

WebMagic的结构分为`Downloader`、`PageProcessor`、`Scheduler`、`Pipeline`四大组件，并由Spider将它们彼此组织起来。这四大组件对应爬虫生命周期中的下载、处理、管理和持久化等功能。WebMagic的设计参考了Scapy，但是实现方式更Java化一些。

而Spider则将这几个组件组织起来，让它们可以互相交互，流程化的执行，可以认为Spider是一个大的容器，它也是WebMagic逻辑的核心。

WebMagic总体架构图如下：  
![在这里插入图片描述][60ce25a66fff44a2a77ad599790d1e07.png]

##### 1.2.1、WebMagic的四个组件 #####

1.  Downloader  
    Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。
2.  PageProcessor  
    PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具，并基于其开发了解析XPath的工具Xsoup。  
    在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。
3.  Scheduler  
    Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。  
    除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。
4.  Pipeline  
    Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。  
    Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

##### 1.2.2、用于数据流转的对象 #####

1.  Request  
    Request是对URL地址的一层封装，一个Request对应一个URL地址。  
    它是PageProcessor与Downloader交互的载体，也是PageProcessor控制Downloader唯一方式。  
    除了URL本身外，它还包含一个Key-Value结构的字段extra。你可以在extra中保存一些特殊的属性，然后在其他地方读取，以完成不同的功能。例如附加上一个页面的一些信息等。
2.  Page  
    Page代表了从Downloader下载到的一个页面——可能是HTML，也可能是JSON或者其他文本格式的内容。  
    Page是WebMagic抽取过程的核心对象，它提供一些方法可供抽取、结果保存等。
3.  ResultItems  
    ResultItems相当于一个Map，它保存PageProcessor处理的结果，供Pipeline使用。它的API与Map很类似，值得注意的是它有一个字段skip，若设置为true，则不应被Pipeline处理。

##### 1.2.3、控制爬虫运转的引擎——Spider #####

Spider是WebMagic内部流程的核心。Downloader、PageProcessor、Scheduler、Pipeline都是Spider的一个属性，这些属性是可以自由设置的，通过设置这个属性可以实现不同的功能。Spider也是WebMagic操作的入口，它封装了爬虫的创建、启动、停止、多线程等功能。下面是一个设置各个组件，并且设置多线程和启动的例子。

public static void main(String[] args) {
        
        Spider.create(new GithubRepoPageProcessor())
                //从https://github.com/code4craft开始抓    
                .addUrl("https://github.com/code4craft")
                //设置Scheduler，使用Redis来管理URL队列
                .setScheduler(new RedisScheduler("localhost"))
                //设置Pipeline，将结果以json方式保存到文件
                .addPipeline(new JsonFilePipeline("D:\\data\\webmagic"))
                //开启5个线程同时执行
                .thread(5)
                //启动爬虫
                .run();
    }

#### 1.3、项目组成 ####

WebMagic项目代码包括几个部分，在根目录下以不同目录名分开。它们都是独立的Maven项目。

##### 1.3.1、主要部分 #####

WebMagic主要包括两个包，这两个包经过广泛实用，已经比较成熟：

*  webmagic-core  
    webmagic-core是WebMagic核心部分，只包含爬虫基本模块和基本抽取器。WebMagic-core的目标是成为网页爬虫的一个教科书般的实现。
 *  webmagic-extension  
    webmagic-extension是WebMagic的主要扩展模块，提供一些更方便的编写爬虫的工具。包括注解格式定义爬虫、JSON、分布式等支持。

##### 1.3.2、外围功能 #####

除此之外，WebMagic项目里还有几个包，这些都是一些实验性的功能，目的只是提供一些与外围工具整合的样例。因为精力有限，这些包没有经过广泛的使用和测试，推荐使用方式是自行下载源码，遇到问题后再修改。

*  webmagic-samples  
    这里是作者早期编写的一些爬虫的例子。因为时间有限，这些例子有些使用的仍然是老版本的API，也可能有一些因为目标页面的结构变化不再可用了。最新的、精选过的例子，请看webmaigc-core的us.codecraft.webmagic.processor.example包和webmaigc-core的us.codecraft.webmagic.example包。
 *  webmagic-scripts  
    WebMagic对于爬虫规则脚本化的一些尝试，目标是让开发者脱离Java语言，来进行简单、快速的开发。同时强调脚本的共享。
 *  webmagic-selenium  
    WebmMgic与Selenium结合的模块。Selenium是一个模拟浏览器进行页面渲染的工具，WebMagic依赖Selenium进行动态页面的抓取。
 *  webmagic-saxon  
    WebMagic与Saxon结合的模块。Saxon是一个XPath、XSLT的解析工具，webmagic依赖Saxon来进行XPath2.0语法解析支持。

### 2、快速开始 ###

WebMagic主要包含两个jar包：webmagic-core-\{version\}.jar和webmagic-extension-\{version\}.jar。在项目中添加这两个包的依赖，即可使用WebMagic。

WebMagic默认使用Maven管理依赖，但是你也可以不依赖Maven进行使用。

#### 2.1、使用Maven ####

WebMagic基于Maven进行构建，推荐使用Maven来安装WebMagic。在你自己的项目（已有项目或者新建一个）中添加以下坐标即可：

<dependency>
        <groupId>us.codecraft</groupId>
        <artifactId>webmagic-core</artifactId>
        <version>0.7.3</version>
    </dependency>
    <dependency>
        <groupId>us.codecraft</groupId>
        <artifactId>webmagic-extension</artifactId>
        <version>0.7.3</version>
    </dependency>

WebMagic使用slf4j-log4j12作为slf4j的实现.如果你自己定制了slf4j的实现，请在项目中去掉此依赖。

<dependency>
        <groupId>us.codecraft</groupId>
        <artifactId>webmagic-extension</artifactId>
        <version>0.7.3</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

#### 2.2、不使用Maven ####

不使用maven的用户，可以去[http://webmagic.io][http_webmagic.io]中下载最新的jar包，下载之后进行解压，然后在项目中import即可。

#### 2.3、第一个爬虫项目 ####

public class GithubRepePageProcessor implements PageProcessor {
        
    
        private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
    
    
        public void process(Page page) {
        
            page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
            page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
            page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
            if (page.getResultItems().get("name")==null){
        
                //skip this page
                page.setSkip(true);
            }
            page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
    
        }
    
        public Site getSite() {
        
            return site;
        }
    
        public static void main(String[] args) {
        
            Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(5).run();
        }
    }

### 3、编写基本的爬虫 ###

在WebMagic里，实现一个基本的爬虫只需要编写一个类，实现PageProcessor接口即可。这个类基本上包含了抓取一个网站，你需要写的所有代码。

同时这部分还会介绍如何使用WebMagic的抽取API，以及最常见的抓取结果保存的问题。

#### 3.1、实现PageProcessor ####

这部分我们直接通过GithubRepoPageProcessor这个例子来介绍PageProcessor的编写方式。我将PageProcessor的定制分为三个部分，分别是爬虫的配置、页面元素的抽取和链接的发现。

public class GithubRepePageProcessor implements PageProcessor {
        
    
        // 部分一：抓取网站的相关配置，包括编码、抓取间隔、重试次数等
        private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
    
        // process是定制爬虫逻辑的核心接口，在这里编写抽取逻辑
        public void process(Page page) {
        
            // 部分二：定义如何抽取页面信息，并保存下来
            page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
            page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
            if (page.getResultItems().get("name")==null){
        
                //skip this page
                page.setSkip(true);
            }
            page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));
            // 部分三：从页面发现后续的url地址来抓取
            page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/[\\w\\-]+/[\\w\\-]+)").all());
        }
    
        public Site getSite() {
        
            return site;
        }
    
        public static void main(String[] args) {
        
            Spider.create(new GithubRepoPageProcessor())
                    //从"https://github.com/code4craft"开始抓
                    .addUrl("https://github.com/code4craft")
                    //开启5个线程抓取
                    .thread(5)
                    //启动爬虫
                    .run();
        }
    }

##### 3.1.1、爬虫的配置 #####

第一部分关于爬虫的配置，包括编码、抓取间隔、超时时间、重试次数等，也包括一些模拟的参数，例如User Agent、cookie，以及代理的设置，我们会在第4部分-“爬虫的配置”里进行介绍。在这里我们先简单设置一下：重试次数为3次，抓取间隔为一秒。

##### 3.1.2、页面元素的抽取 #####

第二部分是爬虫的核心部分：对于下载到的Html页面，你如何从中抽取到你想要的信息？WebMagic里主要使用了三种抽取技术：XPath、正则表达式和CSS选择器。另外，对于JSON格式的内容，可使用JsonPath进行解析。

1.  XPath

XPath本来是用于XML中获取元素的一种查询语言，但是用于Html也是比较方便的。例如：

page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()")

这段代码使用了XPath，它的意思是“查找所有class属性为’entry-title public’的h1元素，并找到他的strong子节点的a子节点，并提取a节点的文本信息”。

1.  CSS选择器

CSS选择器是与XPath类似的语言。如果大家做过前端开发，肯定知道$(‘h1.entry-title’)这种写法的含义。客观的说，它比XPath写起来要简单一些，但是如果写复杂一点的抽取规则，就相对要麻烦一点。

1.  正则表达式

正则表达式则是一种通用的文本抽取语言。

page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());

这段代码就用到了正则表达式，它表示匹配所有`"https://github.com/code4craft/webmagic"`这样的链接。

##### 3.1.3、链接的发现 #####

有了处理页面的逻辑，我们的爬虫就接近完工了！

但是现在还有一个问题：一个站点的页面是很多的，一开始我们不可能全部列举出来，于是如何发现后续的链接，是一个爬虫不可缺少的一部分。

page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());

这段代码的分为两部分，`page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all()`用于获取所有满足"`(https:/ /github\.com/\w+/\w+)`"这个正则表达式的链接，`page.addTargetRequests()`则将这些链接加入到待抓取的队列中去。

#### 3.2、使用Selectable抽取元素 ####

Selectable相关的抽取元素链式API是WebMagic的一个核心功能。使用Selectable接口，你可以直接完成页面元素的链式抽取，也无需去关心抽取的细节。

在刚才的例子中可以看到，page.getHtml()返回的是一个Html对象，它实现了Selectable接口。这个接口包含一些重要的方法，我将它分为两类：抽取部分和获取结果部分。

##### 3.2.1、抽取部分API #####

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>xpath(String xpath)</td> 
   <td>使用XPath选择</td> 
   <td>html.xpath("//div[@class='title']")</td> 
  </tr> 
  <tr> 
   <td>$(String selector)</td> 
   <td>使用Css选择器选择</td> 
   <td>html.$("div.title")</td> 
  </tr> 
  <tr> 
   <td>$(String selector,String attr)</td> 
   <td>使用Css选择器选择</td> 
   <td>html.$("div.title","text")</td> 
  </tr> 
  <tr> 
   <td>css(String selector)</td> 
   <td>功能同$()，使用Css选择器选择</td> 
   <td>html.css("div.title")</td> 
  </tr> 
  <tr> 
   <td>links()</td> 
   <td>选择所有链接</td> 
   <td>html.links()</td> 
  </tr> 
  <tr> 
   <td>regex(String regex)</td> 
   <td>使用正则表达式抽取</td> 
   <td>html.regex("\</td> 
  </tr> 
 </tbody> 
</table>

这部分抽取API返回的都是一个Selectable接口，意思是说，抽取是支持链式调用的。下面用一个实例来讲解链式API的使用。

例如，现在要抓取github上所有的Java项目，这些项目可以在[https://github.com/search?l=Java&p=1&q=stars%3A%3E1&s=stars&type=Repositories][https_github.com_search_l_Java_p_1_q_stars_3A_3E1_s_stars_type_Repositories]搜索结果中看到。

可以先用CSS选择器提取出这个div，然后在取到所有的链接。为了保险起见，我再使用正则表达式限定一下提取出的URL的格式，那么最终的写法是这样子的：

List<String> urls = page.getHtml().css("div.pagination").links().regex(".*/search/\?l=java.*").all();

然后，我们可以把这些URL加到抓取列表中去：

List<String> urls = page.getHtml().css("div.pagination").links().regex(".*/search/\?l=java.*").all();
    page.addTargetRequests(urls);

##### 3.2.2、获取结果的API #####

当链式调用结束时，我们一般都想要拿到一个字符串类型的结果。这时候就需要用到获取结果的API了。我们知道，一条抽取规则，无论是XPath、CSS选择器或者正则表达式，总有可能抽取到多条元素。WebMagic对这些进行了统一，你可以通过不同的API获取到一个或者多个元素。

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>get()</td> 
   <td>返回一条String类型的结果</td> 
   <td>String link= html.links().get()</td> 
  </tr> 
  <tr> 
   <td>toString()</td> 
   <td>功能同get()，返回一条String类型的结果</td> 
   <td>String link= html.links().toString()</td> 
  </tr> 
  <tr> 
   <td>all()</td> 
   <td>返回所有抽取结果</td> 
   <td>List links= html.links().all()</td> 
  </tr> 
  <tr> 
   <td>match()</td> 
   <td>是否有匹配结果</td> 
   <td>if (html.links().match()){ xxx; }</td> 
  </tr> 
 </tbody> 
</table>

例如，我们知道页面只会有一条结果，那么可以使用selectable.get()或者selectable.toString()拿到这条结果。

这里selectable.toString()采用了toString()这个接口，是为了在输出以及和一些框架结合的时候，更加方便。因为一般情况下，我们都只需要选择一个元素！

selectable.all()则会获取到所有元素。

#### 3.3、使用Pipeline保存结果 ####

WebMagic用于保存结果的组件叫做Pipeline。例如我们通过“控制台输出结果”这件事也是通过一个内置的Pipeline完成的，它叫做ConsolePipeline。那么，我现在想要把结果用Json的格式保存下来，怎么做呢？我只需要将Pipeline的实现换成"JsonFilePipeline"就可以了。

public static void main(String[] args) {
        
        Spider.create(new GithubRepoPageProcessor())
                //从"https://github.com/code4craft"开始抓
                .addUrl("https://github.com/code4craft")
                .addPipeline(new JsonFilePipeline("D:\\webmagic\\"))
                //开启5个线程抓取
                .thread(5)
                //启动爬虫
                .run();
    }

这样子下载下来的文件就会保存在D盘的webmagic目录中了。

#### 3.4、爬虫的配置、启动和终止 ####

##### 3.4.1、Spider #####

Spider是爬虫启动的入口。在启动爬虫之前，我们需要使用一个PageProcessor创建一个Spider对象，然后使用run()进行启动。同时Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置。

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>create(PageProcessor)</td> 
   <td>创建Spider</td> 
   <td>Spider.create(new GithubRepoProcessor())</td> 
  </tr> 
  <tr> 
   <td>addUrl(String…)</td> 
   <td>添加初始的URL</td> 
   <td>spider .addUrl("<a href="http://webmagic.io/docs/" rel="nofollow">http://webmagic.io/docs/</a>")</td> 
  </tr> 
  <tr> 
   <td>addRequest(Request...)</td> 
   <td>添加初始的Request</td> 
   <td>spider .addRequest("<a href="http://webmagic.io/docs/" rel="nofollow">http://webmagic.io/docs/</a>")</td> 
  </tr> 
  <tr> 
   <td>thread(n)</td> 
   <td>开启n个线程</td> 
   <td>spider.thread(5)</td> 
  </tr> 
  <tr> 
   <td>run()</td> 
   <td>启动，会阻塞当前线程执行</td> 
   <td>spider.run()</td> 
  </tr> 
  <tr> 
   <td>start()/runAsync()</td> 
   <td>异步启动，当前线程继续执行</td> 
   <td>spider.start()</td> 
  </tr> 
  <tr> 
   <td>stop()</td> 
   <td>停止爬虫</td> 
   <td>spider.stop()</td> 
  </tr> 
  <tr> 
   <td>test(String)</td> 
   <td>抓取一个页面进行测试</td> 
   <td>spider .test("<a href="http://webmagic.io/docs/" rel="nofollow">http://webmagic.io/docs/</a>")</td> 
  </tr> 
  <tr> 
   <td>addPipeline(Pipeline)</td> 
   <td>添加一个Pipeline，一个Spider可以有多个Pipeline</td> 
   <td>spider .addPipeline(new ConsolePipeline())</td> 
  </tr> 
  <tr> 
   <td>setScheduler(Scheduler)</td> 
   <td>设置Scheduler，一个Spider只能有个一个Scheduler</td> 
   <td>spider.setScheduler(new RedisScheduler())</td> 
  </tr> 
  <tr> 
   <td>setDownloader(Downloader)</td> 
   <td>设置Downloader，一个Spider只能有个一个Downloader</td> 
   <td>spider .setDownloader(new SeleniumDownloader())</td> 
  </tr> 
  <tr> 
   <td>get(String)</td> 
   <td>同步调用，并直接取得结果</td> 
   <td>ResultItems result = spider .get("<a href="http://webmagic.io/docs/" rel="nofollow">http://webmagic.io/docs/</a>")</td> 
  </tr> 
  <tr> 
   <td>getAll(String…)</td> 
   <td>同步调用，并直接取得一堆结果</td> 
   <td>List&lt;ResultItems&gt; results = spider .getAll("<a href="http://webmagic.io/docs/" rel="nofollow">http://webmagic.io/docs/</a>", "<a href="http://webmagic.io/xxx" rel="nofollow">http://webmagic.io/xxx</a>")</td> 
  </tr> 
 </tbody> 
</table>

##### 3.4.2、Site #####

对站点本身的一些配置信息，例如编码、HTTP头、超时时间、重试策略等、代理等，都可以通过设置Site对象来进行配置。

<table> 
 <thead> 
  <tr> 
   <th>方法</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>setCharset(String)</td> 
   <td>设置编码</td> 
   <td>site.setCharset("utf-8")</td> 
  </tr> 
  <tr> 
   <td>setUserAgent(String)</td> 
   <td>设置UserAgent</td> 
   <td>site.setUserAgent("Spider")</td> 
  </tr> 
  <tr> 
   <td>setTimeOut(int)</td> 
   <td>设置超时时间，单位是毫秒</td> 
   <td>site.setTimeOut(3000)</td> 
  </tr> 
  <tr> 
   <td>setRetryTimes(int)</td> 
   <td>设置重试次数</td> 
   <td>site.setRetryTimes(3)</td> 
  </tr> 
  <tr> 
   <td>setCycleRetryTimes(int)</td> 
   <td>设置循环重试次数</td> 
   <td>site.setCycleRetryTimes(3)</td> 
  </tr> 
  <tr> 
   <td>addCookie(String,String)</td> 
   <td>添加一条cookie</td> 
   <td>site.addCookie("dotcomt_user","code4craft")</td> 
  </tr> 
  <tr> 
   <td>setDomain(String)</td> 
   <td>设置域名，需设置域名后，addCookie才可生效</td> 
   <td>site.setDomain("github.com")</td> 
  </tr> 
  <tr> 
   <td>addHeader(String,String)</td> 
   <td>添加一条addHeader</td> 
   <td>site.addHeader("Referer","<a href="https://github.com" rel="nofollow">https://github.com</a>")</td> 
  </tr> 
  <tr> 
   <td>setHttpProxy(HttpHost)</td> 
   <td>设置Http代理</td> 
   <td>site.setHttpProxy(new HttpHost("127.0.0.1",8080))</td> 
  </tr> 
 </tbody> 
</table>

其中循环重试cycleRetry是0.3.0版本加入的机制。  
该机制会将下载失败的url重新放入队列尾部重试，直到达到重试次数，以保证不因为某些网络原因漏抓页面。

#### 3.5、Jsoup和Xsoup ####

##### 3.5.1、Jsoup #####

Jsoup是一个简单的HTML解析器，同时它支持使用CSS选择器的方式查找元素。

##### 3.5.2、Xsoup #####

之前WebMagic使用的解析器是HtmlCleaner，使用过程存在一些问题。主要问题是XPath出错定位不准确，并且其不太合理的代码结构，也难以进行定制。  
Xsoup发展到现在，已经支持爬虫常用的语法，以下是一些已支持的语法对照表：

<table> 
 <tbody> 
  <tr> 
   <td>Name</td> 
   <td>Expression</td> 
   <td>Support</td> 
  </tr> 
  <tr> 
   <td>nodename</td> 
   <td>nodename</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>immediate parent</td> 
   <td>/</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>parent</td> 
   <td>//</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>attribute</td> 
   <td>[@key=value]</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>nth child</td> 
   <td>tag[n]</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>attribute</td> 
   <td>/@key</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>wildcard in tagname</td> 
   <td>/*</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>wildcard in attribute</td> 
   <td>/[@*]</td> 
   <td>yes</td> 
  </tr> 
  <tr> 
   <td>function</td> 
   <td>function()</td> 
   <td>part</td> 
  </tr> 
  <tr> 
   <td>or</td> 
   <td>a | b</td> 
   <td>yes since 0.2.0</td> 
  </tr> 
  <tr> 
   <td>parent in path</td> 
   <td>. or ..</td> 
   <td>no</td> 
  </tr> 
  <tr> 
   <td>predicates</td> 
   <td>price&gt;35</td> 
   <td>no</td> 
  </tr> 
  <tr> 
   <td>predicates logic</td> 
   <td>@class=a or @class=b</td> 
   <td>yes since 0.2.0</td> 
  </tr> 
 </tbody> 
</table>

特有Xpath函数：

<table> 
 <thead> 
  <tr> 
   <th>Expression</th> 
   <th>Description</th> 
   <th>XPath1.0</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>text(n)</td> 
   <td>第n个直接文本子节点，为0表示所有</td> 
   <td>text() only</td> 
  </tr> 
  <tr> 
   <td>allText()</td> 
   <td>所有的直接和间接文本子节点</td> 
   <td>not support</td> 
  </tr> 
  <tr> 
   <td>tidyText()</td> 
   <td>所有的直接和间接文本子节点，并将一些标签替换为换行，使纯文本显示更整洁</td> 
   <td>not support</td> 
  </tr> 
  <tr> 
   <td>html()</td> 
   <td>内部html，不包括标签的html本身</td> 
   <td>not support</td> 
  </tr> 
  <tr> 
   <td>outerHtml()</td> 
   <td>内部html，包括标签的html本身</td> 
   <td>not support</td> 
  </tr> 
  <tr> 
   <td>regex(@attr,expr,group)</td> 
   <td>这里@attr和group均可选，默认是group0</td> 
   <td>not support</td> 
  </tr> 
 </tbody> 
</table>

##### 3.5.3、Saxon #####

Saxon是一个强大的XPath解析器，支持XPath 2.0语法。webmagic-saxon是对Saxon尝试性的一个整合，但是目前看来，XPath 2.0的高级语法，似乎在爬虫开发中使用者并不多。

#### 3.6、爬虫的监控 ####

爬虫的监控是0.5.0新增的功能。利用这个功能，你可以查看爬虫的执行情况——已经下载了多少页面、还有多少页面、启动了多少线程等信息。该功能通过JMX实现，你可以使用Jconsole等JMX工具查看本地或者远程的爬虫信息。

注意: 如果你自己定义了Scheduler，那么需要用这个类实现MonitorableScheduler接口，才能查看“LeftPageCount”和“TotalPageCount”这两条信息。

##### 3.6.1、为项目添加监控 #####

添加监控非常简单，获取一个SpiderMonitor的单例SpiderMonitor.instance()，并将你想要监控的Spider注册进去即可。你可以注册多个Spider到SpiderMonitor中。

public class MonitorExample {
        
    
        public static void main(String[] args) throws Exception {
        
    
            Spider oschinaSpider = Spider.create(new OschinaBlogPageProcessor())
                    .addUrl("http://my.oschina.net/flashsword/blog");
            Spider githubSpider = Spider.create(new GithubRepoPageProcessor())
                    .addUrl("https://github.com/code4craft");
    
            SpiderMonitor.instance().register(oschinaSpider);
            SpiderMonitor.instance().register(githubSpider);
            oschinaSpider.start();
            githubSpider.start();
        }
    }

##### 3.6.2、查看监控信息 #####

WebMagic的监控使用JMX提供控制，你可以使用任何支持JMX的客户端来进行连接。我们这里以JDK自带的JConsole为例。我们首先启动WebMagic的一个Spider，并添加监控代码。然后我们通过JConsole来进行查看。

#### 3.7、配置代理 ####

从0.7.1版本开始，WebMagic开始使用了新的代理APIProxyProvider。因为相对于Site的“配置”，ProxyProvider定位更多是一个“组件”，所以代理不再从Site设置，而是由HttpClientDownloader设置。

<table> 
 <thead> 
  <tr> 
   <th>API</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HttpClientDownloader.setProxyProvider(ProxyProvider proxyProvider)</td> 
   <td>设置代理</td> 
  </tr> 
 </tbody> 
</table>

ProxyProvider有一个默认实现：SimpleProxyProvider。它是一个基于简单Round-Robin的、没有失败检查的ProxyProvider。可以配置任意个候选代理，每次会按顺序挑选一个代理使用。它适合用在自己搭建的比较稳定的代理的场景。

代理示例：

1.  设置单一的普通HTTP代理为101.101.101.101的8888端口，并设置密码为"username",“password”

HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
        httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(new Proxy("101.101.101.101",8888,"username","password")));
        spider.setDownloader(httpClientDownloader);

1.  设置代理池，其中包括101.101.101.101和102.102.102.102两个IP，没有密码

HttpClientDownloader httpClientDownloader = new HttpClientDownloader();
        httpClientDownloader.setProxyProvider(SimpleProxyProvider.from(
        new Proxy("101.101.101.101",8888)
        ,new Proxy("102.102.102.102",8888)));

#### 3.8、处理非HTTP GET请求 ####

一般来说，爬虫只会抓取信息展示类的页面，所以基本只会处理HTTP GET方法的数据。但是对于某些场景，模拟POST等方法也是需要的。

0.7.1版本之后，废弃了老的nameValuePair的写法，采用在Request对象上添加Method和requestBody来实现。

Request request = new Request("http://xxx/path");
    request.setMethod(HttpConstant.Method.POST);
    request.setRequestBody(HttpRequestBody.json("{'id':1}","utf-8"));

HttpRequestBody内置了几种初始化方式，支持最常见的表单提交、json提交等方式。

<table> 
 <thead> 
  <tr> 
   <th>API</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HttpRequestBody.form(Map\</td> 
  </tr> 
 </tbody> 
</table>

POST的去重：

从0.7.1版本开始，POST默认不会去重，详情见：Issue 484。如果想要去重可以自己继承DuplicateRemovedScheduler，重写push方法。

[60ce25a66fff44a2a77ad599790d1e07.png]: https://img-blog.csdnimg.cn/60ce25a66fff44a2a77ad599790d1e07.png
[http_webmagic.io]: http://webmagic.io
[https_github.com_search_l_Java_p_1_q_stars_3A_3E1_s_stars_type_Repositories]: https://github.com/search?l=Java&p=1&q=stars:%3E1&s=stars&type=Repositories