【数据采集平台】教程-单页面采集

朱雀 2022-03-19 11:12 530阅读 0赞

# 使用教程——单页面采集 #

## 当前版本 ##

测试版

## 单页面采集 ##

### 功能 ###

采集单个页面。单个页面是指：一个页面中只包含一条采集信息的页面，例如文章详情页面，一个url对应一篇文章信息。

### 使用 ###

打开“配置中心” > “新建爬虫” > “单页面类型” 菜单，进入爬虫配置界面：

![WG9XMoJ.png][]

#### 基本配置： ####

<table> 
 <thead> 
  <tr> 
   <th>项</th> 
   <th>是否必填</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>爬虫名字</td> 
   <td>是</td> 
   <td>任意字符，不可与以有的爬虫名称重复</td> 
   <td>微信文章爬虫</td> 
  </tr> 
  <tr> 
   <td>采集源</td> 
   <td>是</td> 
   <td>采集的网站名称</td> 
   <td>微信</td> 
  </tr> 
  <tr> 
   <td>源页面</td> 
   <td>是</td> 
   <td>要采集的源链接，必须为规范的url</td> 
   <td><a href="https://baidu.com" rel="nofollow">https://baidu.com</a></td> 
  </tr> 
  <tr> 
   <td>匹配开头</td> 
   <td>是</td> 
   <td>以该值开头的链接才会被采集</td> 
   <td><a href="https://baidu.com" rel="nofollow">https://baidu.com</a></td> 
  </tr> 
  <tr> 
   <td>最大采集量</td> 
   <td>是</td> 
   <td>单个爬虫最大支持采集量为10000</td> 
   <td>500</td> 
  </tr> 
  <tr> 
   <td>线程数</td> 
   <td>是</td> 
   <td>一个爬虫所启用的线程数，最大值为3</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>允许JS</td> 
   <td>否</td> 
   <td>启用JS可以采集动态网页，但是采集速度将会变慢，默认不启用</td> 
   <td>不启用</td> 
  </tr> 
  <tr> 
   <td>描述</td> 
   <td>否</td> 
   <td>任意值，对爬虫的表述</td> 
   <td>这是一个微信文章爬虫</td> 
  </tr> 
 </tbody> 
</table>

基本配置完成后，点击“下一步”进行采集规则配置。

#### 配置规则： ####

<table> 
 <thead> 
  <tr> 
   <th>项</th> 
   <th>是否必填</th> 
   <th>说明</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>字段code</td> 
   <td>是</td> 
   <td>采集字段唯一标识，同一个爬虫中的字段code不可重复</td> 
   <td>title</td> 
  </tr> 
  <tr> 
   <td>字段标题</td> 
   <td>是</td> 
   <td>采集字段唯的名称</td> 
   <td>文章标题</td> 
  </tr> 
  <tr> 
   <td>采集规则</td> 
   <td>是</td> 
   <td>采集规则，使用css选择器，很重要。</td> 
   <td>.div &gt; .title</td> 
  </tr> 
  <tr> 
   <td>采集类型</td> 
   <td>是</td> 
   <td>TEXT：采集文本内容，HTML：采集HTML内容，ATTR：采集属性值，当选择ATTR时，下面的属性值必填</td> 
   <td>TEXT</td> 
  </tr> 
  <tr> 
   <td>属性值</td> 
   <td>否</td> 
   <td>当采集类型为ATTR时必填，其他情况不填</td> 
   <td>href</td> 
  </tr> 
  <tr> 
   <td>非空字段</td> 
   <td>否</td> 
   <td>是否为非空字段，若是，则当该字段为空时，数据将不会被保存</td> 
   <td>否</td> 
  </tr> 
  <tr> 
   <td>去重字段</td> 
   <td>否</td> 
   <td>是否是去重字段，若是则会更具该字段进行去重，重复的数据将不会被保存</td> 
   <td>否</td> 
  </tr> 
 </tbody> 
</table>

**采集规则配置说明：**

目前使用css选择器的方式来定位html元素，所以可以使用浏览器自带的检查元素功能来快速找到css选择器路径（以谷歌浏览器为例）

比例如需要采集csdn博客首页的文章：

在需要采集的链接上右键，选择“检查”：

![oLwWVF9.png][]  
然后浏览器自动定位到所选元素，再右键“copy” -> “copy selector”

![在这里插入图片描述][81at8Dz.png]  
在将复制的内容粘贴到“采集规则”输入框即可。

#### 配置完成 ####

采集规则配置完成后，点击“下一步”，选择“保存”或者“启动爬虫”。“保存”将不会启动爬虫，需要在“数据采集” > “状态管理” 中找到刚配置的爬虫，点击“启动”。

[WG9XMoJ.png]: https://i.imgur.com/WG9XMoJ.png
[oLwWVF9.png]: https://i.imgur.com/oLwWVF9.png
[81at8Dz.png]: https://i.imgur.com/81at8Dz.png