采集利器 - Web Scraper教学及示例

今天药忘吃喽~ 2022-11-24 14:14 187阅读 0赞

### 声明 ###

**本文章是以学习和交流为目的，数据源所有权归属原网站及所有者，严禁利用本文所提流程和数据进行盈利。**

> “砸钉子的方式有很多种，有的时候自己最熟悉的锤子反而会砸到自己”

### 背景 ###

最近接到了一个协助请求，是采集一个网站，传统的“list+content”的页面模式，用PHP或者采集器总会出现各种莫名的问题，基本上到这一步后我都会采用“node+puppteer”来搞，采用自动化测试工具来模拟操作，虽然说是把万能锤子，但是造这个锤子的过程和技术复杂度还是存在的，于是转向之前一直考虑但没有尝试的方向——浏览器插件，基本原理和思路和自动化工具基本一致，不过使目标逻辑与浏览器有更好的契合，感觉比较优雅。  
在查阅资料时，发现了Web Scraper，参照文档和教程将其应用在了目标网站采集上，最终也获得了数据，整个操作流程如果熟悉的话，可以很快的设定好相应规则实施采集，现将流程记录一下。

### 流程 ###

**1. 安装 web scraper**  
如果你掌握科学上网技巧，可以登录chorme网上商店直接搜索进行安装  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70]  
或者百度搜索“web scraper 离线安装包”以获得相关支持，离线安装过程就不再赘述。  
**2. 分析目标站**  
可以看到这是一个典型的列表+内容的显示方式，现在需要将列表和内容页都采集下来，传统的采集思路的话就是用程序将整个列表页拉回来，然后解析其中的超链跳转，再获取其中内容页面。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 2]  
现在来看一下该如何用 web scraper 进行数据采集。  
**3. 设定规则**  
因为采集工具是通用的，至于说怎么采、采那些数据这些规则都需要用户来根据实际情况进行配置，先了解一下web scraper怎么打开和基本页面  
**① 打开工具**  
在目标网页页面打开开发者工具（F11或右键-检查），可以看到工具栏中最后多了一个同名标签页，点击标签页便进入了工具页面  
![在这里插入图片描述][2020080614265297.png]  
**② 新建采集任务**  
采集之前需要先建立一个 Sitemaps，可以把它理解为一个任务，选择 Create new sitemap - Create Sitemap  
![在这里插入图片描述][20200806142826405.png]  
Sitemap name为任务名称，按需创建即可。  
Start URL 为你采集页面，如果是列表+内容模式，建议填写列表页。  
然后 Create Sitemap，一个基本的任务就建立好了。  
![在这里插入图片描述][20200806142915832.png]  
![在这里插入图片描述][20200806143114567.png]

**③ 建立列表页规则**  
点击 Add new selector 用以建立一个选择器，告知插件应该采什么节点，对于这种列表页也存在信息的页面，我们将每一个信息作为一个块，块中包含了各种属性信息，建立方式如下：

##### 需要将 Multiple 选项勾上，该选择可以理解为需要循环获取。 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 3]  
添加完毕后我们该标注信息块中的内容，具体操作方法和上面一致，但是要将该信息的父选择器选为刚才建立好的信息块节点。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 4]  
其余节点数据操作一致，记得选好父节点。  
**④ 检查已建立规则**  
回到首页  
![在这里插入图片描述][20200806144343725.png]  
我们可以看到刚才建立的根节点，点击 Element preview 可以查看选择的节点，点击Data preview可以看到配置好的节点数据，如果为null 请检查前面的操作是否正确。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 5]  
工具提供了查看流程图的功能，可以很好的了解业务流，路径如下  
![在这里插入图片描述][20200806144538313.png]、![在这里插入图片描述][20200806144548293.png]  
点击Sitemap demo - Scrape，进入采集启动页面，配置请求时间，时间不要太短，防止对源站产生不利影响，自主权衡。  
![在这里插入图片描述][20200806144706636.png]  
点击 Start 会弹出采集框，不需要管它，回到工具中，点击 refresh 获取数据  
![在这里插入图片描述][20200806144911104.png]  
至此，列表页采集完毕，下面开始考虑如何采集内容页面。  
**⑤ 内容页规则设计**  
点击列表页时是打开新页面，那么该如何采集数据呢?  
随便打开一个内容页，然后将地址复制回刚才列表页地址栏中访问。  
现在希望插件能模拟操作，规则如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 6]  
Type 这边的话，我们需要选择 Popup Link，看了一些教程都是Link，适用于超链不同的跳转方式，根据需求选择即可。  
现在看一下 graph  
![在这里插入图片描述][20200806145325978.png]  
看到下面建立的 jump 节点后，即为告知工具模拟链接跳转操作进入内容页。  
剩下的就简单了，还是按照前面列表页的节点选择方式，不过此时的父节点应该选择为刚才建立的 jump节点。  
完整节点如下：  
![在这里插入图片描述][2020080614551362.png]  
**⑥ 关于翻页**  
我们不可能直采第一页的内容，对于这个需求，插件也给出方法，即在Start Url中填写page 参数，  
\[1-20\]标识1到20页，按需填写  
![在这里插入图片描述][20200806145641785.png]  
**⑦ 采集**  
Scrap  
![在这里插入图片描述][20200806145755996.png]

**4. 导出数据**  
![在这里插入图片描述][20200806145810669.png]

### 总结 ###

我们在建立节点时，能看到很多类型，这些也是为了更好的适应诸如瀑布流等信息的页面，还有很多的地方没有用，有机会再深入研究。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 7]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70]: /images/20221124/6957f1f613e84f6a996a6fb4dcd56046.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 1]: /images/20221124/0be2c581484f46c1a896921bb7063b26.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 2]: /images/20221124/016e080977884f62b39532a72dc0f4b5.png
[2020080614265297.png]: /images/20221124/5c4df48f62924389a617f7b9a06b55da.png
[20200806142826405.png]: /images/20221124/81013aaeec914682a9f4e7e247701305.png
[20200806142915832.png]: /images/20221124/4a05544ab3054853b645d2ca5da67b55.png
[20200806143114567.png]: /images/20221124/2756940f20d749c6a58822037b1b9d16.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 3]: /images/20221124/b88bec896f994f5d971aa0f705984876.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 4]: /images/20221124/2bcfc1e729fa465e92c11e370b365472.png
[20200806144343725.png]: /images/20221124/0191d577ac6d4663b6b664761d2ca2aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 5]: /images/20221124/7721182ede914c8187e9f393d852edb1.png
[20200806144538313.png]: https://img-blog.csdnimg.cn/20200806144538313.png
[20200806144548293.png]: /images/20221124/ea75991f5f4f4e9fad79b3059cf3bdff.png
[20200806144706636.png]: /images/20221124/5e8be08ac26f427a830f58fb1e441520.png
[20200806144911104.png]: /images/20221124/41c5839cf8e64d88bfdccbf5491758b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 6]: /images/20221124/91f8b7527ffa4fc196208eaed08dbec9.png
[20200806145325978.png]: /images/20221124/d9f5b0b3cee7496fa666e4a0f51006ef.png
[2020080614551362.png]: /images/20221124/da1ef4e562054db4be9073ea430ad2a9.png
[20200806145641785.png]: /images/20221124/e0469f2062b048d1a7a07464f4ed9970.png
[20200806145755996.png]: /images/20221124/85a1993d8c134a1d91bd217b9273d319.png
[20200806145810669.png]: /images/20221124/c253b34f38064e40aac0d568501bfba1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L29adW9ZdTEyMw_size_16_color_FFFFFF_t_70 7]: /images/20221124/664ca82af40442018e52d821413507f2.png