个人对爬虫框架的一些认知（二）

浅浅的花香味﹌ 2022-04-25 06:36 188阅读 0赞

今天给大家传授一个爬虫框架任务源相对通用的模型：

下面这个我是以mysql数据库为例，以好315网-企业招商信息获取为一个演示效果，其他的数据库和站点按照这个思路走可以了。

![20200513145813856.png][]

大致解释下每个字段所代表的意思和为什么要这么做：

构建这个模型的核心思想就是如何做到请求链接的一个区别标志和去重的一个问题，目前能想到的比较简单实用的就是将url压缩成MD5值存储起来，并把这个32位的MD5值作为唯一索引，相比直接用url的方式要方便检索，因为url字符串的长度不固定，并且还可能超出建立索引的长度，使得实际索引效果失效。另外在匹配校对和反馈更新任务状态的时候以MD5作为对接入口，也可以有效的防止对数据库的误操作，因为基本上只要url不同，产生的MD5值就会不一样的。

这里有一点注意下，就是遇到POST请求的时候，我们需要把url跟post的内容用一个特殊字符串拼接起来存储到这个Url字段上面去，实际请求的时候再自行拆分下即可。**Uid**和**CompanyName**这两个字段针对企查查和天眼查这类型的站点就很实用了，还有**Tab**这个字段标识这类型站点的不同模板名，因为不同的模板请求的方法方式都是不一样的，请求首页和翻页也是不一样的，因为大部分时候我们是需要通过首页的请求结果来判断是否需要翻页和怎么样翻页机制的，我们就可以通过给Tab不同的名称来实现这一点，然后就是我们上面说的**Method**，http请求大体就两种方式，**GET**或者**POST**，我们用这个字段加以区别。**ICount**字段呢，我们可以针对关键词搜索获取列表再获取详情这类型的站点使用，可以很好的记录当前关键词搜索出来的结果数量。至于**IState**这个字段的意思就更容易理解了，我们启动抓取肯定是需要一个状态标识的，以区分哪些是已经抓过的，哪些是成功抓取的，哪些是失败的，而失败的里面又可以以不同的状态来区分这里面的不同的失败情况。**Queue\_time**主要是记录这些任务初始入库的一个时间节点，后续不再轻易变动这个时间，**Done\_time**这个我们可以变动，每次执行完当前这个任务，就可以给它变动下时间滴。

使用这个模型基本上可以满足90%的抓取需求，使得整个爬虫框架体系实现更好的兼容和扩展。

基本上一个功能类+一个模型就可以完成站点的抓取，针对网站的各种异常机制也能做好相应的处理机制。

任务模型的存储可以是数据库也阔以是序列化文件，个人倾向于使用数据库，这样子方便查询统计和扩展。

我个人的话习惯于，任务的状态**IState=0**为启动抓取状态，**IState=1为**成功抓取，其他状态各有标注，具体可以自行定义，我们力求做到每种状态都代表不同的含义，这样子方便我们后续检查数据抓取情况和反映该站点的一个响应机制。

ps：另外针对账号机制的站点，我们有对账号体系的一个模型构建，自然也少不了对代理机制的处理，这两个都会在后续的一个文章中讲到的。

下一章：个人对爬虫框架的一些认知（三）[代理的使用][Link 1]

**    看到这篇文章的小伙伴们，大家有什么好的意见和建议，可以在文章下方留言。**

[20200513145813856.png]: /images/20220126/f042d3c87a1c4a2f8dc39963c122ab76.png
[Link 1]: https://blog.csdn.net/lxb18711871497/article/details/90781647