爬虫涉及若干问题

逃离我推掉我的手 2022-06-09 12:24 215阅读 0赞

爬虫涉及若干问题V1.0

<table> 
 <tbody> 
 <tr> 
 <td> 页面数据： 1.&nbsp;&nbsp;&nbsp;&nbsp; 特定数据 2.&nbsp;&nbsp;&nbsp;&nbsp; 结构型数据 3.&nbsp;&nbsp;&nbsp;&nbsp; 不规则数据 4.&nbsp;&nbsp;&nbsp;&nbsp; 待挖掘数据 5.&nbsp;&nbsp;&nbsp;&nbsp; 无价值数据 </td> 
 <td> 请求分类： 1.&nbsp;&nbsp;&nbsp;&nbsp; 模式请求 2.&nbsp;&nbsp;&nbsp;&nbsp; 样例请求 3.&nbsp;&nbsp;&nbsp;&nbsp; 指定请求 </td> 
 </tr> 
 <tr> 
 <td> 反爬： 1.&nbsp;&nbsp;&nbsp;&nbsp; User-Agent 2.&nbsp;&nbsp;&nbsp;&nbsp; Referer 3.&nbsp;&nbsp;&nbsp;&nbsp; X-Requested-With 4.&nbsp;&nbsp;&nbsp;&nbsp; 特殊标识 </td> 
 <td> Cookie： 1.&nbsp;&nbsp;&nbsp;&nbsp; 不可考规则 2.&nbsp;&nbsp;&nbsp;&nbsp; 指定Token </td> 
 </tr> 
 <tr> 
 <td> 请求方式： 1.&nbsp;&nbsp;&nbsp;&nbsp; key-value 2.&nbsp;&nbsp;&nbsp;&nbsp; form 3.&nbsp;&nbsp;&nbsp;&nbsp; json 4.&nbsp;&nbsp;&nbsp;&nbsp; xml 5.&nbsp;&nbsp;&nbsp;&nbsp; dwc(特殊框架) </td> 
 <td> 数据格式： 1.&nbsp;&nbsp;&nbsp;&nbsp; html 2.&nbsp;&nbsp;&nbsp;&nbsp; json 3.&nbsp;&nbsp;&nbsp;&nbsp; xml 4.&nbsp;&nbsp;&nbsp;&nbsp; txt 5.&nbsp;&nbsp;&nbsp;&nbsp; 字节流 6.&nbsp;&nbsp;&nbsp;&nbsp; 加密串 </td> 
 </tr> 
 <tr> 
 <td> 失败分类： 1.&nbsp;&nbsp;&nbsp;&nbsp; 连接超时 2.&nbsp;&nbsp;&nbsp;&nbsp; 403 3.&nbsp;&nbsp;&nbsp;&nbsp; 自然失败 4.&nbsp;&nbsp;&nbsp;&nbsp; 限制失败（短信） </td> 
 <td> 重提策略; 1.&nbsp;&nbsp;&nbsp;&nbsp; 功能重提 2.&nbsp;&nbsp;&nbsp;&nbsp; 事务重提 3.&nbsp;&nbsp;&nbsp;&nbsp; 数据重提 4.&nbsp;&nbsp;&nbsp;&nbsp; 请求重提 </td> 
 </tr> 
 <tr> 
 <td> 麻烦点： 1.&nbsp;&nbsp;&nbsp;&nbsp; 关联请求 顺序规则请求 </td> 
 <td> 异常点： 1.&nbsp;&nbsp;&nbsp;&nbsp; BigDecimal（常出问题） 2.&nbsp;&nbsp;&nbsp;&nbsp; Json转换（目标有json和html两状态） 3.&nbsp;&nbsp;&nbsp;&nbsp; 类型装换 </td> 
 </tr> 
 <tr> 
 <td> 加密： 1.&nbsp;&nbsp;&nbsp;&nbsp; Md5 2.&nbsp;&nbsp;&nbsp;&nbsp; Js加密 3.&nbsp;&nbsp;&nbsp;&nbsp; Aes 4.&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; </td> 
 <td> 架构： 1.&nbsp;&nbsp;&nbsp;&nbsp; 敏捷 2.&nbsp;&nbsp;&nbsp;&nbsp; 高效 3.&nbsp;&nbsp;&nbsp;&nbsp; 高可用 4.&nbsp;&nbsp;&nbsp;&nbsp; 韧性 5.&nbsp;&nbsp;&nbsp;&nbsp; 弹性 6.&nbsp;&nbsp;&nbsp;&nbsp; 可扩展性 7.&nbsp;&nbsp;&nbsp;&nbsp; 易构性 </td> 
 </tr> 
 <tr> 
 <td> 共性： 1.&nbsp;&nbsp;&nbsp;&nbsp; 一致性 2.&nbsp;&nbsp;&nbsp;&nbsp; 个性化 </td> 
 <td> &nbsp; </td> 
 </tr> 
 </tbody> 
</table>