python爬虫的理解

以你之姓@ 2024-04-17 06:27 29阅读 0赞

## 爬虫理解 ##

爬虫我认为其实就是把网上的数据给爬取下来，无外乎就是**文本**、**图片**、**音频**，这三大类，而爬虫种类比较多的的是**文本**，图片和音频重要的是路径。

## 爬虫分类 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]  
**1、爬虫文本**  
（1）其中最简单的就是 **同步获取**，只要由 url 和 headers 就可以获取到整个HTML界面，要找的信息直接一层一层的提取就可以了。  
**代表网站就是古诗文网**  
仅仅只需要网址就可以获取整个网页  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 1]  
（2）一般的就是 **异步json**，它在HTML中请求不到，虽然已经缓存到浏览器上，但是是以json格式，然后Ajax展示，所以需要找到对应的API接口，请求返回json数据，然后再一层一层的提取json数据。  
**代表网站就是携程网**  
它查询机票就是一以son格式返回  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 2]

（3）我认为的困难（后期整理、前期准备）

1.  第一就是通过woff对字体进行加密，因为对字体进行了加密，首先需要找到加密的文本，然后找到加密的方式woff文件，还要通过对woff文件的破解找到对应的字体转换格式，最后把爬下来的文本解密。  
    **代表网站猫眼电影**  
    具体文本数据通过woff字体加密  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 3]
2.  第二就是对url地址进行修改，通过js把原本只需要固定格式的url路径通过一定的算法，再在后面加上一些后缀，这样我们就很难批量的爬取，不过要是有耐心，可以制作字典，当然如果厉害把js看懂自己推演出来，我真的佩服。

**2、爬虫图片**  
这个目前还没有什么难的隐藏方式，所以一样只要找到图片，后缀为**jpg、png**等等，这个一般很明显  
**图片网站大概都这样**

**3、爬虫音频**  
（1）以前很好就获取了，和图片一样，只要找到找到整个路径就可以下载下来。  
（2）但是现在一般都是流媒体格式，即m3u8，把整个视频拆分成很多小块ts，一点一点的缓存，先要找到许多小块视频ts，单个不能播放，还需要最后把这些合成一个完整的音频才能使用。  
**以B站为例，随便一个视频**  
可以看到缓存了很多的小文件，这就是分割的视频  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/8d829a68f72b400288e1a5bed74e449c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/0d5c4c314d374b28a91a50df5488f3b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/56b41862620b4305b5143642ca3224a7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/c1d8bb6fb2c94c5aad82744be63dc294.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/f3c56fb2177f4d67a8c0a5660da55343.png