8.爬虫数据提取——bs4的解析引擎介绍

谁借莪１个温暖的怀抱￠ 2023-06-10 14:26 10阅读 0赞

## 爬虫数据提取——bs4的解析引擎介绍 ##

在使用requests库获取到html字符串之后，接下来我们便可以使用bs4库对其进行解析，比如：

from bs4 import BeautifulSoup
    
    #content为待解析的html字符串
    #lxml为bs4的解析器[解析器有不同的选择]
    soup = BeautifulSoup(content,"lxml")

在这里我们需要自行选择不同的解析器，我们本次来盘点一下bs4的解析器。

<table> 
 <tbody> 
 <tr> 
 <td style="text-align:center;vertical-align:middle;width:173px;">解析器</td> 
 <td style="text-align:center;vertical-align:middle;width:289px;">使用方法</td> 
 <td style="text-align:center;vertical-align:middle;width:192px;">优势</td> 
 <td style="text-align:center;vertical-align:middle;width:194px;">劣势</td> 
 </tr> 
 <tr> 
 <td style="text-align:center;vertical-align:middle;width:173px;">Python标准库</td> 
 <td style="text-align:center;vertical-align:middle;width:289px;">soup = BeautifulSoup(html,"html.parser")</td> 
 <td style="text-align:center;vertical-align:middle;width:192px;"> &nbsp; &nbsp; 1.Python内置标准库 &nbsp; &nbsp; 2.执行速度适中 </td> 
 <td style="text-align:center;vertical-align:middle;width:194px;">Python2.x或者python3.2x前的版本中文文档容错能力差</td> 
 </tr> 
 <tr> 
 <td style="text-align:center;vertical-align:middle;width:173px;">lxml&nbsp; HTML解析器</td> 
 <td style="text-align:center;vertical-align:middle;width:289px;">soup = BeautifulSoup(html,"lxml")</td> 
 <td style="text-align:center;vertical-align:middle;width:192px;"> &nbsp; &nbsp; 1.速度快 &nbsp; &nbsp; 2.文档容错能力强 </td> 
 <td style="text-align:center;vertical-align:middle;width:194px;">需要安装C语言库</td> 
 </tr> 
 <tr> 
 <td style="text-align:center;vertical-align:middle;width:173px;">lxml&nbsp; XML解析器</td> 
 <td style="text-align:center;vertical-align:middle;width:289px;">soup = BeautifulSoup(html,"xml")</td> 
 <td style="text-align:center;vertical-align:middle;width:192px;"> &nbsp; &nbsp; 1.速度快 &nbsp; &nbsp; 2.唯一支持XML的解析器 </td> 
 <td style="text-align:center;vertical-align:middle;width:194px;">需要安装C语言库</td> 
 </tr> 
 <tr> 
 <td style="text-align:center;vertical-align:middle;width:173px;">html5lib</td> 
 <td style="text-align:center;vertical-align:middle;width:289px;">soup = BeautifulSoup(html,"html5lib")</td> 
 <td style="text-align:center;vertical-align:middle;width:192px;"> 1.最好的容错性 2.以浏览器的方式解析文档 3.生成HTML5格式的文档 4.不依赖外部扩展库 </td> 
 <td style="text-align:center;vertical-align:middle;width:194px;"> &nbsp; &nbsp; &nbsp; &nbsp; 1.速度慢 </td> 
 </tr> 
 </tbody> 
</table>

1.一般来说，我们使用lxml解析器，速度快，并且还有一些容错能力。【**lxml解析器为首选**】

2.如果碰到一些网站，使用lxml无法解析的时候，就可以使用html5lib作为解析器进行解析，不过html5lib需要自己安装。

3.html5lib安装方式：(1)在线安装：pip install html5lib

(2)离线安装：pip install +whl文件

--------------------

扫描二维码即可参与该课程，解锁更多爬虫知识：

![20210223213014197.png][]

[20210223213014197.png]: /images/20230531/b11fc9e22ae04d22b440f84225bd00a8.png