从实例入手学会BeautifulSoup的常用方法

迈不过友情╰ 2023-10-18 14:27 70阅读 0赞

## 场景 ##

Beautiful Soup是一个强大的解析工具，它能根据网页的结构和属性等来解析网页。

## 实现 ##

### 导入库 ###

from bs4 import BeautifulSoup as BS

### 解析器 ###

BeautifulSoup在解析时实际上依赖解析器，它除了支持Prthon标准库中的HTML解析器之外，还支持一些第三方解析器，比如lxml。

#### Beautiful Soup支持的解析器 ####

1.Python标准库

BeautifulSoup(markup, “html.parser”)

Python的内置标准库、执行速度适中、文档容错能力强

Python 2.7.3及Python 3.2.2之前的版本文档容错能力差

2.xml HTML解析器

BeautifulSoup(markup, “lxml”)

速度快、文档容错能力强 需要安装C语言库

3.lxml

XML解析器

BeautifulSoup(markup, “xml”)

速度快、唯一支持XML的解析器 需要安装C语言库

4.html5lib

BeautifulSoup(markup, “html5lib”)

最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档 速度慢、不依赖外部扩展

#### lxml使用 ####

比如这里我们使用lxml:

soup = BS(text,'lxml')

这里BS是BeautifulSoup的别名，因为前面我们已经：

from bs4 import BeautifulSoup as BS

### 获取匹配的第一个标签 ###

find方法可以获取匹配的第一个标签

以爬取情话为例

网址：

[https://www.duanwenxue.com/huayu/tianyanmiyu/list\_69.html][https_www.duanwenxue.com_huayu_tianyanmiyu_list_69.html]

打开F12进行检查，发现

![20190215101930459.jpg][]

情话内容在第一个class为list-short-article的div里面，所以我们可以这样使用

soup = BS(text,'lxml')
            arttis = soup.find('div', class_='list-short-article')

### 获取匹配的所有标签 ###

可以使用find\_all方法

比如这里的情话内容都在a标签里，且其target属性为blank

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70][]

所以我们可以这样获取：

soup = BS(text,'lxml')
            arttis = soup.find('div', class_='list-short-article').find_all('a', {'target': "_blank"})

### 更多方法 ###

更所方法使用请参照BeautifulSoup文档

[https://beautifulsoup.readthedocs.io/zh\_CN/v4.4.0/][https_beautifulsoup.readthedocs.io_zh_CN_v4.4.0]

[https_www.duanwenxue.com_huayu_tianyanmiyu_list_69.html]: https://www.duanwenxue.com/huayu/tianyanmiyu/list_69.html
[20190215101930459.jpg]: https://img-blog.csdnimg.cn/20190215101930459.jpg
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190215101952442.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0JBREFPX0xJVU1BTkdfUUlaSEk=,size_16,color_FFFFFF,t_70
[https_beautifulsoup.readthedocs.io_zh_CN_v4.4.0]: https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/