使用 Beautiful Soup 解析网页内容

深碍√TFBOYSˉ_ 2022-06-18 09:39 196阅读 0赞

## 安装Beautiful Soup ##

[Beautiful Soup][]是一个Python的HTML解析框架，我们可以利用它方便的处理HTML和XML文档。Beautiful Soup有3和4两个版本，目前3已经停止开发。所以我们当然还是学习最新的Beautiful Soup 4.

首先第一件事情就是利用pip安装Beautiful Soup。我们使用下面的命令。

pip install beautifulsoup4

稍等片刻之后Beautiful Soup就安装好了。这样，我们就可以开始使用它了。如果需要详细文档的话可以参考[Beautiful Soup中文文档][Beautiful Soup 1]，这是难得的不是机翻的文档。

## 解析文档 ##

### 获取文档 ###

Beautiful Soup只是一个HTML解析库，所以我们如果想解析网上的内容，第一件事情就是把它下载下来。对于不同的网站，可能会对请求进行过滤。糗事百科的网站就对没有UA的请求直接拒绝掉。所以如果我们要爬这样的网站，首先需要把请求伪装成浏览器的样子。具体网站具体分析，经过我测试，糗事百科只要设置了UA就可以爬到内容，对于其他网站，你需要测试一下才能确定什么设置能管用。

有了Request对象还不行，还需要实际发起请求才行。下面代码的最后一句就使用了Python3的urllib库发起了一个请求。`urlopen(req)`方法返回的是Reponse对象，我们调用它的`read()`函数获取整个结果字符串。最后调用`decode('utf-8')`方法将它解码为最终结果，如果不调用这一步，汉字等非ASCII字符就会变成`\xXXX`这样的转义字符。

import urllib.request as request
    
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
    headers = {
       'User-Agent': user_agent}
    req = request.Request('http://www.qiushibaike.com/', headers=headers)
    
    page = request.urlopen(req).read().decode('utf-8')

### 查询和遍历方法 ###

有了文档字符串，我们就可以开始解析文档了。第一步是建立`BeautifulSoup`对象，这个对象在bs4模块中。注意在建立对象的时候可以额外指定一个参数，作为实际的HTML解析器。解析器的值可以指定`html.parser`，这是内置的HTML解析器。更好的选择是使用下面的`lxml`解析器，不过它需要额外安装一下，我们使用`pip install lxml`就可以安装。

import bs4
    
    soup = bs4.BeautifulSoup(page, "lxml")

有了`BeautifulSoup`对象，我们就可以开始解析了。首先先来介绍一下BeautifulSoup的对象种类，常用的有标签（`bs4.element.Tag`）以及文本（`bs4.element.NavigableString`）。还有注释等对象，不过不太常用，所以就不介绍了。在标签对象上，我们可以调用一些查找方法例如`find_all`等等，还有一些属性返回标签的父节点、兄弟节点、直接子节点、所有子节点等。在文本对象上，我们可以调用`.string`属性获取具体文本。

然后来说说BeautifulSoup的遍历方法。基本所有操作都需要通过`BeautifulSoup`对象来使用。使用方式主要有两种：一是直接引用属性，就是`soup.title`这样的，会返回第一个符合条件的节点；二是通过查找方法例如`find_all`这样的，传入查询条件来查找结果。

再来说说查询条件。查询条件可以是：字符串，会返回对应名称的节点；正则表达式，按照正则表达式匹配；列表，会返回所有匹配列表元素的节点；真值`True`，会返回所有标签节点，不会返回字符节点；方法，我们可以编写一个方法，按照自己的规则过滤，然后将该方法作为查询条件。本来还想写详细一点，但是由于有中文文档，所以我还是不写了。直接看[关于查询的文档][Link 1]就好了。我还发现一篇不错的[博文][Link 2]，大家可以参考一下，这篇博文介绍的更详细。

## 实际例子 ##

### 爬取糗事百科段子 ###

首先打开[糗事百科][Link 3]网站，按F12打开开发人员工具，然后在旁边点击分离按钮把它变成独立窗口，然后切到元素标签并最大化窗口。然后点击那个鼠标按钮，再返回糗事百科页面，并点击一个段子，这样就可以查看段子在HTML文档的什么位置了。

![HTML结构][HTML]

首先分析一下HTML代码，然后我们就可以查找所需的内容了。这里需要说明一下，查询方法返回的是结果集，对结果集遍历可以得到标签或者文本对象。如果调用标签对象的`.contents`，会返回一个列表，列表内是标签、文本或注释对象。动态语言的优势就是使用灵活，缺点就是没有代码提示。虽然总共代码没几行，但是还是花了我一番功夫。

divs = soup.find_all('div', class_='article block untagged mb15')
    for div in divs:
        links = div.find_all('a', href=re.compile(r'/article/\d*'), class_='contentHerf')
        for link in links:
            contents = link.span.contents
            contents = [i for i in contents if not isinstance(i, bs4.element.Tag)]
            print(contents)

上面的代码会输出首页的所有段子。这样我们便实现了半个爬虫。为什么是半个呢？因为一个完整的爬虫可以爬取多个页面，为了简便这里只爬首页，所以只能算半个爬虫。不过如果你想爬取多个页面，代码稍加修改即可实现。

### 百度贴吧楼层 ###

本来还想写一个爬取百度贴吧楼层的爬虫。但是一看百度贴吧的HTML代码，我感觉这个功能好像比较复杂，所以就不做了……喜欢挑战的同学可以试试看。

![百度贴吧代码][1240]

BeautifulSoup是一个HTML/XML 解析库，可以解析并修改HTML和XML文档。不过一般人都用它来解析网页实现爬虫。不过既然有中文文档，所以如果你想用它来操作XML文件，照着文档写就行了。这里就不作介绍了。

[Beautiful Soup]: http://www.crummy.com/software/BeautifulSoup/
[Beautiful Soup 1]: https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
[Link 1]: https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id24
[Link 2]: http://cuiqingcai.com/1319.html
[Link 3]: http://www.qiushibaike.com/
[HTML]: /images/20220618/9aa2934321f34f6684e1b8c6496ebb1b.png
[1240]: /images/20220618/5cdb4f66959e47d9b1e4a34ae75273a3.png