Python网络爬虫之BeautifulSoup库

叁歲伎倆 2022-06-11 02:38 305阅读 0赞

# Python网络爬虫之BeautifulSoup库 #

BeautifulSoup是Python的第三方库，可以对HTML和XML格式的内容进行解析，并且提取其中的相关信息。BS可以对被提供的任何格式的内容进行爬取，并且进行树形解析。

--------------------

## 1.BeautifulSoup库的安装 ##

它的安装也可以利用pip命令。首先使用管理员权限启动cmd命令台，然后使用以下命令进行安装。

pip install beautifulsoup

如果提示安装错误，请检查在Python的安装中是否允许了pip插件，具体内容可以参照这篇关于Python安装的讲解。

## 2.BeautifulSoup库的基本元素 ##

> Beautifulsoup库（bs4库）是维护、遍历、解析HTML标签树的功能库,其中BeautifulSoup类是bs4库中最基本的类。
> 
> 学习bs4库的基本功能前，我们首先要仔细了解BeautifulSoup类的基本元素，方便以后更高效的使用bs4库。

<table> 
 <thead> 
  <tr> 
   <th align="left">名称</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">Tag</td> 
   <td align="left">标签，最基本的信息组织单元，分别用<code>&lt;&gt;</code>和<code>&lt;/&gt;</code>标明开头和结尾，与HTML内标签对应</td> 
  </tr> 
  <tr> 
   <td align="left">Name</td> 
   <td align="left">标签的名字，<code>&lt;&gt;……&lt;/p&gt;</code>的名字是‘p’，可以用<code>&lt;tag&gt;.name</code>获取标签名字</td> 
  </tr> 
  <tr> 
   <td align="left">Attributes</td> 
   <td align="left">标签的属性，字典形式组织，可以用<code>&lt;tag&gt;.attrs</code>获取标签属性</td> 
  </tr> 
  <tr> 
   <td align="left">NavigableString</td> 
   <td align="left">标签内<strong>非属性</strong>字符串，<code>&lt;&gt;……&lt;/&gt;</code>中字符串，可以用<code>&lt;tag&gt;.string</code>获取标内字符串</td> 
  </tr> 
  <tr> 
   <td align="left">Comment</td> 
   <td align="left">标签内字符串的注释部分，一种特殊的Comment类型</td> 
  </tr> 
 </tbody> 
</table>

## 3.网页解析器的种类 ##

网页内容有很多格式，对应也有很多的解析器，对网页内容进行解析。目前通用的有以下这些。

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>实例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bs4的HTML解析器</td> 
   <td>BeautifulSoup(mk,’<strong>html.parser</strong>’)</td> 
  </tr> 
  <tr> 
   <td>lxml的HTML解析器</td> 
   <td>BaeutifulSoup(mk,’<strong>lxml</strong>’)</td> 
  </tr> 
  <tr> 
   <td>lxml的XML解析器</td> 
   <td>BeautifulSoup(mk,’<strong>xml</strong>’)</td> 
  </tr> 
  <tr> 
   <td>html5lib的解析器</td> 
   <td>BeautifulSoup(mk,’<strong>html5lib</strong>’)</td> 
  </tr> 
 </tbody> 
</table>

\*表格中第一项要在安装BeautifulSoup库之后使用，第2、3项要在`pip install lxml`后使用，最后一项则需要在`pip install html5lib`后使用

## 4.BeautifulSoup库的遍历功能 ##

> HTML网页是由标签构成的树形结构，如果需要提取和分析网页的内容，必须要能够对标签树结构进行遍历，这样才能完整获得标签树中的内容。

![HTML标签树的基本结构][HTML]

根据HTML标签树的基本格式，如果想遍历所有内容，大致有三种路线：

*  下行遍历：由父亲节点向儿子节点和子孙节点遍历
 *  上行遍历：由子孙节点向父亲节点遍历
 *  平行遍历：在同一个父亲节点下，向同一级节点遍历

### 4.1 下行遍历 ###

下行遍历方式中，bs4库提供以下3种属性：

<table> 
 <thead> 
  <tr> 
   <th align="left">属性</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.contents</code></td> 
   <td align="left">子节点的列表，将<code>&lt;tag&gt;</code>所有儿子节点存入列表</td> 
  </tr> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.children</code></td> 
   <td align="left">子节点的迭代类型，与.contents类似，用于循环遍历儿子节点</td> 
  </tr> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.descendants</code></td> 
   <td align="left">子孙节点的迭代类型，包含所有子孙节点，用于循环遍历</td> 
  </tr> 
 </tbody> 
</table>

下面通过代码示例进行演示：\[github code\]

### 4.2 上行遍历 ###

上行遍历方式中，bs4库提供以下2种属性：

下面通过代码示例进行演示：\[github code\]

### 4.3平行遍历 ###

平行遍历方式中，bs4库提供以下4种属性：

<table> 
 <thead> 
  <tr> 
   <th align="left">属性</th> 
   <th align="left">说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.parent</code></td> 
   <td align="left">节点的父亲标签</td> 
  </tr> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.parents</code></td> 
   <td align="left">节点先辈标签的迭代类型，用于循环遍历先辈节点</td> 
  </tr> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.next_siblings</code></td> 
   <td align="left">迭代类型，返回按照HTML文本顺序的后续所有平行节点标签</td> 
  </tr> 
  <tr> 
   <td align="left"><code>&lt;tag&gt;.previous_siblings</code></td> 
   <td align="left">迭代类型，返回按照HTML文本顺序的前序所有平行节点标签</td> 
  </tr> 
 </tbody> 
</table>

下面通过代码示例进行演示：\[github code\]

## 5.基于bs4库的显示和编码 ##

为了让HTML页面的内容更加友好的显示，bs4库提供`prettify()`方法进行相关的处理，在实际调试中将为用户提供很多方便。

html=requests.get(url)
    soup=BeautifulSoup(html,'html.parser')
    print(soup.prettify())

同时，bs4库将所有内容都采用UTF-8编码进行编码，UTF-8可以很好的支持中文等语言显示。

[HTML]: /images/20220611/eca8b506b765483cafbdcc328ce7e525.png