Python爬虫-BeautifulSoup

太过爱你忘了你带给我的痛 2022-05-22 03:20 339阅读 0赞

# Python爬虫-BeautifulSoup #

*  Python爬虫-BeautifulSoup
    
     *  “美丽汤”的爱恨
     *  使用
     *  爱丽丝文档示例
        
         *  标签
         *  遍历
         *  find(),findAll()
         *  综合使用
     *  支持正则
     *  CSS选择器

## “美丽汤”的爱恨 ##

前边说偏爱xpath，在于操作简单，解析速度较快。但不可否认：BeautifulSoup比xpath稳定。但凡网页的标签顺序发生变化（增删改），基于xpath规则的提取方式极大可能就此失效，这样一来不得不“右键检查元素”，周而复始的修改xpath规则。而“美丽汤”提供了多种寻找标签方法，以图使用者达到最佳“确定标签”的目的，尽最大努力在网页发生改变的同时，旧代码仍然畅通无阻的运行。  
可是成也萧何败萧何，考虑太多，“美丽汤”不得不显得“臃肿”，成为三个中解析速度中的最慢。然而比起令人生畏的正则，许多人也只好认了：“慢就慢吧”。  
《Python网络数据采集》书中提到，BeautifulSoup一名源于《爱丽丝梦游仙境》里的同名诗歌。就突然好想去看，我说有空的话。

## 使用 ##

关于环境安装的帖子网络上很容易找到，这里不提。

导包：`from bs4 import BeautifulSoup`  
指定解析方式：`soup = BeautifulSoup(response.text, "lxml")`  
或者页面写入本地，打开本地文件解析：`soup = BeautifulSoup(open("xxxx"), "lxml")`

## 爱丽丝文档示例 ##

![这里写图片描述][70]  
在一定的操作中以此范例文档试验（**这是一个标签部分残缺的文档**）

--------------------

格式化输出：`print(soup.prettify())`  
效果：  
![这里写图片描述][70 1]  
可以看到，经过处理后，原示例的残缺部分被填充完整。所以我们应该针对处理之后的示例采取相应的提取措施

--------------------

### 标签 ###

`soup.a`返回第一个a标签  
![这里写图片描述][70 2]  
`soup.parent`返回a标签的父标签  
![这里写图片描述][70 3]  
`soup.a.parent.name`返回a标签的父亲标签的名字  
![这里写图片描述][70 4]  
`soup.a.parents` 返回a标签的父级以上标签，类型为迭代器  
![这里写图片描述][70 5]  
对应parents的是children，用法相同，返回子级标签，**注意区别，parents是父级以上，children只有子级**  
`soup.a.attrs`返回a标签中的所有属性  
![这里写图片描述][70 6]  
`soup.a.attrs["属性名"]` 返回a标签指定属性对应的值  
![这里写图片描述][70 7]  
`soup.title.string`返回title标签中的文本信息  
`soup.head.string`返回head标签中的文本信息  
![这里写图片描述][70 8]  
*可以看到，返回结果相同，此方法也能返回注释信息*  
![这里写图片描述][70 9]  
与字符串存在类型区别，但我认为没必要在入门的时候区分这些，以后需要的时候再研究就可以了

--------------------

### 遍历 ###

![这里写图片描述][70 10]

下行遍历：  
`.contents`返回一个列表  
`.children`返回一个迭代器  
`.descendants`返回子孙级标签，**上面两个只有子级**

上行遍历：  
`.parents`

平行遍历：  
`.next_sibling`下一个平行标签  
`.previous_sibling`上一个平行标签  
`.next_siblings`后面所有平行标签，返回类型为迭代器  
`.previous_siblings`前面所有平行标签，返回类型为迭代器

--------------------

### find(),findAll() ###

`find(tag, attrs, recursive, text, keywords)`  
`findAll(tag, attrs, recursive, text, limit, keywords)`  
**区别**：除了参数limit外，前者返回第一个符合条件的对象，后者以列表方式返回所有符合条件

--------------------

——**针对tag参数**——–  
\-`findAll("a")`寻找所有a标签  
\-`findAll({"a", "b", "p"})`寻找所有a,b,p标签  
——**针对attrs参数**——-  
\+`findAll("a", {"class":"sister"})`寻找标签a且属性class=”sister”  
\+`findAll("a", {"class":{"sister", "brother"})`寻找标签a且属性class=”sister”或者brother  
\+`findAll("", {"class":"sister"})`不限定标签类型，返回符合属性条件的标签  
\+*以上可以看出，attrs属性不能单独使用*  
——**针对text参数**——–  
\-`findAll(text="test")`区配文本内容为test的标签，返回该内容的列表  
![这里写图片描述][70 11]  
——-**针对keyword参数**——–  
\+`findAll(id="link1")`寻找属性id=”link1”的标签  
\+`findAll(class_="sister")`寻找属性class=”sister”的标签，由于class是python的关键字，所以为了避免冲突，需要加”\_”符号  
但可以用前面方法替代：`soup.findAll("", {"class":"sister"})`  
—–**针对参数recursive**——  
\-默认True，当等于False的时候，只查询文档的一级标签  
—–**针对参数limit**——  
\+find()就是findAll()的limit参数等于1的时候

--------------------

get\_text()，清除标签，即获取标签里的文本信息  
![这里写图片描述][70 12]

### 综合使用 ###

上述三类方法是可以综合使用的，比如如果我想在爱丽丝文档中寻找id=”link1”的标签可以这样写：`soup.findAll("p",{"class":"title"})[0].next_sibling.next_sibling.findAll(id="link1")`  
![这里写图片描述][70 13]

## 支持正则 ##

由于正则可以讲的地方太多，有空再特别写一篇关于正则的总结吧

--------------------

## CSS选择器 ##

同样基于爱丽丝文档  
`select("title")`选择title标签，返回列表  
![这里写图片描述][70 14]  
`select(".sister")`选择class=”sister”的标签，返回列表  
![这里写图片描述][70 15]  
`select("#link1")`选择id=”link1”的标签，返回列表  
![这里写图片描述][70 16]  
`select("head > title")`选择head标签下的title标签，**符号”>”左右两边一定要有空格**  
![这里写图片描述][70 17]  
`select("p #link2")`选择p标签下符合id=link2的标签  
![这里写图片描述][70 18]  
`soup.select('a[id="link3"]')`选择a标签中id=link3的标签  
![这里写图片描述][70 19]

[70]: /images/20220522/8adc7af30db74568a22f1a23334f98b6.png
[70 1]: /images/20220522/4769959f60714d389c986edbddd3e30c.png
[70 2]: /images/20220522/c96543920aea4b5c8472d718b4a07571.png
[70 3]: /images/20220522/fb5c6286089a4f28853062092b195235.png
[70 4]: /images/20220522/ca21a890835545e18a22f881cecba987.png
[70 5]: /images/20220522/955c9c3e94be4d6e861fd681c49b3937.png
[70 6]: /images/20220522/317b2ece66a9468685b8ef1210e895b0.png
[70 7]: /images/20220522/bb2e6b98448943b3b96d8e60a2024e70.png
[70 8]: /images/20220522/93aacccdbcb64149a46ef8579bc70382.png
[70 9]: /images/20220522/c55db5fd93ee4f7bac4e8aa4696e7f45.png
[70 10]: /images/20220522/a2bf3536b32c4a6c9f1822e5be337252.png
[70 11]: /images/20220522/f96bcfda0248441abc55724c53fe6715.png
[70 12]: /images/20220522/2e05b5949f104eaf9da894cfcdc4d2b6.png
[70 13]: /images/20220522/303b4abcc57f4f12a495380e68f1b7c3.png
[70 14]: /images/20220522/52061b04101e4588a156d64e245f74a8.png
[70 15]: /images/20220522/2a611336e6ad4a95845b072b398fc8d4.png
[70 16]: /images/20220522/7af0ef378d824ea6bca4470d3d94b12e.png
[70 17]: /images/20220522/43114c39aa10443d8ff4034097537e4e.png
[70 18]: /images/20220522/0ba5dbd7a0574a8186c0dd8218e69ea6.png
[70 19]: /images/20220522/0b036008c2964ec4bc0cee2c2a339b07.png