深入解析网页结构解析模块beautifulsoup

男娘i 2022-11-16 10:47 173阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

一声梧叶一声秋，一点芭蕉一点愁，三更归梦三更后。

## 大家好，我是Python进阶者，今天给大家分享一个网页结构解析模块beautifulsoup。 ##

## 前言 ##

beautifulsoup（以下简称bs），是一款网页结构解析模块，它支持传统的Xpath，css  selector 语法，可以说很强大了，下面我们就来着重介绍下它的用法。

## 安装 ##

bs 可以使用pip 或者easy\_install安装，方便快捷。

pip install Beautifulsoup4

## 基本用法 ##

一般就是先由requests 获取到网页源码后然后对页面进行解析，如图：

![3f18a813736a4be40798d86c53d7b9ea.png][]

这样就基本上拿到了页面的源码了。

1.根据标签直接获取元素，如下图：

![e8675c750a3de9f64da478e3eaf6d28a.png][]

2.根据find，find\_all方法查找

前者返回一个结果，后者返回所有结果

find( name , attrs , recursive , text , **kwargs )
    
    
    name :要查找的标签名（字符串、正则、方法、True）
    
    
    attrs: 标签的属性
    
    
    recursive: 递归
    
    
    text: 查找文本
    
    
    **kwargs :其它 键值参数

因为class是关键字，所以要写成class\_="value", 等同于attrs=\{"class":"value"\}

这里的参数适用于find find\_all两种方法。

只不过find\_all 还有其他参数，比如限制查找返回数量 的limit方法，标签内容string方法。

3.根据select方法查找

<table> 
 <thead> 
  <tr> 
   <th>soup.select('div')</th> 
   <th>所有名为&lt;div&gt;的元素</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>soup.select('#aa')</td> 
   <td>所有 id 属性名为aa的元素</td> 
  </tr> 
  <tr> 
   <td>soup.select('.oo')</td> 
   <td>所有class 属性名为oo的元素</td> 
  </tr> 
  <tr> 
   <td>soup.select('div &nbsp;p')</td> 
   <td>所有在&lt;div&gt;元素之内的&lt;p&gt;元素</td> 
  </tr> 
  <tr> 
   <td>soup.select('div &gt;p')</td> 
   <td>所有直接在&lt;div&gt;元素之内的&lt;p&gt;元素，中间没有其他元素</td> 
  </tr> 
  <tr> 
   <td>soup.select('input[name]')</td> 
   <td>所有名为&lt;input&gt;，并有一个 name &nbsp; 属性，其值无所谓的元素</td> 
  </tr> 
  <tr> 
   <td>soup.select('input[type="button"]')</td> 
   <td>所有名为&lt;input&gt;,并有一个 type &nbsp; 属性，其值为 button 的元素</td> 
  </tr> 
 </tbody> 
</table>

soup.select('a')\[0\].get\_text() \# 获取首个a元素的文本

soup.select('a')\[0\].attrs\['href'\] \# 获取首个a元素的链接地址

4.关系节点名

find_parents()返回所有祖先节点的列表，find_parent()返回直接父节点
    
    
    print(soup.title.find_parent())
    
    
    print(soup.title.find_parent().find_all('link')[1])
    
    
    print(soup.title.find_parents())
    
    
    find_next_siblings()返回后面所有兄弟节点的列表，find_next_sibling()返回后面第一个兄弟节点
    
    
    print(soup.title.find_next_sibling())
    
    
    print(soup.title.find_next_siblings())
    
    
    find_previous_siblings()返回前面所有兄弟节点的列表，find_previous_sibling()返回前面第一个兄弟节点
    
    
    print(soup.title.find_previous_sibling())
    
    
    print(soup.title.find_previous_siblings())
    
    
    find_all_next()返回节点后所有符合条件的节点的列表, find_next()返回节点后第一个符合条件的节点
    
    
    print(soup.title.find_next('link'))
    
    
    print(soup.title.find_all_next('link'))
    
    
    find_all_previous()返回节点前所有符合条件的节点, find_previous()返回节点前第一个符合条件的节点
    
    
    print(soup.title.find_previous('link'))
    
    
    print(soup.title.find_all_previous('link'))

5.对象种类

tag(标签)  navigablestring(标签内字符串)  beautifulsoup(对象)  comment(备注)
    
    
    rep=requests.get('https://book.qidian.com/info/1014243481#Catalog',timeout=3)
    soup=BeautifulSoup(rep.text,'html.parser')
    
    
    print(soup.name)  #beautifulsoup 对象
    
    
    tr=soup.div
    
    
    print(type(tr),tr) #tag对象 标签
    
    
    print(tr.get_attribute_list('class')) #获取属性对应列表
    
    
    print(tr.a.string) #navigablestring 对象，获取标签内文字，可使用str()方法将她转换为unicode字符串
    print(soup.a.string.replace_with('fdf')) #替换navigablestring

comment 即为提取的注释内容，一般被！--xxxxxxx--! 包裹的内容就是了

三、使用案例

爬取起点小说主页第一页所有小说名字和链接，如图：

![ae2cfd1f82c1da8c3ef7a6df7df3193b.png][]

import requests
    from bs4 import BeautifulSoup
    rep=requests.get('https://www.qidian.com/all',timeout=3)
    soup=BeautifulSoup(rep.text,'html.parser')
    #按照步骤一步一步来爬取
    ul=soup.find_all('ul','all-img-list cf')
    for y in ul: 
        for z in y.find_all('div','book-mid-info'):
            for x in z.find_all('h4'):
                for v in x.find_all('a'):
                    print(v.get_text(),'https:'+v.attrs['href']) #获取a标签的内容和href属性值

最后就可以得出正确结果，如图：

![bfee22c11624b40704d6c10b6d1ee094.png][]

关于bs大致就这么多，大家学会了吗？？

## 总结 ##

今天就讲这么多，关于BS的强大之处，远不止于此，本文只是介绍了它的安装和基本用法，并通过一个案例来帮助大家加深理解，希望大家好好利用，在爬虫路上可以事倍功半！

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

![ba2142173faafb706c3cdf0b1ad19957.png][]

往期精彩文章推荐：

*  ## [手把手教你利用Python轻松拆分Excel为多个CSV文件][Python_Excel_CSV] ##
 *  ## [手把手教你4种方法用Python批量实现多Excel多Sheet合并][4_Python_Excel_Sheet]    ##
 *  ## [手把手教你用Python爬取百度搜索结果并保存][Python]    ##

![79750dcfff71387b4f51206b96ff2d8c.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~

[3f18a813736a4be40798d86c53d7b9ea.png]: /images/20221022/cfa9e8fd3f6a44588be799706664b76a.png
[e8675c750a3de9f64da478e3eaf6d28a.png]: /images/20221022/ec498c713bc74490ab496a0333645b18.png
[ae2cfd1f82c1da8c3ef7a6df7df3193b.png]: /images/20221022/8c393572a7794f91853ada4df3702923.png
[bfee22c11624b40704d6c10b6d1ee094.png]: /images/20221022/709c55162fdc4b878db4b30d4d9d775b.png
[ba2142173faafb706c3cdf0b1ad19957.png]: /images/20221022/0275534a5da84548b114e1b70ae0c5e2.png
[Python_Excel_CSV]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0aef9cbb727ef4c24528f53dda6190967df92d93fdc3dd048192481322a9e121c49a3efa4&idx=1&mid=2247493842&scene=21&sn=41f45474f977e1b08ed7efbc012b9281#wechat_redirect
[4_Python_Excel_Sheet]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0ac35cbb7252312e2208d5241eb09c68685b74043c74e820264a6c36db228691e384e8681&idx=1&mid=2247494174&scene=21&sn=2fcfa5e291a9f4a9d16242a7970fdc19#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0ae81cbb7279704ae6f729f9cf42a7369cc99f7e487359d228cbb8e1b7f78f248978ad3e1&idx=1&mid=2247493802&scene=21&sn=963e7d24873f90fbfed491c0abf66e11#wechat_redirect
[79750dcfff71387b4f51206b96ff2d8c.png]: /images/20221022/40a21cd2110c45f980648dac75b138a4.png