Python BeautifulSoup4 我碰到的一些不常用的用法

水深无声 2022-06-08 06:57 185阅读 0赞

#### 1、查找某些无属性、无样式的标签 ####

如果在某个ul下，有多个li，一半是有样式，一半是没有的，而刚好他们是两个类别，你也恰好需要这两个，例如：

html = ''' <ul> <li>hello world!</li> <li class="hh">hello world!</li> </ul> '''

倘若数量少，或是有奇偶对称倒好说，但如果是随机呢，之前记得xpath里，是有可以通过not(@属性)的方式，但是bs4里并没有，然后查了半天，翻到[这篇][Link 1]，那我们可以设置class为False。

from bs4 import BeautifulSoup
    
    soup = BeautifulSoup(html,'lxml')
    # 注意不要把False带上引号
    no_tag = soup.find('li',{
       'class':False})

![这里写图片描述][SouthEast]

#### 2、多个查找条件 ####

--------------------

倘若比如a标签的class和alt标签每个单独都不是唯一的，但是组合在一起是唯一的，例如

html = ''' <a class="nav-span" href="//bbs.qyer.com/" data-bn-ipg="head-nav-community" title="穷游论坛">社区</a> '''

我们知道attrs是个字典，里面可以包含多组key-value，不过一开始没有想到，后来突然想到的，只需要在attrs（可省略）里加入就好，不过很少有这样用的情况，

soup.find('a',{
       'class':'nav-span','data-bn-ipg':'head-nav-community'})

![这里写图片描述][SouthEast 1]

我在测试的时候发现个不稳定因素，测试用的ipython。  
可以看到title中有中文，我们查找返回的是unicode编码，你扔中文进去也不一定对，但是我测试成功了一次，而且是爬的整个页面，然后直接测试的，但建议还是不要使用有中文的作为查询条件。

#### 3、查找某个属性的class返回的是个列表，因为可能class会有多个样式，而id只有一个，且唯一 ####

--------------------

html1 = ''' <p class="type" id="city">房型：双人间</p> '''

![这里写图片描述][SouthEast 2]

可以看到class返回的是个列表，而id是字符串。  
并且测试的时候发现，当html里除了一个id标签没有其他标签时，试图直接用soup.p\[‘id’\]的时候都会报错，这也是为什么我前面扔了一个同时有class和id的html，错误如图：

![这里写图片描述][SouthEast 3]

原因在于id因为是属性，一般用的时候是和attrs一起用，现发现也可以省略，它要想获得它的id，必须先获得这整个html及其内容，然后再获取其内容。所以如果只有id这个标签，必须先将soup.p赋给一个变量，然后用这个变量去获得id值：  
![这里写图片描述][SouthEast 4]

[Link 1]: https://www.crifan.com/python_use_beautifulsoup_find_tag_with_unknown_attribute_value/
[SouthEast]: /images/20220608/e58bf43a27544d449457aa580bd64782.png
[SouthEast 1]: /images/20220608/7a06ee806f2c48aaa2dc63fa6a1172aa.png
[SouthEast 2]: /images/20220608/8555400ab56148ed9bcefa92c72db69a.png
[SouthEast 3]: /images/20220608/5103b9e4c06e4f0691e037b3e18c4d27.png
[SouthEast 4]: /images/20220608/53d567fa1d884affbba6e60914c146be.png