Python爬虫包 BeautifulSoup 学习（十一） CSS 选择器

一时失言乱红尘 2022-07-11 12:15 213阅读 0赞

BeautifulSoup支持最常用的CSS选择器，在 Tag 或 BeautifulSoup 对象的 .select() 方法中传入字符串参数，即可使用CSS选择器的语法找到tag。

## CSS选择器 ##

CSS选择器是一种单独的文档搜索语法。  
详情请见[此链接][Link 1]

## BS4中的CSS选择器 ##

本篇所使用的html为：

html_doc = """
 <html><head><title>The Dormouse's story</title></head>
 <body>
 The Dormouse's story
 
 Once upon a time there were three little sisters; and their names were
 <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
 and they lived at the bottom of a well.
 
 ...
 """

你可以这样搜索tag：

soup.select("title")
 # [<title>The Dormouse's story</title>]
 
 soup.select("p nth-of-type(3)")
 # [...]

另外，你也可以搜索在其他父标签内部的标签，即**通过标签的所属关系寻找标签**：

soup.select("body a") #搜索在body标签内部的a标签
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 soup.select("html head title") #搜索在html->head标签内部的标签
 # [<title>The Dormouse's story</title>]

可以**直接寻找在其他标签内部的标签**：

soup.select("head > title")
 # [<title>The Dormouse's story</title>]
 
 soup.select("p > a")
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 soup.select("p > a:nth-of-type(2)")
 # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
 
 soup.select("p > #link1")
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
 
 soup.select("body > a")
 # []

**通过tags标签获得元素的同胞兄弟：**

soup.select("#link1 ~ .sister") #获得id为link1，class为sister的兄弟标签内容（所有的兄弟便签）
 # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 soup.select("#link1 + .sister") #获得id为link1，class为sister的兄弟标签内容（下一个兄弟便签）
 # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

**通过CSS的类获得tags标签:**

soup.select(".sister") #获得所有class为sister的标签
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 soup.select("[class~=sister]") #效果同上一个
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

通过id获得标签：

soup.select("#link1") #通过设置参数为id来获取该id对应的tag
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
 
 soup.select("a#link2") #这里区别于上一个单纯的使用id，又增添了tag属性，使查找更加具体
 # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

通过设置select函数的参数为列表，来获取tags。只要匹配列表中的任意一个则就可以捕获。

soup.select(“#link1,#link2”) #捕获id为link1或link2的标签
 # [<a class=”sister” href=”http://example.com/elsie” id=”link1”>Elsie</a>, 
 # <a class=”sister” href=”http://example.com/lacie” id=”link2”>Lacie</a>]

按照标签是否存在某个属性来获取：

soup.select('a[href]') #获取a标签中具有href属性的标签
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

通过某个标签的具体某个属性值来查找tags：

soup.select('a[href="http://example.com/elsie"]')
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
 
 soup.select('a[href^="http://example.com/"]')
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
 # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
 # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 soup.select('a[href$="tillie"]')
 # [<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
 soup.select('a[href*=".com/el"]')
 # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

这里需要解释一下：  
`soup.select(‘a[href^=”http://example.com/”]’)`意思是查找href属性值是以”[http://example.com/][http_example.com]“值为开头的标签，可以查看博客介绍。  
`soup.select(‘a[href$=”tillie”]’)`意思是查找href属性值是以tillie为结尾的标签。  
`soup.select(‘a[href*=”.com/el”]’)`意思是查找href属性值中存在字符串”.com/el”的标签，所以只有`href=”http://example.com/elsie”`一个匹配。

查询符合查询条件的第一个标签：

soup.select_one(".sister") #只查询符合条件的第一个tag
 # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>

[Link 1]: http://www.w3school.com.cn/css/css_selector_type.asp
[http_example.com]: http://example.com/