python爬虫之BeautifulSoup4

谁践踏了优雅 2023-10-05 18:22 12阅读 0赞

## BeautifulSoup4 ##

#### 1.bs4的简介 ####

#### 1.1基本概念 ####

*  Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库

#### 1.2 源码分析 ####

*  github下载源码
 *  安装
    
     *  pip install lxml
     *  pip install bs4

#### 2.1 bs4的使用 ####

html_doc = """
 <html><head><title>The Dormouse's story</title></head>
 <body>
 The Dormouse's story
 
 Once upon a time there were three little sisters; and their names were
 <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
 and they lived at the bottom of a well.
 
 ...
 """

# 获取bs对象
 bs = BeautifulSoup(html_doc,'lxml')
 # 打印文档内容(把我们的标签更加规范的打印)
 print(bs.prettify())
 print(bs.title) # 获取title标签内容 <title>The Dormouse's story</title>
 print(bs.title.name) # 获取title标签名称 title
 print(bs.title.string) # title标签里面的文本内容 The Dormouse's story
 print(bs.p) # 获取p段落

#### 2.2 bs4对象的种类 ####

*  tag : 标签
 *  NavigableString : 可导航的字符串
 *  BeautifulSoup : bs对象
 *  Comment : 注释

#### 3.遍历树 遍历子节点 ####

*  bs里面有三种情况，第一个是遍历，第二个是查找，第三个是修改

#### 3.1 contents children descendants ####

*  contents 返回的是一个列表
 *  children 返回的是一个迭代器通过这个迭代器可以进行迭代
 *  descendants 返回的是一个生成器遍历子子孙孙

#### 3.2 .string .strings .stripped strings ####

*  string获取标签里面的内容
 *  strings 返回是一个生成器对象用过来获取多个标签内容
 *  stripped strings 和strings基本一致 但是它可以把多余的空格去掉

#### 4. 遍历树 遍历父节点 ####

*  parent 和 parents
 *  parent直接获得父节点
 *  parents获取所有的父节点

#### 5. 遍历树 遍历兄弟结点 ####

*  next\_sibling 下一个兄弟结点
 *  previous\_sibling 上一个兄弟结点
 *  next\_siblings 下一个所有兄弟结点
 *  previous\_siblings上一个所有兄弟结点