面向新手解析python Beautiful Soup基本用法

超、凢脫俗 2022-12-27 09:07 151阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：

[高州阳光论坛][Link 2]https://www.hnthzk.com/

[人人影视][Link 3]http://www.op-kg.com/

Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。它有如下三个特点：

*  Beautiful Soup提供一些简单的、Python式的函数来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。  
    
 *  Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为UTF-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时你仅仅需要说明一下原始编码方式就可以了。  
    
 *  Beautiful Soup已成为和lxml、html6lib一样出色的Python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

首先，我们要安装它：pip install bs4,然后安装 pip install beautifulsoup4.

Beautiful Soup支持的解析器

![Image 1][]

下面我们以lxml解析器为例：

> from bs4 import BeautifulSoup  
> soup = BeautifulSoup('<p>Hello</p>', 'lxml')  
> print(soup.p.string)  
>

结果：

Hello

beautiful soup美化的效果实例：

结果：

<html>
     <head>
     <title>
      The Dormouse's story
     </title>
     </head>
     <body>
     <p class="title" name="dromouse">
      <b>
      The Dormouse's story
      </b>
     </p>
     <p class="story">
      Once upon a time there were three little sisters; and their names were
      <a class="sister" href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link1">
      
      </a>
      ,
      <a class="sister" href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link2">
      Lacie
      </a>
      and
      <a class="sister" href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" id="link3">
      Tillie
      </a>
      ;
    and they lived at the bottom of a well.
     </p>
     <p class="story">
      ...
     </p>
     </body>
    </html>
    The Dormouse's story

下面举例说明选择元素、属性、名称的方法

html = """
    <html><head><title>The Dormouse's story</title></head>
    <body>
    <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
    <p class="story">Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link1"></a>,
    <a href="http://example.com/lacie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" rel="external nofollow" rel="external nofollow" rel="external nofollow" class="sister" id="link3">Tillie</a>;
    and they lived at the bottom of a well.</p>
    <p class="story">...</p>
    """
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(html, 'lxml')
    print('输出结果为title节点加里面的文字内容:\n',soup.title)
    print('输出它的类型:\n',type(soup.title))
    print('输出节点的文本内容:\n',soup.title.string)
    print('结果是节点加其内部的所有内容:\n',soup.head)
    print('结果是第一个p节点的内容:\n',soup.p)
    print('利用name属性获取节点的名称:\n',soup.title.name)
    #这里需要注意的是，有的返回结果是字符串，有的返回结果是字符串组成的列表。
    # 比如，name属性的值是唯一的，返回的结果就是单个字符串。
    # 而对于class，一个节点元素可能有多个class，所以返回的是列表。
    print('每个节点可能有多个属性，比如id和class等:\n',soup.p.attrs)
    print('选择这个节点元素后，可以调用attrs获取所有属性：\n',soup.p.attrs['name'])
    print('获取p标签的name属性值：\n',soup.p['name'])
    print('获取p标签的class属性值：\n',soup.p['class'])
    print('获取第一个p节点的文本:\n',soup.p.string)

结果：

输出结果为title节点加里面的文字内容:
    <title>The Dormouse's story</title>
    输出它的类型:
    <class 'bs4.element.Tag'>
    输出节点的文本内容:
    The Dormouse's story
    结果是节点加其内部的所有内容:
    <head><title>The Dormouse's story</title></head>
    结果是第一个p节点的内容:
    <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
    利用name属性获取节点的名称:
    title
    每个节点可能有多个属性，比如id和class等:
    {'class': ['title'], 'name': 'dromouse'}
    选择这个节点元素后，可以调用attrs获取所有属性：
    dromouse
    获取p标签的name属性值：
    dromouse
    获取p标签的class属性值：
    ['title']
    获取第一个p节点的文本:
    The Dormouse's story

在上面的例子中，我们知道每一个返回结果都是bs4.element.Tag类型，它同样可以继续调用节点进行下一步的选择。

html = """
    <html><head><title>The Dormouse's story</title></head>
    <body>
    """
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(html, 'lxml')
    print('获取了head节点元素，继续调用head来选取其内部的head节点元素:\n',soup.head.title)
    print('继续调用输出类型：\n',type(soup.head.title))
    print('继续调用输出内容：\n',soup.head.title.string)

结果：

获取了head节点元素，继续调用head来选取其内部的head节点元素:
     <title>The Dormouse's story</title>
    继续调用输出类型：
     <class 'bs4.element.Tag'>
    继续调用输出内容：
     The Dormouse's story

（1）find\_all()

find\_all，顾名思义，就是查询所有符合条件的元素。给它传入一些属性或文本，就可以得到符合条件的元素，它的功能十分强大。

find\_all(name , attrs , recursive , text , \*\*kwargs)

他的用法：

html='''
    <div class="panel">
      <div class="panel-heading">
        <h4>Hello</h4>
      </div>
      <div class="panel-body">
        <ul class="list" id="list-1">
          <li class="element">Foo</li>
          <li class="element">Bar</li>
          <li class="element">Jay</li>
        </ul>
        <ul class="list list-small" id="list-2">
          <li class="element">Foo</li>
          <li class="element">Bar</li>
        </ul>
      </div>
    </div>
    '''
    from bs4 import BeautifulSoup
    soup = BeautifulSoup(html, 'lxml')
    print('查询所有ul节点，返回结果是列表类型，长度为2:\n',soup.find_all(name='ul'))
    print('每个元素依然都是bs4.element.Tag类型:\n',type(soup.find_all(name='ul')[0]))
    #将以上步骤换一种方式，遍历出来
    for ul in soup.find_all(name='ul'):
      print('输出每个u1:',ul.find_all(name='li'))
    #遍历两层
    for ul in soup.find_all(name='ul'):
      print('输出每个u1:',ul.find_all(name='li'))
      for li in ul.find_all(name='li'):
        print('输出每个元素：',li.string)

结果：

查询所有ul节点，返回结果是列表类型，长度为2:
     [<ul class="list" id="list-1">
    <li class="element">Foo</li>
    <li class="element">Bar</li>
    <li class="element">Jay</li>
    </ul>, <ul class="list list-small" id="list-2">
    <li class="element">Foo</li>
    <li class="element">Bar</li>
    </ul>]
    每个元素依然都是bs4.element.Tag类型:
     <class 'bs4.element.Tag'>
    输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
    输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
    输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>]
    输出每个元素： Foo
    输出每个元素： Bar
    输出每个元素： Jay
    输出每个u1: [<li class="element">Foo</li>, <li class="element">Bar</li>]
    输出每个元素： Foo
    输出每个元素： Bar

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/
[Link 2]: https://www.hnthzk.com/
[Link 3]: http://www.op-kg.com/
[Image 1]: