python网页解析器--BeautifulSoup

超、凢脫俗 2022-05-31 10:41 294阅读 0赞

**1.python中的网页解析器是做什么的**  
所谓的网页解析器就是剖析网页元素的工具，简单来说，就是可以从html网页，解析出自己所需要查找的数据的工具（这里的数据可以是一个网页链接的地址，也可以是单纯的数据信息）。  
![这里写图片描述][SouthEast]  
这里的资料剖析，就是当网页反馈信息后，我们所进行剖析的数据，然后将所需要的数据存入数据中心。（需要会使用浏览器的开发者工具）

**2.BeautifulSoup网页解析器**  
BeautifulSoup是python的第三方库，也是网页解析器的一种。  
常见的网页解析器有：正则匹配，html.parser模块，BeautifulSoup，lxml。  
BeautifulSoup是结构化解析，将剖析出来的数据进行从非结构化数据转化为结构化数据，是通过DOM树结构为标准，将网页数据进行转化提取。  
![这里写图片描述][SouthEast 1]  
上图就是DOM结构，将正常的网页源码，通过各个标签，解决该层次，然后通过一层一层的遍历，获取我们所需要的信息。

**3.BeautifulSoup的基本操作**  
这里的库需要安装的是BeautifulSoup4，它与BeautifulSoup的库不一样。  
**（1）创建BeautifulSoup对象：**

#首先导入BeautifulSoup的方法
    from bs4 import BeautifulSoup
    
    #将需要获取该段数据的网页源码存放入div
    div='\
    <div class="nav_com"> \
                <ul> \
                    <h1 id="active"><a href="/">推荐</a></h1> \
                                        <li class=""><a href="/nav/news">资讯</a></li> \
                                        <li class=""><a href="/nav/ai">人工智能</a></li> \
                                        <li class=""><a href="/nav/cloud">云计算/大数据</a></li> \
                                        <li class=""><a href="/nav/blockchain">区块链</a></li>\
                                        <li class=""><a href="/nav/db">数据库</a></li>\
                                        <li class=""><a href="/nav/career">程序人生</a></li>\
                                        <li class=""><a href="/nav/game">游戏开发</a></li>\
                                        <li class=""><a href="/nav/engineering">研发管理</a></li>\
                                        <li class=""><a href="/nav/web">前端</a></li>\
                                        <li class=""><a href="/nav/mobile">移动开发</a></li>\
                                        <li class=""><a href="/nav/iot">物联网</a></li>\
                                        <li class="nav_more"><a href="/nav/ops">运维</a></li>\
                </ul>\
            </div>'
    
    #创建BeautifulSoup对象
    soup=BeautifulSoup(div,'html.parser') 
    
    #div是上面赋源码的对象
    #html.parser是一个html解析器
    #然后通过BeautifulSoup方法赋给soup对象
    
    #输出soup中的内容
    print(soup.text)
    
    #如果是只输出soup对象，soup对象是一段源码
    #print(soup)

结果如下图：

![这里写图片描述][SouthEast 2]

**（2）获取标签的内容**

#使用select获取（li）标签数组的值
    content = soup.select('li')
    
    #由于content是列表形式，所以可以按照数组的结构，获取该内容的第一个，或者某个值
    content1=content[0]
    print(content1.text)

结果如下图：

![这里写图片描述][SouthEast 3]

**（3）可将该列表中的值循环输出**

#循环输出content中的内容
    for line in content:
       print(line.text)

结果如下图：

![这里写图片描述][SouthEast 4]

**（4）也可以获取网页中id或者class元素**

#使用select找出网页中id为active的元素（id前面需要加#）
    line=soup.select('#active')
    print(line)
    
    #使用select找出网页中class为nav_more的元素（前面需要加#class.）
    line1=soup.select('.nav_more')
    print(line1)

结果如下图：

![这里写图片描述][SouthEast 5]

**（5）获取a标签中的href地址**

#使用select找出所有a tag的href的连接网页
    href =soup.select('a')
    for linx in href:
        print(linx)
        print(linx['href'])

结果如下图：

![这里写图片描述][SouthEast 6]

[SouthEast]: /images/20220531/027f82f020a8480482ef0c0a76d9e89e.png
[SouthEast 1]: /images/20220531/1343ef4bec3e4e7a8f38649316b41ba1.png
[SouthEast 2]: /images/20220531/48703edb7727456f9b1360d5b126ec52.png
[SouthEast 3]: /images/20220531/46dfe757b3da4f87a554fe7ebd60d2c1.png
[SouthEast 4]: /images/20220531/361417530237430ca557bfce604d4aea.png
[SouthEast 5]: /images/20220531/efc067fb293a434a95664e02013f0144.png
[SouthEast 6]: /images/20220531/3612e1b8bdb54b0f8b24172bdabe6053.png