python之BeautifulSoup库

╰半夏微凉° 2022-05-27 09:44 285阅读 0赞

### python之BeautifulSoup库 ###

简介：

BeautifulSoup库通过定位 HTML 标签来格式化和组织复杂的网络信息，用简单易用的Python对象为我们展现 XML 结构信息  
安装：  
博主是python3.6 版本通过命令：`pip install beautifulsoup4`进行安装

![这里写图片描述][SouthEast]

## 简单范例： ##

### 问题一 ###

1：代码

# coding=utf-8
    """ @author: jiajiknag 程序功能：获取网页指定的内容信息 """
    """ BeautifulSoup： 它通过定位 HTML 标签来 格式化和组织复杂的网络信息， 用简单易用的Python对象为我们展现 XML 结构信息 """
    # 导入Python的request模块（在 urllib 库里面），只导入一个 urlopen 函数。
    from urllib.request import urlopen
    # 从bs4中导入函数BeautifulSoup
    from bs4 import BeautifulSoup
    # urlopen 用来打开并读取一个从网络获取的远程对象
    html = urlopen("http://www.pythonscraping.com/pages/page1.html")
    # 调用html.read()获取网页的HTML内容
    bs0bj = BeautifulSoup(html.read())
    print(bs0bj.h1)
    
    """ 下面的所有函数调用都可以产生同样的结果： bsObj.html.body.h1 bsObj.body.h1 bsObj.html.h1 """

2：结果

![这里写图片描述][SouthEast 1]

注：  
对于代码中的urllib模块的了解可以简了解：  
[urllib和urllib2的区别][urllib_urllib2]

--------------------

#### 针对上面的代码进行的改进 ####

1：改进代码

# coding=utf-8
    """ @author: jiajiknag 程序功能：获取标题 """
    """ BeautifulSoup： 它通过定位 HTML 标签来 格式化和组织复杂的网络信息， 用简单易用的Python对象为我们展现 XML 结构信息 """
    # 导入Python的request模块（在 urllib 库里面），只导入一个 urlopen 函数。
    from urllib.request import urlopen
    from urllib.error import HTTPError
    # 从bs4中导入函数BeautifulSoup
    from bs4 import BeautifulSoup
    
    def getTitel(url):
        """创建getTitle函数，返回网页的标题"""
        try:
            # urlopen 用来打开并读取一个从网络获取的远程对象
            html = urlopen(url)
            # 返回一个HTTP错误
        except HTTPError as e:
            return None
        try:
            # 调用html.read()获取网页的HTML内容
            bs0bj = BeautifulSoup(html.read())
            title = bs0bj.body.h1
            # AttributeError 错误
        except ArithmeticError as e:
            return None
    
    
    # 创建实例
    titel = getTitel("https://blog.csdn.net/jiajikang_jjk?t=1")
    if titel == None:
        print("标题未找到")
    else:
        print(titel)

2：结果  
![这里写图片描述][SouthEast 2]

--------------------

### 问题二 ###

#### BeautifulSoup爬去网站的特定文字 ####

1：代码

# coding=utf-8
    """ @author: jiajiknag 程序功能： 一创建个网络爬虫 抓取：http://www.pythonscraping.com/pages/warandpeace.html 这个网页。 """
    # 导包
    from urllib.request import urlopen
    from bs4 import BeautifulSoup
    # urlopen 用来打开并读取一个从网络获取的远程对象
    html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")
    # 创建BeautifulSoup对象
    bs0bj = BeautifulSoup(html)
    # bsObj.findAll(tagName, tagAttributes) 可以获取页面中所有指定的标签
    namelist = bs0bj.findAll("span", {
       "green"})
    for name in namelist:
        print(name.get_text())

2：结果

![这里写图片描述][SouthEast 3]

--------------------

### 问题三 ###

#### BeautifulSoup并非是python中解析HTML的唯一选择 ####

• lxml 这个库（[http://lxml.de/][http_lxml.de]）可以用来解析 HTML 和 XML 文档，以非常底层的实现而闻名 于世，大部分源代码是用 C 语言写的。虽然学习它需要花一些时间（其实学习曲线越 陡峭，表明你可以越快地学会它），但它在处理绝大多数 HTML 文档时速度都非常快。  
• HTML parser 这是 Python 自带的解析库：（[解析库][Link 1]）。因为它不用安装（只要装了 Python 就有），所以可以很方便地使用。

、

[SouthEast]: /images/20220527/3bd035d436894edba283640d766bbcf2.png
[SouthEast 1]: /images/20220527/d850a4539fb64115aaf2bf0834f09863.png
[urllib_urllib2]: https://blog.csdn.net/Jiajikang_jjk/article/details/79961681
[SouthEast 2]: /images/20220527/09f6485dd6174af58046b104f6f3f210.png
[SouthEast 3]: /images/20220527/6c5b0b1eacc24d0fa1392accbed96466.png
[http_lxml.de]: http://lxml.de/
[Link 1]: https://docs.python.org/3/library/html.parser.html