初识爬虫——BeautifulSoup分析及实践

女爷i 2023-09-29 10:41 11阅读 0赞

**目录**

一. BeautifulSoup 是什么？

二. 简析对象

三. BeautifulSoup 实践

四. 代码实现

总结

爬虫文章专栏

--------------------

## 一. BeautifulSoup 是什么？ ##

>  解析和提取网页中的数据： 
> 
>  *  **解析数据**：把服务器返回来的 HTML 源代码翻译为我们能理解的方式； 
>  *  **提取数据：**把我们需要的数据从众多数据中挑选出来；

**1.1 BeautifulSoup 安装**

> win：pip install BeautifulSoup4； 
> 
> Mac：pip3 install BeautifulSoup4；

**1.2 BeautifulSoup 解析数据**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16][]

> bs对象 = BeautifulSoup（要解析的文本,'解析器'）  
> 括号中，要输⼊两个参数：
> 
>  *  第 0 个参数是要被解析的⽂本（必须是字符串）
>  *  第 1 个参数⽤来标识解析器，我们要⽤的是⼀个Python内置库：html.parser。（不是唯⼀的解析器）

import requests
    from bs4 import BeautifulSoup
    #引入BS库
    
    # 为躲避反爬机制，伪装成浏览器的请求头
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    res = requests.get('https://localprod.pandateacher.com/python- manuscript/crawler-html/spider-men5.0.html')
    html = res.text
    soup = BeautifulSoup(html,'html.parser') #把网页解析为BeautifulSoup对象

**1.3 BeautifulSoup 提取数据**

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

**1）find() 与 find\_all()的用法：**

> find() 与 find\_all() 是 BeautifulSoup 对象的两个方法，它们可以匹配 html 的标签和属 
> 
> 性，把 BeautifulSoup 对象里符合要求的数据都提取出来 ：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

*  **find()只提取首个满足要求的数据：**

import requests
    from bs4 import BeautifulSoup
    
    # 为躲避反爬机制，伪装成浏览器的请求头
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
    res = requests.get (url)
    soup = BeautifulSoup(res.text,'html.parser')
    item = soup.find('div') #使用find()方法提取首个<div>元素，并放到变量item里。
    print(item) #打印item
    #结果：<div>大家好，我是一个块</div>

*  **find\_all()提取出的是所有满足要求的数据：**

import requests
    from bs4 import BeautifulSoup
    
    # 为躲避反爬机制，伪装成浏览器的请求头
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
    res = requests.get (url)
    soup = BeautifulSoup(res.text,'html.parser')
    items = soup.find_all('div') #用find_all()把所有符合要求的数据提取出来，并放在变量items里
    print(items) #打印item
    #结果：<div>大家好，我是一个块</div>, <div>我也是一个块</div>, <div>我还是一个块</div>]

> 注意：
> 
> find() 或 find\_all() 括号中的参数：标签和属性可以任选其⼀，也可以两个⼀起使⽤，这取决于我们要在网页中提取的内容。 
> 
>  *  中括号里的class\_，这⾥有⼀个下划线，是为了和python语法中的类 class区分，避免 程序冲突。当然，除了⽤class属性去匹配，还可以使⽤其它属性，比如style属性等； 
>  *  只用其中⼀个参数就可以准确定位的话，就只⽤⼀个参数检索。如果需要标签和属性同 时满足的情况下才能准确定位到我们想找的内容，那就两个参数⼀起使用；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

# 调用requests库
    import requests 
    # 调用BeautifulSoup库
    from bs4 import BeautifulSoup 
    
    # 为躲避反爬机制，伪装成浏览器的请求头
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    # 返回一个Response对象，赋值给res
    res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html')
    # 把Response对象的内容以字符串的形式返回
    html = res.text
    # 把网页解析为BeautifulSoup对象
    soup = BeautifulSoup( html,'html.parser') 
    # 通过匹配标签和属性提取我们想要的数据
    items = soup.find_all(class_='books') 
    print(items) # 打印items

--------------------

## **二. 简析对象** ##

**2.1 Tag 对象**

Tag 对象的三种常用属性和方法：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

import requests # 调用requests库
    from bs4 import BeautifulSoup # 调用BeautifulSoup库
    
    # 为躲避反爬机制，伪装成浏览器的请求头
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    res =requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html')
    # 返回一个response对象，赋值给res
    html=res.text
    # 把res解析为字符串
    soup = BeautifulSoup( html,'html.parser')
    # 把网页解析为BeautifulSoup对象
    items = soup.find_all(class_='books') # 通过匹配属性class='books'提取出我们想要的元素
    for item in items: # 遍历列表items
        kind = item.find('h2') # 在列表中的每个元素里，匹配标签<h2>提取出数据
    title = item.find(class_='title') # 在列表中的每个元素里，匹配属性class_='title'提取出数据
    brief = item.find(class_='info') # 在列表中的每个元素里，匹配属性class_='info'提取出数据
    print(kind.text,'\n',title.text,'\n',title['href'],'\n',brief.text) #打印书籍的类型、名字、链接和简介的文字

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

**2.2 对象的变化过程**

> 对象操作：Response对象——字符串——BS对象： 
> 
>  *  ⼀条是BS对象——Tag对象； 
>  *  另⼀条是BS对象——列表——Tag对象；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

--------------------

## **三. BeautifulSoup 实践** ##

>  *  目标网站：http://www.xiachufang.com/explore/
>  *  网站协议：http://www.xiachufang.com/robots.txt (目标网站 + robots.txt 可查看目标网站的页面爬取许可)； 
>  *  项目目标：爬取热门菜谱清单，内含：菜名、原材料、详细烹饪流程的URL；

**3.2 过程分析**

**1）确定数据位置：**

>  *  菜名、所需材料、和菜名所对应的详情⻚URL均在 html ⻚⾯上； 
>  *  获取数据⽤ requests.get() ； 
>  *  解析数据⽤ BeautifulSoup；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

**2）提取数据：**

> **windows：**在网页的空白处点击右键，然后选择“检查”（快捷方式是ctrl+shift+i），再在 Elements 页⾯按 ctrl+f；
> 
> **mac：**在网页的空白处点击右键，然后选择“检查”（快捷键 command + option + I(大写i)）；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 8][]

> 点击【检查】页面左上角的 “⿏标” 按钮，再点击后右侧想要获取的内容可以定位到该内容对应的标签；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 9][]

--------------------

## **四. 代码实现** ##

**4.1 数据获取**

> requests.get() 获取数据，BeautifulSoup 解析数据:

**4.2 提取最小父级标签**

>  根据我们【过程分析】中所有菜谱的共同标签 class\_='info pure-u'，我们⽤ find\_all 获取所有菜谱（find\_all 获取后返回的是⼀个列表），下面我们提取出第0个⽗级标签中的第0个<a>标签，并输出菜名和URL：

**1）提取菜名：**

> 依旧是根据我们的内容定位我们的标签，可以找到菜名是在我们的标签 a 中，再用text 取到该标签对应的菜名。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 10][]

**2）提取 URL：**

>  我们发现在标签 a 后⾯的 href 有我们需要的链接，但是不完整，所以需要拼接后才能得到我们要的菜谱 URL：

**3）提取食材：**

>  我们可以看到我们的⻝材是在 p 中，但是只靠这个是不够的的，所以我们要精确取值， 
> 
> 可以看到⻝材对应的 class 属性为  ing ellipsis：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 11][]

**4.3 写循环，存列表**

**4.4 代码总结**

# 引用requests库
    import requests
    # 引用BeautifulSoup库
    from bs4 import BeautifulSoup
    
    # 为躲避反爬机制，伪装成浏览器的请求头
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    # 获取数据
    res_foods = requests.get('http://www.xiachufang.com/explore/',headers=headers)
    # 解析数据
    bs_foods = BeautifulSoup(res_foods.text,'html.parser')
    
    # 查找包含菜名和URL的<p>标签
    tag_name = bs_foods.find_all('p',class_='name')
    # 查找包含食材的<p>标签
    tag_ingredients = bs_foods.find_all('p',class_='ing ellipsis')
    # 创建一个空列表，用于存储信息
    list_all = []
    # 启动一个循环，次数等于菜名的数量
    for x in range(len(tag_name)):
        # 提取信息，封装为列表。
        list_food = [tag_name[x].text.strip(),tag_name[x].find('a')['href'],tag_ingredients[x].text.strip()]
        # 将信息添加进list_all    
        list_all.append(list_food)
    # 打印
    print(list_all)
    
    # 以下是另外一种解法
    
    # 查找最小父级标签
    list_foods = bs_foods.find_all('div',class_='info pure-u')
    # 创建一个空列表，用于存储信息
    list_all = []
    
    for food in list_foods:
        tag_a = food.find('a')
        # 菜名，使用strip()函数去掉了多余的空格
        name = tag_a.text.strip()
        # 获取URL
        URL = 'http://www.xiachufang.com'+tag_a['href']
        tag_p = food.find('p',class_='ing ellipsis')
        # 食材，使用strip()函数去掉了多余的空格
        ingredients = tag_p.text.strip()
        # 将菜名、URL、食材，封装为列表，添加进list_all
        list_all.append([name,URL,ingredients])
    
    # 打印
    print(list_all)

--------------------

## 总结 ##

程序员写代码并不是从0开始的，我们也是需要借助多个模板拼接，使得代码能够实现我们的想法，而且也并非默写出来，毕竟学习编程是开卷学习，开卷使用，本文的代码不一定一直具有有效性，毕竟爬虫与防爬也在一直进步，但本文爬虫的模板概念的介绍还是一直有效的，希望对你有帮助，加油，希望你我一同走进爬虫的世界~~

欢迎大家留言一起讨论问题~~~

--------------------

**注：本文是参考风变编程课程资料（已经授权）及部分百度资料整理所得，系博主个人整理知识的文章，如有侵权，请联系博主，感谢~**

--------------------

## 爬虫文章专栏 ##

[https://blog.csdn.net/weixin\_53919192/category\_11748211.html![icon-default.png_t_M3C8][]https://blog.csdn.net/weixin\_53919192/category\_11748211.html][https_blog.csdn.net_weixin_53919192_category_11748211.html_icon-default.png_t_M3C8_https_blog.csdn.net_weixin_53919192_category_11748211.html]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/1860e3ff287e4a3287b82214594a45f0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/c68e78f72a8a4211bb3cd53e1b7e8aa2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/1016725dd2744f1089f272018aa352ad.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/fa6eb80d1ae14cf99c6951dca2d2766f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/92469e9a428f4311b7704bdcccc7a19d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/18a4a46253a441649210b99043571372.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/eba48c3e3cb34bf98a54661553beae0c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/1e89ede7f956480caddad8ae2ed45008.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/45a6642da35e4b2d805e3068ba1d7304.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/ac3c240bcb7746669ba361788a0693b2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/54c06b56854e442698452669347c9556.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBAS1VVVUQ_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/563b76a6aa7a46f1943a263eb9809f93.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAS1VVVUQ=,size_20,color_FFFFFF,t_70,g_se,x_16
[icon-default.png_t_M3C8]: https://csdnimg.cn/release/blog_editor_html/release2.0.9/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=M3C8
[https_blog.csdn.net_weixin_53919192_category_11748211.html_icon-default.png_t_M3C8_https_blog.csdn.net_weixin_53919192_category_11748211.html]: https://blog.csdn.net/weixin_53919192/category_11748211.html