Python实战 | “端午节” 送亲戚，送长辈，粽子可视化大屏来帮忙！

傷城~ 2022-10-06 09:51 147阅读 0赞

> **公众号：「`杰哥的IT之旅`」，后台回复：「`粽子`」即可获取本文完整数据**

### 本文简介 ###

今年，我用 Python 爬取了京东上面的 **“粽子数据”** 进行分析，看看有啥发现吧！

本文就从**数据爬取**、**数据清洗**、**数据可视化**，这三个方面入手，但你简单完成一个小型的数据分析项目，让你对知识能够有一个综合的运用。

#### 整个思路如下： ####

*  **爬取网页：** https://www.jd.com/
 *  **爬取说明：** 基于京东网站，我们搜索网站“粽子”数据，大概有100页。我们爬取的字段，既有一级页面的相关信息，还有二级页面的部分信息；
 *  **爬取思路：** 先针对某一页数据的一级页面做一个解析，然后再进行二级页面做一个解析，最后再进行翻页操作；
 *  **爬取字段：** 分别是粽子的名称（标题）、价格、品牌（店铺）、类别（口味）；
 *  **使用工具：** requests+lxml+pandas+time+re+pyecharts
 *  **网站解析方式：** xpath

#### 最终的效果如下： ####

![图片][9a7dad94e7cfc0b654622258db10b1dd.png]

### 数据爬取 ###

京东网站，一般是**动态加载**的，也就是说，采用一般方式只能爬取到某个页面的前30个数据（一个页面一共60个数据）。

基于本文，我仅用**最基本**的方法，爬取了每个页面的前30条数据（如果大家有兴趣，可以自行下去爬取所有的数据）。

那么，本文究竟爬取了哪些字段呢？我给大家**做一个展示**，大家有兴趣，可以爬取更多的字段，做更为详细的分析。

![图片][8dc8e21d4f0187b57e49f667447729eb.png]

下面为大家展示爬虫代码：

import pandas as pd
    import requests
    from lxml import etree
    import chardet
    import time
    import re
    
    def get_CI(url):
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; X64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}
        rqg = requests.get(url,headers=headers)
        rqg.encoding = chardet.detect(rqg.content)['encoding']
        html = etree.HTML(rqg.text)
        
        # 价格
        p_price = html.xpath('//div/div[@class="p-price"]/strong/i/text()')
        
        # 名称
        p_name = html.xpath('//div/div[@class="p-name p-name-type-2"]/a/em')
        p_name = [str(p_name[i].xpath('string(.)')) for i in range(len(p_name))]
        
        # 深层url
        deep_ur1 = html.xpath('//div/div[@class="p-name p-name-type-2"]/a/@href')
        deep_url = ["http:" + i for i in deep_ur1]
        
        # 从这里开始，我们获取“二级页面”的信息           
        brands_list = []
        kinds_list = []
        for i in deep_url:
            rqg = requests.get(i,headers=headers)
            rqg.encoding = chardet.detect(rqg.content)['encoding']
            html = etree.HTML(rqg.text)
                              
            # 品牌
            brands = html.xpath('//div/div[@class="ETab"]//ul[@id="parameter-brand"]/li/@title')
            brands_list.append(brands)
                            
            # 类别
            kinds = re.findall('>类别：(.*?)</li>',rqg.text)
            kinds_list.append(kinds)
                               
        data = pd.DataFrame({'名称':p_name,'价格':p_price,'品牌':brands_list,'类别':kinds_list})
        return(data)
                               
    x = "https://search.jd.com/Search?keyword=%E7%B2%BD%E5%AD%90&qrst=1&wq=%E7%B2%BD%E5%AD%90&stock=1&page="
    url_list = [x + str(i) for i in range(1,200,2)] 
    res = pd.DataFrame(columns=['名称','价格','品牌','类别'])
    
    # 这里进行“翻页”操作
    for url in url_list:
        res0 = get_CI(url)
        res = pd.concat([res,res0])
        time.sleep(3)
    
    # 保存数据
    res.to_csv('aliang.csv',encoding='utf_8_sig')

#### 最终爬取到的数据： ####

![图片][476626d35c8ecbcba9f6d84a0d49e5a3.png]

### 数据清洗 ###

从上图可以看到，整个数据算是很整齐的，**不是特别乱**，我们只做一些简单的操作即可。

先使用pandas库，来读取数据。

import pandas as pd
    
    df = pd.read_excel("粽子.xlsx",index_col=False)
    df.head()

**结果如下：**

![图片][4509121476c3429d5521d1b4b2e7a932.png]

我们分别针对 **“品牌”**、**“类别**”\*\*\*\* 两个字段，去掉中括号。

df["品牌"] = df["品牌"].apply(lambda x: x[1:-1])
    df["类别"] = df["类别"].apply(lambda x: x[1:-1])
    df.head()

**结果如下：**

![图片][40dd9a2d5b7231202fdf7b1646e7e539.png]

#### 粽子品牌排名前10的店铺 ####

df["品牌"].value_counts()[:10]

结果如下：

![图片][56d1066c98a1c337d7f359d01adc6eac.png]

#### 粽子口味排名前5的味道 ####

def func1(x):
        if x.find("甜") > 0:
            return "甜粽子"
        else:
            return x
    df["类别"] = df["类别"].apply(func1)
    df["类别"].value_counts()[1:6]

**结果如下：**

![图片][20ce1c5d41556c8a4ca3fa73f32f4a15.png]

#### 粽子售卖价格区间划分 ####

def price_range(x): # 按照我的购物习惯，划分价格
        if x <= 50:
            return '<50元'
        elif x <= 100:
            return '50-100元'
        elif x <= 300:
            return '100-300元'
        elif x <= 500:
            return '300-500元'
        elif x <= 1000:
            return '500-1000元'
        else:
            return '>1000元'
    
    df["价格区间"] = df["价格"].apply(price_range)
    df["价格区间"].value_counts()

**结果如下：**

![图片][43c755193a4b11ec88227a34dd8489ab.png]

由于数据不是很多，没有很多字段，也就没有很多乱数据。因此，这里也没有做数据去重、**缺失值填充**等操作。所以，大家可以下去获取更多字段，更多数据，用于数据分析。

### 数据可视化 ###

**俗话说：字不如表，表不如图**。通过可视化分析，我们可以将数据背后 **“隐藏”** 的信息，给展现出来。

**拓展：** 当然，这里只是 **“抛砖引玉”**，我并没有获取太多的数据，也没有获取太多的字段。这里给学习的朋友当一个作业题，自己下去用更多的数据、更多的字段，做更透彻的分析。

在这里，我们基于以下几个问题，做一个可视化展示，分别是：

*  粽子销售店铺Top10柱形图；
 *  粽子口味排名Top5柱形图；
 *  粽子销售价格区间划分饼图；
 *  粽子商品名称词云图；

**鉴于整个文章排版，本文可视化部分的代码均可在本文末尾获取。**

#### 粽子销售店铺Top10柱形图 ####

![图片][44f9d51bf17b7d232228d2f5823e1367.png]

**结论分析：** 去年，我们分析了一些月饼的数据，**“五芳斋”**、**“北京稻香村”** 这几个牌子记忆犹新，可谓是做月饼、粽子的老店。像 **“三全”** 和 **“思念”**，在我印象中一直以为它们只做水饺和汤圆，粽子是否值得一试呢？当然，这里还有一些新的牌子，像 **“诸老大”**、**“稻香私房”** 等一些牌子，大家都可以下去搜索一下。买东西，就是要精挑细选，品牌也重要。

#### 粽子口味排名Top5柱形图 ####

![图片][d998b75741f2d85c69ee6125809ccb50.png]

**结论分析：** 在我印象中，小时候一直吃的最多的就是 **“甜粽子”**，直到我上了初中才知道，粽子还可以有肉？当然，从图中可以看出，卖 **“鲜肉粽”** 的店铺还是居多，毕竟这个送人，还是显得高端、大气一些。这里还有一些口味，像 **“蜜枣粽”**、**“豆沙粽”**，我基本没吃过。如果你送人，你会送什么口味的呢？

#### 粽子销售价格区间划分饼图 ####

![图片][85eff04d0beb25404a5e4e7f8ad69b89.png]

**结论分析：** 这里，我故意把价格区间细分。这个饼图也很符合实际，毕竟每年就过一次端午节，还是以薄利多销为主，**接近80%的粽子，售价都在100元以下**。当然，还有一些中档的粽子，价格在100-300元。大于300元，我觉得也没有吃的必要，反正我是不会花这么多钱去买粽子。

#### 粽子商品名称词云图 ####

![图片][5bb2cced9a70f6f28a5ef219fab5a8ef.png]

**结论分析：** 从图中，可以大致看出商家的卖点了。毕竟是节日，**“送礼”**、**“礼品”** 体现了节日氛围。**“猪肉”**、**“豆沙”** 体现了粽子口味。当然，它是否是 **“早餐”** 好选择呢？购买的话，还支持 **“团购”** 哦。这些字眼，多多少少都会各自吸引一部分人的眼球。

#### 图形组合为大屏 ####

![图片][c059e003063b7392938bab06b30334a9.png]

本文的可视化采用的pyecharts库，进行绘制。我们先单独做好每一张图，然后进行图形整合，即可做出一张漂亮的可视化大屏。**关于如何制作，可以文末获取我的源代码文件！【粽子.ipynb】**

![图片][e573517a0a5ab19a66104950b3e64e13.png]

### 推荐阅读 ###

[我去，原来 520 情人节大家都在买这款口红！][520]

[利用 Python 爬取了 13966 条运维招聘信息，我得出了哪些结论？][Python _ 13966]

[利用 Python 爬取了 37483 条上海二手房信息，我得出的结论是？][Python _ 37483]

[利用 Python 分析了某化妆品企业的销售情况，我得出的结论是？][Python]

[我用 Python 分析了一波热卖年货，原来大家都在买这些东西？][Python 1]

> 原文链接：[Python实战 | “端午节” 送亲戚，送长辈，粽子可视化大屏来帮忙！][Python_ _ _]

--------------------

**原创不易，码字不易。 觉得这篇文章对你有点用的话，麻烦你为本文点个赞，留言或转发一下，因为这将是我输出更多优质文章的动力，感谢！**

⬇⬇⬇⬇⬇⬇⬇⬇

[9a7dad94e7cfc0b654622258db10b1dd.png]: /images/20221005/9062f9e634f24f7cb0cbdf43f62105c5.png
[8dc8e21d4f0187b57e49f667447729eb.png]: /images/20221005/ada63401b107446dbdab20f3307816ee.png
[476626d35c8ecbcba9f6d84a0d49e5a3.png]: /images/20221005/0e80ebb75cc04c9e92b52364327e9c3d.png
[4509121476c3429d5521d1b4b2e7a932.png]: /images/20221005/cf0ae5ae9944446cad352ff9084ba403.png
[40dd9a2d5b7231202fdf7b1646e7e539.png]: /images/20221005/5bf33615cd4c4c4682721fa14596a2b4.png
[56d1066c98a1c337d7f359d01adc6eac.png]: /images/20221005/3228b444950e437e9cfe07aad4acb209.png
[20ce1c5d41556c8a4ca3fa73f32f4a15.png]: /images/20221005/cc1831156b5241f8b3f8a98c271fa932.png
[43c755193a4b11ec88227a34dd8489ab.png]: /images/20221005/9dd2a16accd8485396502906fe10cb23.png
[44f9d51bf17b7d232228d2f5823e1367.png]: /images/20221005/c4183e54c9c449c8a92aa68813cdbfd8.png
[d998b75741f2d85c69ee6125809ccb50.png]: /images/20221005/92572f71f62b4faa9884064082d314f5.png
[85eff04d0beb25404a5e4e7f8ad69b89.png]: /images/20221005/48865c9873ae4caba6c209aab0d9e372.png
[5bb2cced9a70f6f28a5ef219fab5a8ef.png]: /images/20221005/1306ca084e914e97b7c4094a3be0bde0.png
[c059e003063b7392938bab06b30334a9.png]: /images/20221005/00119e3eded74127907c9295adf36251.png
[e573517a0a5ab19a66104950b3e64e13.png]: /images/20221005/8c63d0e9e17042f79ca7005919b8c74d.png
[520]: https://jacktian.blog.csdn.net/article/details/106227429
[Python _ 13966]: https://jacktian.blog.csdn.net/article/details/107217027
[Python _ 37483]: https://jacktian.blog.csdn.net/article/details/108157761
[Python]: https://jacktian.blog.csdn.net/article/details/113445245
[Python 1]: https://jacktian.blog.csdn.net/article/details/113740057
[Python_ _ _]: https://blog.csdn.net/weixin_41261833/article/details/116904217