用Python爬取了某宝1166家月饼数据进行可视化分析，终于找到最好吃的月饼~

亦凉 2022-09-12 09:56 171阅读 0赞

![a2783a5a6441f83c81c6ec0bd55f2e36.png][]

大家好，我是志斌~

不知道大家有没有跟志斌一样的选择困难症，面对琳琅满目的商品，不知道挑哪款月饼好。

不过好在志斌会Python，将淘宝上的月饼商品都爬取了下来，并进行可视化分析，从而你看看哪款月饼是最合适的。

数据采集

数据采集是数据可视化分析的第一步，也是最基础的一步，数据采集的数量和质量越高，后面分析的准确的也就越高，我们来看一下淘宝网的数据该如何爬取。

淘宝网站是一个动态加载的网站，我们之前可以采用解析接口或者用Selenium自动化测试工具来爬取数据，但是现在淘宝对接口进行了加密，使我们很难分析出来其中的规律，同时淘宝也对Selenium进行了反爬限制，所以我们要换种思路来进行数据获取。

志斌打开开发者模式，开始对网页进行观察后发现，淘宝商品的数据竟然在源网页中以注释的方式存储着。

![d18e240265d894b1a4463c0a457ad081.png][]

已经发现了数据存储的位置和方式，那我们可以直接构建爬虫了，部分代码如下：

import requests
    import re
    import openpyxlresponse = requests.get(url, headers=headers, params=params)for i in range(44): try:
         if (fukuanrenshu[i] == '1.5万+'):
             f = 15000
         elif (fukuanrenshu[i] == '1.0万+'):
             f = 10000
         elif ('+'in fukuanrenshu[i]):
             f = re.findall('\d+', fukuanrenshu[i])
         else:
             f = fukuanrenshu[i]
         if float(jiage[i]) > 10:
             sheet.append([dianpumingcheng[i], shangpinming[i], float(jiage[i]), fahuodi[i], f])

数据清洗

数据采集后，要对其进行清洗，剔除脏数据，有助于提高分析的准确性。

**01**

导入商品数据

用pandas读取爬取后的商品数据并预览。

import pandas as pd
    df = pd.read_excel('月饼.xlsx',names=['店铺名称','商品名','价格','产地','付款人数'])
    print(df.head())

![f37b60689d43c9ce7b583cdec08d8cd8.png][]

**02**

删除重复数据

df.drop_duplicates()

**03**

查看数据类型

查看字段类型和缺失值情况，符合分析需要，无需另做处理。

df.info()

![9223f40e582b226de938d11ac7462645.png][]

可视化分析

我们来对这1166家月饼商品数据进行可视化分析。可视化图是由Python、Tableau和Excel共同绘制而来。

**01**

在售月饼的特点

通过对月饼的商品名称进行词云图绘制，志斌发现蛋黄、广式、五仁、莲蓉、豆沙味的月饼售卖较多，同时淘宝上售卖的月饼大多是用来给人们送礼的。

![8506f23cbb51ed70f71bb73dd083bdd4.png][]

制作代码如下：

from imageio import imread
    import jieba
    from wordcloud import WordCloud, STOPWORDS
    
    with open("1.txt",'r',encoding='utf-8') as f:
      job_title_1 = f.read()
    contents_cut_job_title = jieba.cut(job_title_1)
    contents_list_job_title = " ".join(contents_cut_job_title)
    wc = WordCloud(stopwords=STOPWORDS.add("一个"), collocations=False,
                 background_color="white",
                 font_path=r"K:\msyh.ttc",
                 width=400, height=300, random_state=42,
                 mask=imread('月饼.jpg', pilmode="RGB")
                 )
    wc.generate(contents_list_job_title)
    wc.to_file("推荐语.png")

**02**

各省产量分布图

通过对各商品的产地数据进行统计并绘制了全国地图，我们发现广东、浙江和北京这三个地方生产月饼最多，分别是312家、221家和131家。

![f7010157c816d2c514bbd6ca28b3b221.gif][]

制作代码如下：

import openpyxl
    from collections import Counter
    from pyecharts import Map
    wb = openpyxl.load_workbook('月饼.xlsx')
    sheet = wb['Sheet']
    a = []
    for i in range(2,1960):
      D = sheet[f'D{i}']
      a.append(D.value)
    province_distribution = dict(Counter(a))
    provice = list(province_distribution.keys())
    values = list(province_distribution.values())
    map = Map("中国地图",width=1200, height=600)
    map.add("", provice, values, visual_range=[0, 50], maptype='china', is_visualmap=True,
    visual_text_color='#000',is_label_show=True)
    map.render(path="地图.html")

我们进一步对广东省的产地数据进行分析发现，广州的月饼商家最多，占全省的40%。

![20a6df830d47ac803d41bbf549936830.png][]

**03**

月饼价格区间分布

我们对月饼价格以100为分点，进行可视化后发现，价格在100以内的月饼商品最多，有478家，其次是价格在100-200之间的，有399家。看来月饼的价格还是相对便宜的~

![19668891b01d0f097ef82d65577c9105.png][]

**04**

月饼月销量top20商家

我们发现月饼销量top20的商店都是旗舰店，看来大家在网上购买食品类商品时还是喜欢去官方的店铺进行购买。其中稻香村食品店的月饼销量最高，志斌一会去这家看看。

![b93c666ff18447a3fe37560b49e76f64.png][]

看完月销量，在来看看月销额。我们发现美心官方旗舰店的月销额很高，但是它的月销量很低，看来它的月饼商品价格略高。

![8af9ad68469248ea15609ddc7dbd3163.png][]

**05**

志斌入手的月饼

经过以上的分析和对宝贝的评价、好评率等数据进行综合考虑之后，志斌最终选择购买这款月饼来送给长辈。

![ce2ccb775358954f266fb95c7b7130a5.png][]

小结

本文仅供学习研究使用，提供的评论仅供参考。如有不妥之处请及时告知作者。

[a2783a5a6441f83c81c6ec0bd55f2e36.png]: /images/20220828/99192d15fc93454da32c8ec2b1fc281d.png
[d18e240265d894b1a4463c0a457ad081.png]: /images/20220828/8a096c06759442ffadb38343f2667041.png
[f37b60689d43c9ce7b583cdec08d8cd8.png]: /images/20220828/524766f299ef48edbfd6aa70ddfb8e15.png
[9223f40e582b226de938d11ac7462645.png]: /images/20220828/f7942a240800489a99d366019ce0b0ad.png
[8506f23cbb51ed70f71bb73dd083bdd4.png]: /images/20220828/5dbb58ab6e644a8b95d0a363ad38a292.png
[f7010157c816d2c514bbd6ca28b3b221.gif]: /images/20220828/27d281b93ff64c68a341c2caae5f5488.png
[20a6df830d47ac803d41bbf549936830.png]: /images/20220828/8d90909b338f46db88febee777661f99.png
[19668891b01d0f097ef82d65577c9105.png]: /images/20220828/40ea3cbd4cb24271afc1e0474b1a649f.png
[b93c666ff18447a3fe37560b49e76f64.png]: /images/20220828/eac6381673c54ebc972ed9a2554d22b6.png
[8af9ad68469248ea15609ddc7dbd3163.png]: /images/20220828/92cc4f647ae54a07bcf868e63b128b6b.png
[ce2ccb775358954f266fb95c7b7130a5.png]: /images/20220828/822313f3413343d582176975135faa8f.png