使用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”

我就是我 2024-04-24 23:22 2阅读 0赞

###### 文章目录 ######

*  前言
 *   *  项目内容
     *  项目目的
     *  项目步骤
     *  工具&模块：
     *  一、爬取数据
     *  二、数据清洗、处理：
     *  三、数据挖掘与分析：

#### 前言 ####

本文记录了笔者用 Python 爬取淘宝某商品的全过程，并对商品数据进行了挖掘与分析，最终得出结论。

##### 项目内容 #####

![在这里插入图片描述][f9d8418b9c0542cca7999d5b68b6e993.png_pic_center]

本案例选择>> 商品类目：沙发；  
数量：共100页 4400个商品；  
筛选条件：天猫、销量从高到低、价格500元以上。

##### 项目目的 #####

1.  对商品标题进行文本分析 词云可视化
2.  不同关键词word对应的sales的统计分析
3.  商品的价格分布情况分析
4.  商品的销量分布情况分析
5.  不同价格区间的商品的平均销量分布
6.  商品价格对销量的影响分析
7.  商品价格对销售额的影响分析
8.  不同省份或城市的商品数量分布
9.  不同省份的商品平均销量分布

注：本项目仅以以上几项分析为例。

##### 项目步骤 #####

1.  数据采集：Python爬取淘宝网商品数据
2.  对数据进行清洗和处理
3.  文本分析：jieba分词、wordcloud可视化
4.  数据柱形图可视化 barh
5.  数据直方图可视化 hist
6.  数据散点图可视化 scatter
7.  数据回归分析可视化 regplot

##### 工具&模块： #####

工具：本案例代码编辑工具 Anaconda的Spyder  
模块：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn 等。

##### 一、爬取数据 #####

因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次100%爬取，所以 我增加了循环爬取，每次循环爬取未爬取成功的页 直至所有页爬取成功停止。  
说明：淘宝商品页为JSON格式 这里使用正则表达式进行解析；

代码如下：

![在这里插入图片描述][901a54c87c8c4c73bef30f15587327ae.png_pic_center]

##### 二、数据清洗、处理： #####

(此步骤也可以在Excel中完成 再读入数据)

代码如下：

![在这里插入图片描述][daff1bd8347641a29bcd978637754e4a.png_pic_center]

![在这里插入图片描述][584b18ab69b545498d65d83467d77ac2.png_pic_center]

说明：根据需求，本案例中只取了 item\_loc, raw\_title, view\_price, view\_sales 这4列数据，主要对 标题、区域、价格、销量 进行分析。

代码如下:

![在这里插入图片描述][b1d3f9f467cb41c29616e7ae994c5c0c.png_pic_center]

##### 三、数据挖掘与分析： #####

【1】. 对 raw\_title 列标题进行文本分析：

使用结巴分词器，安装模块pip install jieba

![在这里插入图片描述][5cc6cd61397a4fc4af414cc4c75a0882.png_pic_center]

对 title\_s（list of list 格式）中的每个list的元素（str）进行过滤 剔除不需要的词语，即 把停用词表stopwords中有的词语都剔除掉：

![在这里插入图片描述][93bb26321c614a508e19974d51373d7a.png_pic_center]

因为下面要统计每个词语的个数，所以 为了准确性 这里对过滤后的数据 title\_clean 中的每个list的元素进行去重，即 每个标题被分割后的词语唯一。

![在这里插入图片描述][bc39b002ee3f4bf3997a93a729fc0f88.png_pic_center]

观察 word\_count 表中的词语，发现jieba默认的词典 无法满足需求：  
有的词语（如 可拆洗、不可拆洗等）却被cut，这里根据需求对词典加入新词（也可以直接在词典dict.txt里面增删，然后载入修改过的dict.txt）

![在这里插入图片描述][00de16fa0f9e46268923c82de14d980a.png_pic_center]

**词云可视化：**

安装模块 wordcloud：  
方法1： pip install wordcloud  
方法2： 下载Packages安装：pip install 软件包名称  
软件包下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/\#wordcloud

注意：要把下载的软件包放在Python安装路径下。

代码如下：

![在这里插入图片描述][276f21ebad874f9ab5d7ecb113043375.png_pic_center]

![在这里插入图片描述][6f655000614646ab82930658319caabd.png_pic_center]

**分析结论：**

1.  组合、整装商品占比很高；
2.  从沙发材质看：布艺沙发占比很高，比皮艺沙发多；
3.  从沙发风格看：简约风格最多，北欧风次之，其他风格排名依次是美式、中式、日式、法式 等；
4.  从户型看：小户型占比最高、大小户型次之，大户型最少。

【2】. 不同关键词word对应的sales之和的统计分析：

（说明：例如 词语 ‘简约’，则统计商品标题中含有‘简约’一词的商品的销量之和，即求出具有‘简约’风格的商品销量之和）

代码如下：

![在这里插入图片描述][980cfadd80654f68afc3d095fbd38d4d.png_pic_center]

对表df\_word\_sum 中的 word 和 w\_s\_sum 两列数据进行可视化  
（本例中取销量排名前30的词语进行绘图）

![在这里插入图片描述][93e8457954a14ac7885d2c33c8c6bb68.png_pic_center]

![在这里插入图片描述][21328feeb552417997a21726e4d5e199.png_pic_center]

由图表可知：

1.  组合商品销量最高 ；
2.  从品类看：布艺沙发销量很高，远超过皮艺沙发；
3.  从户型看：小户型沙发销量最高，大小户型次之，大户型销量最少；
4.  从风格看：简约风销量最高，北欧风次之，其他依次是中式、美式、日式等；
5.  可拆洗、转角类沙发销量可观，也是颇受消费者青睐的。

【3】. 商品的价格分布情况分析：

分析发现，有一些值太大，为了使可视化效果更加直观，这里我们结合自身产品情况，选择价格小于20000的商品。

代码如下：

![在这里插入图片描述][02b83f311913421b841c269be155d80e.png_pic_center]

![在这里插入图片描述][777e861d58e44b859960e2a8eb3630fa.png_pic_center]

由图表可知：

1.  商品数量随着价格总体呈现下降阶梯形势，价格越高，在售的商品越少；
2.  低价位商品居多，价格在500-1500之间的商品最多，1500-3000之间的次之，价格1万以上的商品较少；
3.  价格1万元以上的商品，在售商品数量差异不大。

【4】. 商品的销量分布情况分析：

![在这里插入图片描述][f8707e0e47a848fb9b17fc026877c6f0.png_pic_center]

![在这里插入图片描述][cf9c3b1f5db748d68ef37c45eaa0e7bd.png_pic_center]

同样，为了使可视化效果更加直观，这里我们选择销量大于100的商品。

代码如下：

由图表及数据可知：

1.  销量100以上的商品仅占3.4% ，其中销量100-200之间的商品最多，200-300之间的次之；
2.  销量100-500之间，商品的数量随着销量呈现下降趋势，且趋势陡峭，低销量商品居多；
3.  销量500以上的商品很少。

【5】. 不同价格区间的商品的平均销量分布：

代码如下：

![在这里插入图片描述][0a4805f12f8a4cf692ac41fb18ff7724.png_pic_center]

![在这里插入图片描述][f4d03e16c9c1428abef90494225cb39e.png_pic_center]

由图表可知：

1.  价格在1331-1680之间的商品平均销量最高，951-1331之间的次之，9684元以上的最低；
2.  总体呈现先增后减的趋势，但最高峰处于相对低价位阶段；
3.  说明广大消费者对购买沙发的需求更多处于低价位阶段，在1680元以上 价位越高 平均销量基本是越少。

【6】. 商品价格对销量的影响分析：

同上，为了使可视化效果更加直观，这里我们结合自身产品情况，选择价格小于20000的商品。

代码如下：

![在这里插入图片描述][c63c4e94411e4b05ae9e385789693b08.png]

![在这里插入图片描述][4d3669e1245a4a2ca22af69cfaa3bb26.png_pic_center]

由图表可知：

1.  总体趋势：随着商品价格增多 其销量减少，商品价格对其销量影响很大；
2.  价格500-2500之间的少数商品销量冲的很高，价格2500-5000之间的商品多数销量偏低，少数相对较高，但价格5000以上的商品销量均很低 没有销量突出的商品。

【7】. 商品价格对销售额的影响分析：

代码如下：

![在这里插入图片描述][ce67a71efe8f450a844eb1961d8c3022.png_pic_center]

由图表可知：

1.  总体趋势：由线性回归拟合线可以看出，商品销售额随着价格增长呈现上升趋势；
2.  多数商品的价格偏低，销售额也偏低；
3.  价格在0-20000的商品只有少数销售额较高，价格2万-6万的商品只有3个销售额较高，价格6-10万的商品有1个销售额很高，而且是最大值。

【8】. 不同省份的商品数量分布：

代码如下：

![在这里插入图片描述][9ef0a4f8ea694af7b1f2b426802df02f.png_pic_center]

![在这里插入图片描述][5695aaf563094c24b613cb6439ecfe6f.png_pic_center]

由图表可知：

1.  广东的最多，上海次之，江苏第三，尤其是广东的数量远超过江苏、浙江、上海等地，说明在沙发这个子类目，广东的店铺占主导地位；
2.  江浙沪等地的数量差异不大，基本相当。

【9】. 不同省份的商品平均销量分布：

代码如下：

![在这里插入图片描述][be1085d6cc3e44aaaf31b25000860d3b.png_pic_center]

![在这里插入图片描述][ab43bc116ae149f2b23ca8295d7d304f.png_pic_center]

**总结**

以上所述是小编给大家介绍的使用Python爬了4400条淘宝商品数据,竟发现了这些“潜规则”，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对小编的支持！

**-END-**

--------------------

### 关于Python学习指南 ###

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

##### 👉Python所有方向的学习路线👈 #####

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。**（全套教程文末领取）**

![在这里插入图片描述][3c4ee87941694f3789398db3d52a2637.png_pic_center]

##### 👉Python学习视频600合集👈 #####

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

![在这里插入图片描述][64c89bf6293d4699bf7ee8f34b9e69fd.png_pic_center]

##### 温馨提示：篇幅有限，已打包文件夹，获取方式在：文末 #####

##### 👉Python70个实战练手案例&源码👈 #####

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

![在这里插入图片描述][2017b67544f94e8898db755e2703224a.png_pic_center]

##### 👉Python大厂面试资料👈 #####

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自**阿里、腾讯、字节等一线互联网大厂**最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![在这里插入图片描述][3055c54d3224495987c589f150324d73.png_pic_center]

![在这里插入图片描述][b0751719fe914aec8c8d09f62f772e44.png_pic_center]

##### 👉Python副业兼职路线&方法👈 #####

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

![在这里插入图片描述][01bcd7cbfd6d43fb85ef410766735154.png_pic_center]

**👉** **这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取**【**`保证100%免费`**】

![28c313fe0bc8cfd922b6246074689e50.png][]

[f9d8418b9c0542cca7999d5b68b6e993.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/9e2dc8b6a03c4f19b3c17824ec3af635.png
[901a54c87c8c4c73bef30f15587327ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/741bdf53c21d4f88bc611e78bd8e5bfb.png
[daff1bd8347641a29bcd978637754e4a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/3b11fc7c45664ed493c9984d94a60683.png
[584b18ab69b545498d65d83467d77ac2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/c4a53dded856492da907c3b66081ab78.png
[b1d3f9f467cb41c29616e7ae994c5c0c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/b739adcbb9bb4006a932ac634736efca.png
[5cc6cd61397a4fc4af414cc4c75a0882.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/660d8b98c604427c972925d82ee643e8.png
[93bb26321c614a508e19974d51373d7a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/043b6efbff3a46f9b7c6140a699f1e8e.png
[bc39b002ee3f4bf3997a93a729fc0f88.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/06f7d42599e14e59ac4be753a90cab5e.png
[00de16fa0f9e46268923c82de14d980a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/5a5c1bf181bb4f5b8664b7523a5023bb.png
[276f21ebad874f9ab5d7ecb113043375.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2205e0fde6b44a5eaeb36b45cd505aa1.png
[6f655000614646ab82930658319caabd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/9017bcce929742a28d011432c06f4d8d.png
[980cfadd80654f68afc3d095fbd38d4d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/95dde8584c6f4efa9b5ce0a6c5965862.png
[93e8457954a14ac7885d2c33c8c6bb68.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2cb6fc22b93a42b99dbd6a960e92f5cf.png
[21328feeb552417997a21726e4d5e199.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/892449a639724c39a3ee921167581e27.png
[02b83f311913421b841c269be155d80e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/e4bb437be2a8403c9d7d5bc6ccd1c194.png
[777e861d58e44b859960e2a8eb3630fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/7ca15485e63242918c52307e3f1d84e1.png
[f8707e0e47a848fb9b17fc026877c6f0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/d5f1e0db8d834d88a03b3a8f0099c0ef.png
[cf9c3b1f5db748d68ef37c45eaa0e7bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/ec1db59f7e0440a29995f60055cff8b6.png
[0a4805f12f8a4cf692ac41fb18ff7724.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/076f5e57e5084904a2d3e17f56e11ac5.png
[f4d03e16c9c1428abef90494225cb39e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/279f066519a64d3297cfe210515632a3.png
[c63c4e94411e4b05ae9e385789693b08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/b4a45e6c22f849dcb390ddded8a5727f.png
[4d3669e1245a4a2ca22af69cfaa3bb26.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/f0f7911f5adb4675ba0539ced5110357.png
[ce67a71efe8f450a844eb1961d8c3022.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/27329a971b024dc8b961d3c2e36a5b97.png
[9ef0a4f8ea694af7b1f2b426802df02f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/0d2f8b72ea8d4bd2a6d18ab7465e8d4a.png
[5695aaf563094c24b613cb6439ecfe6f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1bbd8b60a4fb42a9b0483157ab567903.png
[be1085d6cc3e44aaaf31b25000860d3b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/505d819a8e8a4bbebb0d50e17b6675e4.png
[ab43bc116ae149f2b23ca8295d7d304f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/e1d2c57ba7244520808575f967492f90.png
[3c4ee87941694f3789398db3d52a2637.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/4088f0b5741d4079a6bab5cc6e588705.png
[64c89bf6293d4699bf7ee8f34b9e69fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/364c6d1b98034162b04919682d667dfb.png
[2017b67544f94e8898db755e2703224a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/b429f68faeb04efab4df7da9bc5da8f0.png
[3055c54d3224495987c589f150324d73.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/bb0581a3683c45a98119a609d1253f60.png
[b0751719fe914aec8c8d09f62f772e44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/15378bd6bfbc465890cd391823bad416.png
[01bcd7cbfd6d43fb85ef410766735154.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/c69018d121f64783902d7d7a616f83b3.png
[28c313fe0bc8cfd922b6246074689e50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2b4c397c49664700abc79c9cd56dfa0c.png