Python、PHP/JAVA/C#电商评论数据采集与分析

我会带着你远行 2024-02-05 19:07 33阅读 0赞

**引言**

在电商竞争日益激烈的情况下，商家既要提高产品质量，又要洞悉客户的想法和需求，关注客户购买商品后的评论，而第三方商家获取商品评价主要依赖于人工收集，不但效率低，而且准确度得不到保障。通过使用Python网络爬虫技术采集近期店铺商品评论信息，进行数据清洗、分词、去除停用词、词频统计等数据预处理，最终绘制词云图实现数据可视化，并对数据结果进行分析，为商家提高选品质量、制定个性化的营销策略提供依据。

### item\_review-获得淘宝京东商品评论 ###

请求地址：[taobao.item\_review/jd.item\_review][taobao.item_review_jd.item_review]

公共参数

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>类型</th> 
   <th>必须</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>key</td> 
   <td>String</td> 
   <td>是</td> 
   <td>调用key（必须以GET方式拼接在URL中）</td> 
  </tr> 
  <tr> 
   <td>secret</td> 
   <td>String</td> 
   <td>是</td> 
   <td>调用密钥</td> 
  </tr> 
  <tr> 
   <td>api_name</td> 
   <td>String</td> 
   <td>是</td> 
   <td>API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]</td> 
  </tr> 
  <tr> 
   <td>cache</td> 
   <td>String</td> 
   <td>否</td> 
   <td>[yes,no]默认yes，将调用缓存的数据，速度比较快</td> 
  </tr> 
  <tr> 
   <td>result_type</td> 
   <td>String</td> 
   <td>否</td> 
   <td>[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读</td> 
  </tr> 
  <tr> 
   <td>lang</td> 
   <td>String</td> 
   <td>否</td> 
   <td>[cn,en,ru]翻译语言，默认cn简体中文</td> 
  </tr> 
  <tr> 
   <td>version</td> 
   <td>String</td> 
   <td>否</td> 
   <td>API版本</td> 
  </tr> 
 </tbody> 
</table>

请求参数

请求参数：num\_iid=600530677643&data=&page=1

参数说明：num\_iid:淘宝商品ID  
sort:排序 0：默认排序 ，1： 最新排序

响应参数

Version: Date:

<table> 
 <thead> 
  <tr> 
   <th>名称</th> 
   <th>类型</th> 
   <th>必须</th> 
   <th>示例值</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td> <p>rate_content</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>衣服面料很好 穿起来很舒服 衣服挺合适的！</td> 
   <td>评论内容</td> 
  </tr> 
  <tr> 
   <td> <p>rate_date</p> </td> 
   <td>Date</td> 
   <td>0</td> 
   <td>2019-03-16 12:10:24</td> 
   <td>评论日期</td> 
  </tr> 
  <tr> 
   <td> <p>pics</p> </td> 
   <td>MIX</td> 
   <td>0</td> 
   <td>["//img.alicdn.com/bao/uploaded/i4/O1CN01Zmq4QI1dqwnpBIxmX_!!0-rate.jpg"]</td> 
   <td>评论图片</td> 
  </tr> 
  <tr> 
   <td> <p>display_user_nick</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>李***0</td> 
   <td>买家昵称</td> 
  </tr> 
  <tr> 
   <td> <p>auction_sku</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>颜色:加绒;尺码:2XL</td> 
   <td>评论商品属性</td> 
  </tr> 
  <tr> 
   <td> <p>rate_id</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>1182747118197</td> 
   <td>评论ID</td> 
  </tr> 
  <tr> 
   <td> <p>add_feedback</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>衣服面料很好 穿起来很舒服 衣服挺合适的！</td> 
   <td>追评内容</td> 
  </tr> 
  <tr> 
   <td> <p>add_feedback_images</p> </td> 
   <td>MIX</td> 
   <td>0</td> 
   <td>["//img.alicdn.com/bao/uploaded/i4/O1CN01Zmq4QI1dqwnpBIxmX_!!0-rate.jpg"]</td> 
   <td>追评图片</td> 
  </tr> 
  <tr> 
   <td> <p>video</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>http://cloud.video.taobao.com/play/u/416a306c576e44524a75367539493165745863466b513d3d/p/1/d/sd/e/6/t/1/288913501300.mp4</td> 
   <td>视频地址</td> 
  </tr> 
  <tr> 
   <td> <p>videoCover</p> </td> 
   <td>String</td> 
   <td>0</td> 
   <td>https://img.alicdn.com/imgextra/i3/O1CN01cvjYjY28SRpqyDJIN_!!0-tbbala.jpg</td> 
   <td>视频截图</td> 
  </tr> 
 </tbody> 
</table>

**结语**

为提升电商平台第三方商家收集商品评论信息的效率，获取具有参考价值的选品指标和客户需求，实现更好的收益，在此使用Python网络爬虫技术对店铺商品评论数据进行采集和保存，对爬取的评论记录进行数据清洗、中文分词、去除停用词、词频统计等预处理操作，并以此为基础绘制词云图，实现数据可视化。根据正负面词云图对客户评论做进一步分析，以获取客户的实际需求和商品需要优化的方向，帮助商家掌握核心卖。

![图片][56198a0ac55fd15fde508739c0e24b1c.png]

商品评论数据采集数据展示（部分）

![0729002d1b834d8d833683108aa2cce7.png][]

[taobao.item_review_jd.item_review]: https://o0b.cn/jennif
[56198a0ac55fd15fde508739c0e24b1c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/9d196103f4ae4e9fb6188f5803a55796.png
[0729002d1b834d8d833683108aa2cce7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/30/2330983c042641f583f67cd5dd730139.png