Python爬取某东羽绒服数据，用可视化帮你挑选心仪的衣服

ゞ浴缸里的玫瑰 2022-12-26 10:13 105阅读 0赞

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章附带菜J学Python ，作者J哥

刚接触Python的新手、小白，可以复制下面的链接去**免费观看Python的基础入门教学视频**

https://v.douyu.com/author/y6AZ4jn9jwKW

# 前言 #

前就在上，广深的朋友估计还穿着短袖羡慕着北方的下雪气氛。结果就在上周，广深也迎来了降温，大家纷纷加入“降温群聊”。

![fbe6fbe7f31a5e4e24e168c715ce91e0.png][]

为了帮助大家抵抗御严寒，我特地爬了下京东的羽绒服数据。为啥不是天猫呢，理由很简单，滑块验证有点麻烦。

# 数据获取 #

京东网站是一个ajax动态加载的网站，只能通过解析接口或使用硒自动化测试工具去爬取。关于动态网页爬虫，本公众号历史原创文章介绍过，感兴趣的朋友可以去了解一下。

本次数据获取采用硒，由于我的谷歌浏览器版本更新较快，导致原来的谷歌驱动程序中断。于是，我替换了浏览器自动更新，并下载了对应版本的驱动。

接着，利用硒在京东网搜索羽绒服，手机扫码登录，获得了羽绒服的商品名称，商品价格，店铺名称，评论人数等信息。

from selenium import webdriver
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from lxml import etree
    import random
    import json
    import csv
    import time
    
    browser = webdriver.Chrome('/菜J学Python/京东/chromedriver')
    wait =WebDriverWait(browser,50) #设置等待时间
    url = 'https://www.jd.com/'
    data_list= [] #设置全局变量用来存储数据
    keyword ="羽绒服"#关键词
    
    def page_click(page_number):
        try:
            # 滑动到底部
            browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(random.randint(1, 3)) #随机延迟
            button = wait.until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_bottomPage > span.p-num > a.pn-next > em'))
            )#翻页按钮
            button.click()#点击按钮
            wait.until(
                EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(30)"))
            )#等到30个商品都加载出来
            # 滑到底部，加载出后30个商品
            browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            wait.until(
                EC.presence_of_all_elements_located((By.CSS_SELECTOR, "#J_goodsList > ul > li:nth-child(60)"))
            )#等到60个商品都加载出来
            wait.until(
                EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#J_bottomPage > span.p-num > a.curr"), str(page_number))
            )# 判断翻页成功,高亮的按钮数字与设置的页码一样
            html = browser.page_source#获取网页信息
            prase_html(html)#调用提取数据的函数
        except TimeoutError:
            return page_click(page_number)

# **数据清洗** #

# **导入数据** #

import pandas as pd
    import numpy as np
    df = pd.read_csv("/菜J学Python/京东/羽绒服.csv")
    df.sample(10)

![2fc80652c88fbb6dc6b2dd46a05febc7.png][]

# ** 重命名列** #

df = df.rename(columns={'title':'商品名称','price':'商品价格','shop_name':'店铺名称','comment':'评论人数'})

# **查看数据信息** #

df.info()
    '''
    1.可能存在重复值
    2.商店名称存在缺失值
    3.评价人数需要清洗
    '''

<class 'pandas.core.frame.DataFrame'>
    RangeIndex: 4950 entries, 0 to 4949
    Data columns (total 4 columns):
     #   Column  Non-Null Count  Dtype  
    ---  ------  --------------  -----  
     0   商品名称    4950 non-null   object 
     1   商品价格    4950 non-null   float64
     2   店铺名称    4949 non-null   object 
     3   评论人数    4950 non-null   object 
    dtypes: float64(1), object(3)
    memory usage: 154.8+ KB

# **删除重复数据** #

df = df.drop_duplicates()

# **缺失值处理** #

df["店铺名称"] = df["店铺名称"].fillna("无名氏")

# **商品名称清洗** #

**厚度**

tmp=[]
    for i in df["商品名称"]:
        if"厚"in i:
            tmp.append("厚款")
        elif"薄"in i:
            tmp.append("薄款")
        else:
            tmp.append("其他")
    df['厚度'] = tmp

**版型**

for i in df["商品名称"]:
        if"修身"in i:
            tmp.append("修身型")
        elif"宽松"in i:
            tmp.append("宽松型")
        else:
            tmp.append("其他")
    df['版型'] = tmp

**风格**

tmp=[]
    for i in df["商品名称"]:
        if"韩"in i:
            tmp.append("韩版")
        elif"商务"in i:
            tmp.append("商务风")
        elif"休闲"in i:
            tmp.append("休闲风")
        elif"简约"in i:
            tmp.append("简约风")
        else:
            tmp.append("其他")
    df['风格'] = tmp

# **商品价格清洗** #

df["价格区间"] = pd.cut(df["商品价格"],[0, 100,300, 500, 700, 1000,1000000],labels=['100元以下','100元-300元','300元-500元','500元-700元','700元-1000元','1000元以上'],right=False)

# **评价人数清洗** #

import re
    df['数字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['评论人数']]  #提取数字
    df['数字'] = df['数字'].astype('float')  #转化数值型
    df['单位'] = [''.join(re.findall(r'(万)', i)) for i in df['评论人数']]  #提取单位（万）
    df['单位'] = df['单位'].apply(lambda x:10000if x=='万'else1)
    df['评论人数'] = df['数字'] * df['单位'] # 计算评论人数
    df['评论人数'] = df['评论人数'].astype("int")
    df.drop(['数字', '单位'], axis=1, inplace=True)

# **店铺名称清洗** #

df["店铺类型"] = df["店铺名称"].str[-3:]

# **可视化** #

# **引入可视化相关库** #

import matplotlib.pyplot as plt
    import seaborn as sns
    %matplotlib inline
    plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置加载的字体名
    plt.rcParams['axes.unicode_minus'] = False# 解决保存图像是负号'-'显示为方块的问题 
    import jieba
    import re
    from pyecharts.charts import *
    from pyecharts import options as opts 
    from pyecharts.globals import ThemeType  
    import stylecloud
    from IPython.display import Image

# **描述性统计** #

![3eacef8893b40af3b7ace51ec99ee21c.png][]

# **相关性分析** #

**商品价格分布直方图**

sns.set_style('white')   
    fig,axes=plt.subplots(figsize=(15,8)) 
    sns.distplot(df["商品价格"],color="salmon",bins=10) 
    plt.xticks(fontsize=16)
    plt.yticks(fontsize=16)
    axes.set_title("商品价格分布直方图")

![3e28189c21dac76541669b72b1e0596d.png][]

**评论人数分布直方图**

sns.set_style('white')  
    fig,axes=plt.subplots(figsize=(15,8)) 
    sns.distplot(df["评论人数"],color="green",bins=10,rug=True) 
    plt.xticks(fontsize=16)
    plt.yticks(fontsize=16)
    axes.set_title("评论人数分布直方图")

![fecb9e5b90a7eb3d3c52db8ea27e57ca.png][]

**评论人数与商品价格的关系**

fig,axes=plt.subplots(figsize=(15,8)) 
    sns.regplot(x='评论人数',y='商品价格',data=df,color='orange',marker='*')
    plt.xticks(fontsize=16)
    plt.yticks(fontsize=16)

![ea2ff614aa6723886326156a44e5b6f7.png][]

# **羽绒服价格分布** #

df2 = df["价格区间"].astype("str").value_counts()
    print(df2)
    df2 = df2.sort_values(ascending=False)
    regions = df2.index.to_list()
    values = df2.to_list()
    c = (
            Pie(init_opts=opts.InitOpts(theme=ThemeType.DARK))
            .add("", list(zip(regions,values)))
            .set_global_opts(legend_opts = opts.LegendOpts(is_show = False),title_opts=opts.TitleOpts(title="羽绒服价格区间分布",subtitle="数据来源：腾讯视频\n制图：菜J学Python",pos_top="0.5%",pos_left = 'left'))
            .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=14))
            
        )
    c.render_notebook()

![2c6713c71d9354983867bf0ec337b465.png][]

# **评论人数top10店铺** #

df5 = df.groupby('店铺名称')['评论人数'].mean()
    df5 = df5.sort_values(ascending=True)
    df5 = df5.tail(10)
    print(df5.index.to_list())
    print(df5.to_list())
    c = (
        Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1100px",height="600px"))
        .add_xaxis(df5.index.to_list())
        .add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
        .set_global_opts(title_opts=opts.TitleOpts(title="评论人数TOP10",subtitle="数据来源：京东 \t制图：J哥",pos_left = 'left'),
                           xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
                           #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                            yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
                           )
        .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
        )
    c.render_notebook()

![8edd4902cc56dee9122f4d91b0b5d1b8.png][]

# **版型** #

df5 = df.groupby('版型')['商品价格'].mean()
    df5 = df5.sort_values(ascending=True)[:2]
    #df5 = df5.tail(10)
    df5 = df5.round(2)
    print(df5.index.to_list())
    print(df5.to_list())
    c = (
        Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
        .add_xaxis(df5.index.to_list())
        .add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
        .set_global_opts(title_opts=opts.TitleOpts(title="各版型羽绒服均价",subtitle="数据来源：中原地产 \t制图：J哥",pos_left = 'left'),
                           xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
                           #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                            yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
                           )
        .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
        )
    c.render_notebook()

![d6392ed2940e617d53aa2577b588486b.png][]

# **厚度** #

df5 = df.groupby('厚度')['商品价格'].mean()
    df5 = df5.sort_values(ascending=True)[:2]
    #df5 = df5.tail(10)
    df5 = df5.round(2)
    print(df5.index.to_list())
    print(df5.to_list())
    c = (
        Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
        .add_xaxis(df5.index.to_list())
        .add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
        .set_global_opts(title_opts=opts.TitleOpts(title="各厚度羽绒服均价",subtitle="数据来源：京东 \t制图：J哥",pos_left = 'left'),
                           xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
                           #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                            yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
                           )
        .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
        )
    c.render_notebook()

![062aa8921c77c2764d1a9c104720e183.png][]

# **风格** #

df5 = df.groupby('风格')['商品价格'].mean()
    df5 = df5.sort_values(ascending=True)[:4]
    #df5 = df5.tail(10)
    df5 = df5.round(2)
    print(df5.index.to_list())
    print(df5.to_list())
    c = (
        Bar(init_opts=opts.InitOpts(theme=ThemeType.DARK,width="1000px",height="500px"))
        .add_xaxis(df5.index.to_list())
        .add_yaxis("",df5.to_list()).reversal_axis() #X轴与y轴调换顺序
        .set_global_opts(title_opts=opts.TitleOpts(title="各风格羽绒服均价",subtitle="数据来源：京东 \t制图：J哥",pos_left = 'left'),
                           xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=11)), #更改横坐标字体大小
                           #yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=12)),
                            yaxis_opts=opts.AxisOpts(axislabel_opts={"rotate":30})#更改纵坐标字体大小
                           )
        .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right'))
        )
    c.render_notebook()

![59490266e7ada0ca3170b83556566941.png][]

# **羽绒服词云图** #

![e040224e37be108cf07d3edde73b7adc.png][]

[fbe6fbe7f31a5e4e24e168c715ce91e0.png]: /images/20221120/353cfd5793844d0a99e2f99f3af1f300.png
[2fc80652c88fbb6dc6b2dd46a05febc7.png]: /images/20221120/3959ffcbbdb64845b6ef11b794013533.png
[3eacef8893b40af3b7ace51ec99ee21c.png]: /images/20221120/a4961701265a4afaae25bb75a38d9791.png
[3e28189c21dac76541669b72b1e0596d.png]: /images/20221120/9a5528e39008458ba4346ba8a09c9e7c.png
[fecb9e5b90a7eb3d3c52db8ea27e57ca.png]: /images/20221120/76071139e24d4342b016c611b88e60f0.png
[ea2ff614aa6723886326156a44e5b6f7.png]: /images/20221120/68612ddc61654c74b28b307d13ee4658.png
[2c6713c71d9354983867bf0ec337b465.png]: /images/20221120/c8060f59cab240218e5366f20899d988.png
[8edd4902cc56dee9122f4d91b0b5d1b8.png]: /images/20221120/d2d118296f4e4dba882ce847545ed121.png
[d6392ed2940e617d53aa2577b588486b.png]: /images/20221120/25dd5b86034a4802a8f795a96b0e7f90.png
[062aa8921c77c2764d1a9c104720e183.png]: /images/20221120/e68641bd94c4411d9a1b95a6e87bfe6c.png
[59490266e7ada0ca3170b83556566941.png]: https://img-blog.csdnimg.cn/img_convert/59490266e7ada0ca3170b83556566941.png
[e040224e37be108cf07d3edde73b7adc.png]: https://img-blog.csdnimg.cn/img_convert/e040224e37be108cf07d3edde73b7adc.png