豆瓣电影250数据分析精简版

素颜马尾好姑娘i 2022-12-29 02:16 216阅读 0赞

[以前的文章链接][Link 1]

今天针对以前的豆瓣电影250数据分析代码进行一下总结，精简

时间：2020/12/19  
通过接近一个月的学习，使用for循环来解决数据清洗、分析问题并不明智。一方面代码冗余度高，不够简洁；另一方面for循环间接增加了理解难度。使用pandas自带的一些方法以及函数思维对于数据分析来说才是上选。

测试数据集：链接：[https://pan.baidu.com/s/13irC3frSixvhU6GmZVX16w][https_pan.baidu.com_s_13irC3frSixvhU6GmZVX16w]  
提取码：love

**以下代码可以实现这些可视化：**

条形图： 电影名—评价人数top10  
柱形图： 国家计数 评分计数 年份计数  
折线图： 年份——国家计数 （中外对比）  
箱图： 评分——国家计数 （中外对比）  
词云图： 电影名词云图  
散点图： 评分——评价人数

import pandas as pd
    import numpy as np
    import time
    
    #读取数据
    df = pd.read_csv('douban_HTML/data/douban250_2.csv')
    
    #将info的有效数据分离
    def get_info(df,i):
        datalist = []
        if i == 0:
            datalist = df['info'].str.split('/',expand=True)[i].str.replace('(中国大陆)','').str.strip()
        elif i == 1:
            #取第一个国家
            datalist = df['info'].str.split('/',expand=True)[i].str.strip().replace('[1964()]','').str.split(' ',expand=True)[0]
        else:
            #取第一个类型作为主类型
            df = df['info'].str.split('/',expand=True)[i].str.split(' ')
            for data in df:
                datalist.append(' '.join(data).strip().replace('\xa0',''))
        return  datalist
    
    #将info的有效数据精确分离
    def get_info1(df,i):
        datalist = []
        if i == 1:
            #所有参与国家和地区，地区后面还可以进一步处理
            df = df['info'].str.split('/',expand=True)[i].str.strip().replace('1964(中国大陆)','中国大陆').str.split(' ')#.str.replace('[1964()]','') 进行替换操作需要strip()去除多余的空格
            for data in df:
                for x in data:
                    datalist.append(x.strip().replace('\xa0',''))
        else:
            #所有电影类型
            df = df['info'].str.split('/',expand=True)[i].str.split(' ')
            for data in df:
                for x in data:
                    datalist.append(x.strip().replace('\xa0',''))
        return  datalist
    #函数调用
    df['year'] = get_info(df,i=0)
    df['host_country'] = get_info(df,i=1)
    df['host_category'] = get_info(df,i=2)
    
    df1 = pd.DataFrame()
    df1['all_country'] = get_info1(df,i=1)
    df2 = pd.DataFrame()
    df2['all_category'] = get_info1(df,i=2)
    #join横向连接,数据行不一致，所以选择取并outer
    df = df.join(df1,how='outer').join(df2,how='outer')
    #
    # df.to_excel('qx.xlsx',index=None)
    
    #统计单一分组
    def get_groupby(df,data,i):
        data = str(data)
        datalist = []
        data_index = df.groupby(data)[data].count().index.tolist()#[data].count() == value_counts()
        data_value = df.groupby(data)[data].count().values.tolist()
        if i == 0:
            return data_index,data_value
        #如果需要构建饼图和地图 Pie Map 构建zip
        elif i == 1:
            for data in zip(data_index,data_value):
                datalist.append(data)
        return datalist
    
    #清洗people
    df['ev_people'] = df['people'].str.replace('[人评价]','')
    dfp = df.sort_values('ev_people',ascending=False).head(10)
    
    #对国家打标分类
    def get_sys(x):
        if '中国' in str(x):
            return '中国'
        else:
            return '外国'
    df['country'] = df['host_country'].apply(get_sys)
    #即str.contains只能对Series使用,下面这一句会报错
    # df['country1'] = df['host_country'].apply(lambda x: '中国' if x.str.contains('中国') == True else '外国')
    # df['country1'] = np.where(df['host_country'].str.contains('中国'),'中国','外国')
    
    #对电影类型进行列表展示
    def get_lx(x,i):
        if i in str(x):
            return 1
        else:
            return 0
    # datalist = ['剧情','犯罪']可以自己写入到列表
    for i in list(df['all_category'].unique()):#datalist
        df[i] = df['host_category'].apply(get_lx,i=f'{i}')
    
    #中外对比——年份，评分
    xg_year = ['中国','外国']
    #年份
    df_y = df.groupby(['year'])['country'].value_counts().unstack().fillna(0).astype('int')
    #评分
    c_s = df.loc[df.country==xg_year[0],'score']
    w_s = df.loc[df.country==xg_year[1],'score']
    
    #对单一变量统计
    x_year,y_year = get_groupby(df,'year',0)#0代表False，1代表True
    x_country,y_country = get_groupby(df,'host_country',0)
    x_score,y_score = get_groupby(df,'score',0)
    x_category,y_category = get_groupby(df,'all_category',0)
    yc_year,yw_year = list(df_y[xg_year[0]]),list(df_y[xg_year[1]])
    yc_score,yw_score = list(c_s),list(w_s)
    y_title,x_people = list(dfp.title),list(dfp.ev_people)
    
    #对所有列进行重新排列
    col_name = ['title','info','year','host_country','host_category','country','score','people','ev_people','all_country','all_category']
    col_name = col_name.extend(list(df['all_category'].unique()))
    df = df.reindex(columns=col_name)
    
    #保存到新的excel
    df.to_excel('qx.xlsx',index=False)
    
    #测试输出
    df.head(10)
    # print(df.head(20))

[Link 1]: https://editor.csdn.net/md/?articleId=110121781
[https_pan.baidu.com_s_13irC3frSixvhU6GmZVX16w]: https://pan.baidu.com/s/13irC3frSixvhU6GmZVX16w