python数据分析的相关分析和因子分析-第五次笔记

r囧r小猫 2022-05-17 05:08 215阅读 0赞

## python数据分析的相关分析和因子分析-第五次笔记 ##

--------------------

–*\**相关分析  
–*\**因子分析

--------------------

## 相关分析 ##

**\*相关分析的含义：**是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。  
作者主要从**信息熵**的角度研究其相关性。  
**信息熵：**是衡量信息的指标，更确切的说是衡量信息的不确定性或混乱程度的指标。信息的不确定性越大，熵越大。决定信息的不确定性或者说复杂程度主要因素是概率。决策树中使用的与熵有关的概念有三个：信息熵，条件熵和互信息。  
编程实现：  
–**\*求熵**  
–**\*求条件熵**  
–**\*求互信息（熵增益）**  
–**\*求熵增益率**  
–**\*求相关系数**

import pandas as pd
    import numpy as np
    import scipy.stats as ss
    import matplotlib.pyplot as plt
    import seaborn as sns
    #设置图片的字体  font_scale
    sns.set_context(font_scale=1.5)
    df=pd.read_csv("./data/HR.csv")
    #sns.heatmap(df.corr(),vmin=-1,vmax=1,cmap=sns.color_palette("RdBu",n_colors=128))
    #plt.show()
    #pandas围绕着 Series 和 DataFrame 两个核心数据结构展开的。
    # Series 和 DataFrame 分别对应于一维的序列和二维的表结构。
    s1 = pd.Series(["X1","X1","X2","X2","X2","X2"])
    s2 = pd.Series(["Y1","Y1","Y1","Y2","Y2","Y2"])
    #求熵
    def getEntropy(s):
        #sinstance() 函数来判断一个对象是否是一个已知的类型
        if not isinstance(s,pd.core.series.Series):
            s=pd.Series(s)
        prt_ary=pd.groupby(s,by=s).count().values/float(len(s))
        return -(np.log2(prt_ary)*prt_ary).sum()
    print("Entropy",getEntropy(s2))
    #求条件熵
    def getCondEntropy(a1, a2):
        assert (len(a1) == len(a2))
        #一个字典
        d = dict()
        for i in list(range(len(a1))):
            d[a1[i]] = d.get(a1[i], []) + [a2[i]]
        return sum([getEntropy(d[k]) * len(d[k]) / float(len(a1)) for k in d])
    print("CondEntropy",getCondEntropy(s2,s1))
    #求互信息（熵增益）
    def getEntropyGain(s1,s2):
        return getEntropy(s2)-getCondEntropy(s1,s2)
    print("EntropyGain",getEntropyGain(s2,s1))
    #求熵增益率
    def getEntropyGainRatio(s1,s2):
        return getEntropyGain(s1,s2)/getEntropy(s2)
    print("EntropyGainRatio",getEntropyGainRatio(s2,s1))
    #求相关性
    import math
    def getDiscreteCorr(s1,s2):
        return getEntropyGain(s1,s2)/math.sqrt(getEntropy(s1)*getEntropy(s2))
    print("Discretecorr",getDiscreteCorr(s1,s2))

## 因子分析 ##

**\*因子分析的含义：**是指研究从变量群中提取共性因子的统计技术。  
作者主要讲最实用的主成分分析，判断这几个因子的重要性所占之比，同时绘制相关系数图形。  
**主成分分析（PCA）**，还可以参考之前我写的笔记：  
python的数据分析之假设检验 -第四次笔记  
[https://blog.csdn.net/weixin\_42878758/article/details/81462243][https_blog.csdn.net_weixin_42878758_article_details_81462243]  
来进一步学习

#pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包
    import pandas as pd
    import numpy as np
    import scipy.stats as ss
    import matplotlib.pyplot as plt
    import seaborn as sns
    #设置图片的字体  font_scale
    sns.set_context(font_scale=1.5)
    df=pd.read_csv("./data/HR.csv")
    #主成分分析 工具包
    from sklearn.decomposition import PCA
    #一共有7个因子
    my_pca=PCA(n_components=7)
    #去除数据data中的“salary”,"department","left"因子，axis=1 按列删除
    lower_mat=my_pca.fit_transform(df.drop(labels=["salary","department","left"],axis=1))
    #输出他们7个因子的重要性所占的比例
    print("Ratio",my_pca.explained_variance_ratio_)
    #绘制相关图像。
    sns.heatmap(pd.DataFrame(lower_mat).corr(),vmin=-1,vmax=1,cmap=sns.color_palette("RdBu",n_colors=128))
    plt.show()

[https_blog.csdn.net_weixin_42878758_article_details_81462243]: https://blog.csdn.net/weixin_42878758/article/details/81462243