数据简化之PCA

水深无声 2022-06-01 08:22 236阅读 0赞

降维，降低维度（dimensionality reduction），将高维数据经过技术处理降低到低纬度下，数据更容易进行处理，其相关特性更容易在数据中明显的显示出来。

对数据简化的好处：

1 使得数据集更容易使用

2 降低很多算法的开销

3 去除噪声

4 使得结果易懂

本文了解的降维技术叫主成分分析（Principal Component Analysis，PCA）

在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，即对数据进行了降维处理

效果图如下：

![20180124205601799][]

蓝点为原样本数据，红点为降维后的数据，可以看得出从面降为了线，从2维降低为1维。

矩阵协方差的意义代表特性之间的关联性，可用来进行特性分析。

一旦获得协方差矩阵，就可以通过linalg.eig()获得特性向量和特性值。

在等式Av = λv中，v 是特征向量，λ是特征值。特征值都是简单的标量值，因此Av = λv代表的是：如果特征向量v被某个矩阵A左乘，那么它就等于某个标量λ乘以v

求PCA的python代码如下：

#dataMat 原始数据样本
    #topNfeat 降维后要保留的特性数
    def pca(dataMat, topNfeat=9999999) :
        #前两行，去平均值
        meanVals = mean(dataMat, axis=0)
        meanRemoved = dataMat - meanVals
        #求协方差矩阵
        #若rowvar=0，说明传入的数据一行代表一个样本，若非0，说明传入的数据一列代表一个样本
        covMat = cov(meanRemoved,rowvar=0)
        #利用linalg.eig求解covMat的特性项量和特性值
        #eigVal是特征值
        #eigVects是特征向量，二者一一对应
        eigVals, eigVects = linalg.eig(mat(covMat))
        #对特性值索引进行正向排序
        eigValInd = argsort(eigVals)
        #取最后的也就是最大的特性值索引
        #list[a:b:c]代表从下标a开始到b，步长为c
        eigValInd = eigValInd[:-(topNfeat+1):-1]
        #得到最大的n个特性向量
        redEigVects = eigVects[:,eigValInd]
        #利用特性向量将原始数据转化到新的空间的数据集（降维）
        #lowDDataMat就是降维后的数据
        lowDDataMat = meanRemoved * redEigVects
        #reconMat为降维后重构回来的数据，用于与未降维前dataMat数据进行对比分析
        reconMat = (lowDDataMat * redEigVects.T) + meanVals
        return lowDDataMat, reconMat

辅助函数，加载数据样本的代码：

#加载文档并以delim分割每行
    def loadDataSet(fileName, delim='\t') :
        fr = open(fileName)
        stringArr = [line.strip().split(delim) for line in fr.readlines()]
        dataArr = [list(map(float, line)) for line in stringArr]
        return mat(dataArr)

图片中样本集在git上（https://github.com/yejingtao/forblog/blob/master/MachineLearning/trainingSet/pca/testSet.txt）

对蓝色数据降维处理后再图形化展示的代码如下：

dataMat = loadDataSet('C:\\2017\\提高\\机器学习\\训练样本\\pca\\testSet.txt')
    lowDDataMat, reconMat = pca(dataMat, 1)
    import matplotlib.pyplot as plt
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(dataMat[:, 0].flatten().A[0], dataMat[:, 1].flatten().A[0])
    ax.scatter(reconMat[:, 0].flatten().A[0], reconMat[:, 1].flatten().A[0], c='red')
    plt.show()

上面案例只是2维降低为1维，真正使用中可以通过降维将特性降低到更理想的情况，看下面这个例子。

数据集在git上（https://github.com/yejingtao/forblog/blob/master/MachineLearning/trainingSet/pca/secom.data） 数据有590个特性。我要对其进行主成分分析之前发现有很多特性值为空，用’Nan’表示，在博文《[Logistic回归（2）][Logistic_2]》中有介绍过如何对数据空值进行预处理，当时基于Logicstic回归的特性给出的处理意见是用0去补齐，但是在这里不合适，因为像温度、经纬度等0就有了真实的意义，这里使用均值法来补齐空特性，需要给代码添加一个辅助函数：

#对空特性值做平均值处理
    def replaceNanWithMean(fileName,delim='\t') :
        dataMat = loadDataSet(fileName,delim)
        numFeat = shape(dataMat)[1]
        #对每个特性做处理
        for i in range(numFeat) :
            #计算出所有非空值的平均值
            meanVal = mean(dataMat[nonzero(~isnan(dataMat[:,i].A))[0],i])
            #用平均值来替换空值
            dataMat[nonzero(isnan(dataMat[:,i].A))[0],i] = meanVal
        return dataMat

在进行PCA之前，我们还需要理性的判断入参topNfeat传值大小，也就是说到底需要将590维降低为几维？我们先来观察下特性值分析：

dataMat = replaceNanWithMean('C:\\2017\\提高\\机器学习\\训练样本\\pca\\secom.data',delim=' ')
    meanVal = mean(dataMat,axis=0)
    meanRemoved = dataMat-meanVal
    covMat = cov(meanRemoved,rowvar=0)
    eigVals, eigVects = linalg.eig(mat(covMat))

因为有590个特性，所有特征值eigVals有590个值，结果如下：

![20180124211451610][]

![20180124211509804][]

![20180124211522333][]

可以看到特征值从千万级开始骤降到十万级，然后慢慢衰减到个位级，最终变为0。它们可以通过其他特征来表示，而本身并没有提供额外的信息。

再对前20个最大的特征值进行分析：

![20180124211909909][]

前6个特征值的和占据总特征值和的96.8%，所以我们只要保留前6个特征向量和特征值，对数据进行PCA处理，就可以将原始数据进行100：1的压缩，方便我们后续的算法处理。

最后澄清一个误区，压缩并不是代表着为了减少消耗提高性能带来最终学习精度的丢失，因为在压缩工程中会过滤掉噪声等有负面效果的影响因素，反正能使学习任务更加精准。

[20180124205601799]: /images/20220601/60b624542501478ba97f556d64e3285f.png
[Logistic_2]: http://blog.csdn.net/yejingtao703/article/details/78990793
[20180124211451610]: /images/20220601/eae737e53b814ffb91fc0aab3c6ab4ad.png
[20180124211509804]: /images/20220601/9acfee06fcd1464097272f1c88eebd5f.png
[20180124211522333]: /images/20220601/afa365be22f0405b9beb24ef88a3962a.png
[20180124211909909]: /images/20220601/0213980be15d4001af9bbe04f3820929.png