PCA降维(公式推导)

╰半橙微兮° 2023-03-13 02:35 162阅读 0赞

## PCA ##

PCA线性投影降维的方法。当维度p高，样本少。

p>> N ,

S = 1 N X X T S= \\frac\{1\}\{N\}XX^T S=N1XXT  
因为  x n 是 R p × 1 x\_n 是 R^\{p \\times 1\} xn是Rp×1 所以 R a n k ( x n x n T ) ≤ 1 Rank(x\_nx\_n^T) \\leq 1 Rank(xnxnT)≤1  
所以  R a n k ( S ) ≤ N Rank(S) \\leq N Rank(S)≤N  
这种情况下，矩阵运算的复杂度 O ( p 3 ) O(p^3) O(p3)，浪费了很多的时间，得到了很多是0的矩阵。

## 对偶PCA ##

S = 1 N X X T , G = X T X S = \\frac\{1\}\{N\}XX^T, G=X^TX S=N1XXT,G=XTX, S的特征值和特征向量 λ i , μ i \\lambda\_i, \\mu\_i λi,μi, G的特征值和特征向量 γ i , v i \\gamma\_i, v\_i γi,vi。  
左乘  X T X\_T XT到公式  
 X X T μ i = N λ i μ i XX^T\\mu\_i =N\\lambda\_i\\mu\_i XXTμi=Nλiμi得到  
 X T X ( X T μ i ) = N λ i ( X T μ i ) X^TX(X^T\\mu\_i) = N\\lambda\_i(X^T\\mu\_i) XTX(XTμi)=Nλi(XTμi),  
 v i = X T μ i a n d γ i = N λ i v\_i=X^T\\mu\_i and \\gamma\_i = N\\lambda\_i vi=XTμiandγi=Nλi  
得到  
 X v i = X X T μ i = N S μ i = N λ i μ i = γ i μ i Xv\_i= XX^T\\mu\_i = NS\\mu\_i=N\\lambda\_i\\mu\_i = \\gamma\_i\\mu\_i Xvi=XXTμi=NSμi=Nλiμi=γiμi  
所以 μ i = 1 γ i X v i \\mu\_i = \\frac\{1\}\{\\gamma\_i\}Xv\_i μi=γi1Xvi

在高维空间可以用对偶PCA

# Kernel PCA #

PCA是线性的，但是Kernel PCA是非线性的。  
 ϕ : χ − > H , x − > ϕ ( x ) \\phi: \\chi ->H, x->\\phi(x) ϕ:χ−>H,x−>ϕ(x)  
在希尔伯特空间使用对偶PCA  
 G = ϕ ( X ) T ϕ ( X ) = \[ k ( x i , x j ) \] i , j G = \\phi(X)^T\\phi(X)=\[k(x\_i, x\_j)\]\_\{i,j\} G=ϕ(X)Tϕ(X)=\[k(xi,xj)\]i,j k 是降维的kernel.

发表评论取消回复

表情：

评论列表（有 0 条评论，162人围观）

还没有评论，来说两句吧...

相关阅读

相关补：PCA降维

结合网上的资料，细看了两种求解PCA的方式。当进行协方差矩阵上求解特征值时，若矩阵的维数较小，则可以使用传统的求解方式，直接求出协方差矩阵的所有特征值和对应的特征向量。但是如果

喜欢ヅ旅行/ 2024年02月19日 14:25/ 0 赞/ 12 阅读

相关 PCA降维

概念在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题，称之为“ 维度灾难 ”。

雨点打透心脏的1/2处/ 2023年06月01日 06:06/ 0 赞/ 18 阅读

相关 PCA降维(公式推导)

PCA PCA线性投影降维的方法。当维度p高，样本少。 p>> N , S = 1 N X X T S= \\frac\{1\}\{N\}XX^T S=N1XXT

╰半橙微兮°/ 2023年03月13日 02:35/ 0 赞/ 163 阅读

相关【降维PCA算法】机器学习公式推导计算+详细过程（入门必备）

PCA算法 PCA算法：主成分分析是一种非监督的降维方法，降维可以做特征筛选，降低训练复杂度。在信号学里，信噪比越大，说明数据质量越好。其中信号有较大的方差，噪

左手的ㄟ右手/ 2023年02月23日 07:51/ 0 赞/ 1 阅读

相关 PCA降维原理

PCA最重要的降维方法之一，在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用，一般我们提到降维最容易想到的算法就是PCA，目标是基于方差提取最有价值的信息，属于无监督问题。

冷不防/ 2023年01月17日 13:50/ 0 赞/ 154 阅读

相关 PCA降维分析

这里写目录标题 PCA降维的优化目标为：关于为什么对协方差矩阵求特征值和特征向量可以实现各个变量两两间协方差为0，而变量方差尽可能大 > 参考博客：htt

╰半橙微兮°/ 2022年12月30日 07:49/ 0 赞/ 235 阅读

相关 LDA（分类、降维）、PCA（降维）和KPCA（升维+PCA）

原文链接：[https://www.jianshu.com/p/fb25e7c8d36e][https_www.jianshu.com_p_fb25e7c8d36e] 线性

╰半橙微兮°/ 2022年11月25日 05:26/ 0 赞/ 294 阅读

相关 PCA降维简介

PCA全称为principal component analysis，即主成成分分析，用于降维。对数据进行降维有很多原因。比如： 1：使得数据更易显示，更易懂 2：降低

淩亂°似流年/ 2022年08月14日 03:49/ 0 赞/ 331 阅读

相关 PCA数据降维

http://[blog.csdn.net/pipisorry/article/details/49235529][blog.csdn.net_pipisorry_articl

客官°小女子只卖身不卖艺/ 2022年08月09日 09:47/ 0 赞/ 270 阅读

相关 PCA降维算法

文章由两部分构成，第一部分主要讲解PCA算法的步骤，第二部分讲解PCA算法的原理。那么首先进入第一部分 \--PCA算法的步骤 --------------------

不念不忘少年蓝@/ 2022年08月07日 04:52/ 0 赞/ 257 阅读