LDA（分类、降维）、PCA（降维）和KPCA（升维+PCA）

╰半橙微兮° 2022-11-25 05:26 231阅读 0赞

原文链接：[https://www.jianshu.com/p/fb25e7c8d36e][https_www.jianshu.com_p_fb25e7c8d36e]

## 线性判别分析（LDA） ##

### LDA思想总结 ###

线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。

\*\*LDA分类思想\*\*简单总结如下：

1.  多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据进行处理。
2.  对于训练数据，设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近，异类数据点尽可能远离。
3.  对数据进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别。

如果用一句话概括LDA思想，即“投影后类内方差最小，类间方差最大”。

### 图解LDA核心思想 ###

假设有红、蓝两类数据，这些数据特征均为二维，如下图所示。我们的目标是将这些数据投影到一维，让每一类相近的数据的投影点尽可能接近，不同类别数据尽可能远，即图中红色和蓝色数据中心之间的距离尽可能大。

![Image 1][]

\[外链图片转存失败(img-YH3WFnCd-1562980711001)(./img/ch2/2.29/1.png)\]

左图和右图是两种不同的投影方式。

左图思路：让不同类别的平均点距离最远的投影方式。

右图思路：让同类别的数据挨得最近的投影方式。

从上图直观看出，右图红色数据和蓝色数据在各自的区域来说相对集中，根据数据分布直方图也可看出，所以右图的投影效果好于左图，左图中间直方图部分有明显交集。

以上例子是基于数据是二维的，分类后的投影是一条直线。如果原始数据是多维的，则投影后的分类面是一低维的超平面。

### 二类LDA算法原理 ###

输入：数据集 ![D=\\\{(\\boldsymbol x\_1,\\boldsymbol y\_1),(\\boldsymbol x\_2,\\boldsymbol y\_2),...,(\\boldsymbol x\_m,\\boldsymbol y\_m)\\\}][D_boldsymbol x_1_boldsymbol y_1_boldsymbol x_2_boldsymbol y_2_..._boldsymbol x_m_boldsymbol y_m]，其中样本 ![\\boldsymbol x\_i ][boldsymbol x_i] 是n维向量，![\\boldsymbol y\_i \\epsilon \\\{0, 1\\\}][boldsymbol y_i _epsilon _0_ 1]，降维后的目标维度 ![d][d]。定义

![N\_j(j=0,1)][N_j_j_0_1] 为第 ![j][] 类样本个数；

![X\_j(j=0,1)][X_j_j_0_1] 为第 ![j][] 类样本的集合；

![u\_j(j=0,1)][u_j_j_0_1] 为第 ![j][j 1] 类样本的均值向量；

![\\sum\_j(j=0,1)][sum_j_j_0_1] 为第 ![j][] 类样本的协方差矩阵。

其中  
![u\_j = \\frac\{1\}\{N\_j\} \\sum\_\{\\boldsymbol x\\epsilon X\_j\}\\boldsymbol x(j=0,1)， \\sum\_j = \\sum\_\{\\boldsymbol x\\epsilon X\_j\}(\\boldsymbol x-u\_j)(\\boldsymbol x-u\_j)^T(j=0,1)][u_j _ _frac_1_N_j_ _sum_boldsymbol x_epsilon X_j_boldsymbol x_j_0_1_ _sum_j _ _sum_boldsymbol x_epsilon X_j_boldsymbol x-u_j_boldsymbol x-u_j_T_j_0_1]  
 假设投影直线是向量 ![\\boldsymbol w][boldsymbol w]，对任意样本 ![\\boldsymbol x\_i][boldsymbol x_i 1]，它在直线 ![w][]上的投影为 ![\\boldsymbol w^Tx\_i][boldsymbol w_Tx_i]，两个类别的中心点 ![u\_0][u_0], ![u\_1][u_1]在直线 ![w][] 的投影分别为 ![\\boldsymbol w^Tu\_0][boldsymbol w_Tu_0] 、![\\boldsymbol w^Tu\_1][boldsymbol w_Tu_1]。

LDA的目标是让两类别的数据中心间的距离 ![\\| \\boldsymbol w^Tu\_0 - \\boldsymbol w^Tu\_1 \\|^2\_2][_boldsymbol w_Tu_0 - _boldsymbol w_Tu_1 _2_2] 尽量大，与此同时，希望同类样本投影点的协方差![\\boldsymbol w^T \\sum\_0 \\boldsymbol w][boldsymbol w_T _sum_0 _boldsymbol w]、![\\boldsymbol w^T \\sum\_1 \\boldsymbol w][boldsymbol w_T _sum_1 _boldsymbol w] 尽量小，最小化 ![\\boldsymbol w^T \\sum\_0 \\boldsymbol w - \\boldsymbol w^T \\sum\_1 \\boldsymbol w][boldsymbol w_T _sum_0 _boldsymbol w - _boldsymbol w_T _sum_1 _boldsymbol w] 。  
 定义  
 类内散度矩阵  
![S\_w = \\sum\_0 + \\sum\_1 = \\sum\_\{\\boldsymbol x\\epsilon X\_0\}(\\boldsymbol x-u\_0)(\\boldsymbol x-u\_0)^T + \\sum\_\{\\boldsymbol x\\epsilon X\_1\}(\\boldsymbol x-u\_1)(\\boldsymbol x-u\_1)^T][S_w _ _sum_0 _ _sum_1 _ _sum_boldsymbol x_epsilon X_0_boldsymbol x-u_0_boldsymbol x-u_0_T _ _sum_boldsymbol x_epsilon X_1_boldsymbol x-u_1_boldsymbol x-u_1_T]  
 类间散度矩阵 ![S\_b = (u\_0 - u\_1)(u\_0 - u\_1)^T][S_b _ _u_0 - u_1_u_0 - u_1_T]

据上分析，优化目标为  
![\\mathop\{\\arg\\max\}\_\\boldsymbol w J(\\boldsymbol w) = \\frac\{\\| \\boldsymbol w^Tu\_0 - \\boldsymbol w^Tu\_1 \\|^2\_2\}\{\\boldsymbol w^T \\sum\_0\\boldsymbol w + \\boldsymbol w^T \\sum\_1\\boldsymbol w\} = \\frac\{\\boldsymbol w^T(u\_0-u\_1)(u\_0-u\_1)^T\\boldsymbol w\}\{\\boldsymbol w^T(\\sum\_0 + \\sum\_1)\\boldsymbol w\} = \\frac\{\\boldsymbol w^TS\_b\\boldsymbol w\}\{\\boldsymbol w^TS\_w\\boldsymbol w\}][mathop_arg_max_boldsymbol w J_boldsymbol w_ _ _frac_ _boldsymbol w_Tu_0 - _boldsymbol w_Tu_1 _2_2_boldsymbol w_T _sum_0_boldsymbol w _ _boldsymbol w_T _sum_1_boldsymbol w_ _ _frac_boldsymbol w_T_u_0-u_1_u_0-u_1_T_boldsymbol w_boldsymbol w_T_sum_0 _ _sum_1_boldsymbol w_ _ _frac_boldsymbol w_TS_b_boldsymbol w_boldsymbol w_TS_w_boldsymbol w]  
 根据广义瑞利商的性质，矩阵 ![S^\{-1\}\_\{w\} S\_b][S_-1_w_ S_b] 的最大特征值为 ![J(\\boldsymbol w)][J_boldsymbol w] 的最大值，矩阵 ![S^\{-1\}\_\{w\} S\_b][S_-1_w_ S_b] 的最大特征值对应的特征向量即为 ![\\boldsymbol w][boldsymbol w]。

### LDA算法流程总结 ###

\*\*LDA算法降维\*\*流程如下：

输入：数据集 ![D = \\\{ (x\_1,y\_1),(x\_2,y\_2), ... ,(x\_m,y\_m) \\\}][D _ _ _x_1_y_1_x_2_y_2_ ... _x_m_y_m_]，其中样本 ![x\_i][x_i] 是n维向量，![y\_i \\epsilon \\\{C\_1, C\_2, ..., C\_k\\\}][y_i _epsilon _C_1_ C_2_ ..._ C_k]，降维后的目标维度 ![d][d 1] 。

输出：降维后的数据集 ![\\overline\{D\}][overline_D] 。

步骤：

1.  计算类内散度矩阵 ![S\_w][S_w]。
2.  计算类间散度矩阵 ![S\_b][S_b] 。
3.  计算矩阵 ![S^\{-1\}\_wS\_b][S_-1_wS_b] 。
4.  计算矩阵 ![S^\{-1\}\_wS\_b][S_-1_wS_b 1] 的最大的 d 个特征值。
5.  计算 d 个特征值对应的 d 个特征向量，记投影矩阵为 W 。
6.  转化样本集的每个样本，得到新样本 ![P\_i = W^Tx\_i][P_i _ W_Tx_i] 。
7.  输出新样本集 ![\\overline\{D\} = \\\{ (p\_1,y\_1),(p\_2,y\_2),...,(p\_m,y\_m) \\\}][overline_D_ _ _ _p_1_y_1_p_2_y_2_..._p_m_y_m_]

### LDA和PCA区别 ###

<table> 
 <thead> 
  <tr> 
   <th>异同点</th> 
   <th>LDA</th> 
   <th>PCA</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>相同点</td> 
   <td>1. 两者均可以对数据进行降维；&lt;br /&gt;2. 两者在降维时均使用了矩阵特征分解的思想；&lt;br /&gt;3. 两者都假设数据符合高斯分布；</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>不同点</td> 
   <td>有监督的降维方法；</td> 
   <td>无监督的降维方法；</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>降维最多降到k-1维；</td> 
   <td>降维多少没有限制；</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>可以用于降维，还可以用于分类；</td> 
   <td>只用于降维；</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>选择分类性能最好的投影方向；</td> 
   <td>选择样本点投影具有最大方差的方向；</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>更明确，更能反映样本间差异；</td> 
   <td>目的较为模糊；</td> 
  </tr> 
 </tbody> 
</table>

### LDA优缺点 ###

<table> 
 <thead> 
  <tr> 
   <th>优缺点</th> 
   <th>简要说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>优点</td> 
   <td>1. 可以使用类别的先验知识；&lt;br /&gt;2. 以标签、类别衡量差异性的有监督降维方式，相对于PCA的模糊性，其目的更明确，更能反映样本间的差异；</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>1. LDA不适合对非高斯分布样本进行降维；&lt;br /&gt;2. LDA降维最多降到分类数k-1维；&lt;br /&gt;3. LDA在样本分类信息依赖方差而不是均值时，降维效果不好；&lt;br /&gt;4. LDA可能过度拟合数据。</td> 
  </tr> 
 </tbody> 
</table>

## 主成分分析（PCA） ##

### 主成分分析（PCA）思想总结 ###

1.  PCA就是将高维的数据通过线性变换投影到低维空间上去。
2.  投影思想：找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
3.  去冗余：去除可以被其他向量代表的线性相关向量，这部分信息量是多余的。
4.  去噪声，去除较小特征值对应的特征向量，特征值的大小反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，要保留。
5.  对角化矩阵，寻找极大线性无关组，保留较大的特征值，去除较小特征值，组成一个投影矩阵，对原始样本矩阵进行投影，得到降维后的新样本矩阵。
6.  完成PCA的关键是——协方差矩阵。协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差。协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。
7.  之所以对角化，因为对角化之后非对角上的元素都是0，达到去噪声的目的。对角化后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含有较大能量(特征值)的维度，其余的就舍掉，即去冗余。

### 图解PCA核心思想 ###

PCA可解决训练数据中存在数据特征过多或特征累赘的问题。核心思想是将m维特征映射到n维（n < m），这n维形成主元，是重构出来最能代表原始数据的正交特征。

假设数据集是m个n维，![(\\boldsymbol x^\{(1)\}, \\boldsymbol x^\{(2)\}, \\cdots, \\boldsymbol x^\{(m)\})][boldsymbol x_1_ _boldsymbol x_2_ _cdots_ _boldsymbol x_m]。如果![n=2][n_2]，需要降维到![n'=1][n_1]，现在想找到某一维度方向代表这两个维度的数据。下图有![u\_1, u\_2][u_1_ u_2]两个向量方向，但是哪个向量才是我们所想要的，可以更好代表原始数据集的呢？

![Image 1][]

\[外链图片转存失败(img-lA5YN1vc-1562980711002)(./img/ch2/2.34/1.png)\]

从图可看出，![u\_1][u_1]比![u\_2][u_2]好，为什么呢？有以下两个主要评价指标：

1.  样本点到这个直线的距离足够近。
2.  样本点在这个直线上的投影能尽可能的分开。

如果我们需要降维的目标维数是其他任意维，则：

1.  样本点到这个超平面的距离足够近。
2.  样本点在这个超平面上的投影能尽可能的分开。

### PCA算法推理 ###

下面以基于最小投影距离为评价指标推理：

假设数据集是m个n维，![(x^\{(1)\}, x^\{(2)\},...,x^\{(m)\})][x_1_ x_2_..._x_m]，且数据进行了中心化。经过投影变换得到新坐标为 ![\{w\_1,w\_2,...,w\_n\}][w_1_w_2_..._w_n]，其中 ![w][] 是标准正交基，即 ![\\| w \\|\_2 = 1][w _2 _ 1]，![w^T\_iw\_j = 0][w_T_iw_j _ 0]。

经过降维后，新坐标为 ![\\\{ w\_1,w\_2,...,w\_n \\\}][w_1_w_2_..._w_n 1]，其中 ![n'][n] 是降维后的目标维数。样本点 ![x^\{(i)\}][x_i 1] 在新坐标系下的投影为 ![z^\{(i)\} = \\left(z^\{(i)\}\_1, z^\{(i)\}\_2, ..., z^\{(i)\}\_\{n'\} \\right)][z_i_ _ _left_z_i_1_ z_i_2_ ..._ z_i_n_ _right]，其中 ![z^\{(i)\}\_j = w^T\_j x^\{(i)\}][z_i_j _ w_T_j x_i] 是 ![x^\{(i)\} ][x_i_] 在低维坐标系里第 j 维的坐标。

如果用 ![z^\{(i)\}][z_i] 去恢复 ![x^\{(i)\}][x_i 1] ，则得到的恢复数据为 ![\\widehat\{x\}^\{(i)\} = \\sum^\{n'\}\_\{j=1\} x^\{(i)\}\_j w\_j = Wz^\{(i)\}][widehat_x_i_ _ _sum_n_j_1_ x_i_j w_j _ Wz_i]，其中 ![W][]为标准正交基组成的矩阵。

考虑到整个样本集，样本点到这个超平面的距离足够近，目标变为最小化 ![\\sum^m\_\{i=1\} \\| \\hat\{x\}^\{(i)\} - x^\{(i)\} \\|^2\_2][sum_m_i_1_ _ _hat_x_i_ - x_i_ _2_2] 。对此式进行推理，可得：  
![\\sum^m\_\{i=1\} \\| \\hat\{x\}^\{(i)\} - x^\{(i)\} \\|^2\_2 = \\sum^m\_\{i=1\} \\| Wz^\{(i)\} - x^\{(i)\} \\|^2\_2 \\\\ = \\sum^m\_\{i=1\} \\left( Wz^\{(i)\} \\right)^T \\left( Wz^\{(i)\} \\right) - 2\\sum^m\_\{i=1\} \\left( Wz^\{(i)\} \\right)^T x^\{(i)\} + \\sum^m\_\{i=1\} \\left( x^\{(i)\} \\right)^T x^\{(i)\} \\\\ = \\sum^m\_\{i=1\} \\left( z^\{(i)\} \\right)^T \\left( z^\{(i)\} \\right) - 2\\sum^m\_\{i=1\} \\left( z^\{(i)\} \\right)^T x^\{(i)\} + \\sum^m\_\{i=1\} \\left( x^\{(i)\} \\right)^T x^\{(i)\} \\\\ = - \\sum^m\_\{i=1\} \\left( z^\{(i)\} \\right)^T \\left( z^\{(i)\} \\right) + \\sum^m\_\{i=1\} \\left( x^\{(i)\} \\right)^T x^\{(i)\} \\\\ = -tr \\left( W^T \\left( \\sum^m\_\{i=1\} x^\{(i)\} \\left( x^\{(i)\} \\right)^T \\right)W \\right) + \\sum^m\_\{i=1\} \\left( x^\{(i)\} \\right)^T x^\{(i)\} \\\\ = -tr \\left( W^TXX^TW \\right) + \\sum^m\_\{i=1\} \\left( x^\{(i)\} \\right)^T x^\{(i)\}][sum_m_i_1_ _ _hat_x_i_ - x_i_ _2_2 _ _sum_m_i_1_ _ Wz_i_ - x_i_ _2_2 _ _ _sum_m_i_1_ _left_ Wz_i_ _right_T _left_ Wz_i_ _right_ - 2_sum_m_i_1_ _left_ Wz_i_ _right_T x_i_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ _sum_m_i_1_ _left_ z_i_ _right_T _left_ z_i_ _right_ - 2_sum_m_i_1_ _left_ z_i_ _right_T x_i_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ - _sum_m_i_1_ _left_ z_i_ _right_T _left_ z_i_ _right_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ -tr _left_ W_T _left_ _sum_m_i_1_ x_i_ _left_ x_i_ _right_T _right_W _right_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ -tr _left_ W_TXX_TW _right_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i]

在推导过程中，分别用到了 ![\\overline\{x\}^\{(i)\} = Wz^\{(i)\}][overline_x_i_ _ Wz_i] ，矩阵转置公式 ![(AB)^T = B^TA^T][AB_T _ B_TA_T]，![W^TW = I][W_TW _ I]，![z^\{(i)\} = W^Tx^\{(i)\}][z_i_ _ W_Tx_i] 以及矩阵的迹，最后两步是将代数和转为矩阵形式。  
 由于 ![W][] 的每一个向量 ![w\_j][w_j] 是标准正交基，![\\sum^m\_\{i=1\} x^\{(i)\} \\left( x^\{(i)\} \\right)^T][sum_m_i_1_ x_i_ _left_ x_i_ _right_T] 是数据集的协方差矩阵，![\\sum^m\_\{i=1\} \\left( x^\{(i)\} \\right)^T x^\{(i)\}][sum_m_i_1_ _left_ x_i_ _right_T x_i] 是一个常量。最小化 ![\\sum^m\_\{i=1\} \\| \\hat\{x\}^\{(i)\} - x^\{(i)\} \\|^2\_2][sum_m_i_1_ _ _hat_x_i_ - x_i_ _2_2] 又可等价于  
![\\underbrace\{\\arg \\min\}\_W - tr \\left( W^TXX^TW \\right) s.t.W^TW = I][underbrace_arg _min_W - tr _left_ W_TXX_TW _right_ s.t.W_TW _ I]  
利用拉格朗日函数可得到  
![J(W) = -tr(W^TXX^TW) + \\lambda(W^TW - I)][J_W_ _ -tr_W_TXX_TW_ _ _lambda_W_TW - I]  
 对 ![W][] 求导，可得 ![\-XX^TW + \\lambda W = 0][-XX_TW _ _lambda W _ 0] ，也即 ![XX^TW = \\lambda W][XX_TW _ _lambda W] 。 ![XX^T][XX_T] 是 ![n'][n] 个特征向量组成的矩阵，![\\lambda][lambda] 为![XX^T][XX_T] 的特征值。![W][] 即为我们想要的矩阵。  
 对于原始数据，只需要 ![z^\{(i)\} = W^TX^\{(i)\}][z_i_ _ W_TX_i] ，就可把原始数据集降维到最小投影距离的 ![n'][n] 维数据集。

基于最大投影方差的推导，这里就不再赘述，有兴趣的同仁可自行查阅资料。

### PCA算法流程总结 ###

输入：![n][n 1] 维样本集 ![D = \\left( x^\{(1)\},x^\{(2)\},...,x^\{(m)\} \\right)][D _ _left_ x_1_x_2_..._x_m_ _right] ，目标降维的维数 ![n'][n 2] 。

输出：降维后的新样本集 ![D' = \\left( z^\{(1)\},z^\{(2)\},...,z^\{(m)\} \\right)][D_ _ _left_ z_1_z_2_..._z_m_ _right] 。

主要步骤如下：

1.  对所有的样本进行中心化，![x^\{(i)\} = x^\{(i)\} - \\frac\{1\}\{m\} \\sum^m\_\{j=1\} x^\{(j)\}][x_i_ _ x_i_ - _frac_1_m_ _sum_m_j_1_ x_j] 。
2.  计算样本的协方差矩阵 ![XX^T][XX_T 1] 。
3.  对协方差矩阵 ![XX^T][XX_T] 进行特征值分解。
4.  取出最大的 ![n'][n] 个特征值对应的特征向量 ![\\\{ w\_1,w\_2,...,w\_\{n'\} \\\}][w_1_w_2_..._w_n_] 。
5.  标准化特征向量，得到特征向量矩阵 ![W][] 。
6.  转化样本集中的每个样本 ![z^\{(i)\} = W^T x^\{(i)\}][z_i_ _ W_T x_i] 。
7.  得到输出矩阵 ![D' = \\left( z^\{(1)\},z^\{(2)\},...,z^\{(n)\} \\right)][D_ _ _left_ z_1_z_2_..._z_n_ _right] 。  
    *注*：在降维时，有时不明确目标维数，而是指定降维到的主成分比重阈值 ![k(k \\epsilon(0,1\])][k_k _epsilon_0_1] 。假设 ![n][n 1] 个特征值为 ![\\lambda\_1 \\geqslant \\lambda\_2 \\geqslant ... \\geqslant \\lambda\_n][lambda_1 _geqslant _lambda_2 _geqslant ... _geqslant _lambda_n] ，则 ![n'][n 2] 可从 ![\\sum^\{n'\}\_\{i=1\} \\lambda\_i \\geqslant k \\times \\sum^n\_\{i=1\} \\lambda\_i ][sum_n_i_1_ _lambda_i _geqslant k _times _sum_n_i_1_ _lambda_i] 得到。

### PCA算法主要优缺点 ###

<table> 
 <thead> 
  <tr> 
   <th>优缺点</th> 
   <th>简要说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>优点</td> 
   <td>1. 仅仅需要以方差衡量信息量，不受数据集以外的因素影响。　2.各主成分之间正交，可消除原始数据成分间的相互影响的因素。3. 计算方法简单，主要运算是特征值分解，易于实现。</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>1.主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。2. 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。</td> 
  </tr> 
 </tbody> 
</table>

### 降维的必要性及目的 ###

**降维的必要性**：

1.  多重共线性和预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。
2.  高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有2%。
3.  过多的变量，对查找规律造成冗余麻烦。
4.  仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。

**降维的目的**：

1.  减少预测变量的个数。
2.  确保这些变量是相互独立的。
3.  提供一个框架来解释结果。相关特征，特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示。
4.  数据在低维下更容易处理、更容易使用。
5.  去除数据噪声。
6.  降低算法运算开销。

### KPCA与PCA的区别 ###

应用PCA算法前提是假设存在一个线性超平面，进而投影。那如果数据不是线性的呢？该怎么办？这时候就需要KPCA，数据集从 ![n][n 3] 维映射到线性可分的高维 ![N >n][N _n]，然后再从 ![N][] 维降维到一个低维度 ![n'(n'<n<N)][n_n_n_N] 。

KPCA用到了核函数思想，使用了核函数的主成分分析一般称为核主成分分析(Kernelized PCA, 简称KPCA）。

假设高维空间数据由 ![n][n 1] 维空间的数据通过映射 ![\\phi][phi] 产生。

![n][n 3] 维空间的特征分解为：  
![\\sum^m\_\{i=1\} x^\{(i)\} \\left( x^\{(i)\} \\right)^T W = \\lambda W][sum_m_i_1_ x_i_ _left_ x_i_ _right_T W _ _lambda W]

其映射为  
![\\sum^m\_\{i=1\} \\phi \\left( x^\{(i)\} \\right) \\phi \\left( x^\{(i)\} \\right)^T W = \\lambda W][sum_m_i_1_ _phi _left_ x_i_ _right_ _phi _left_ x_i_ _right_T W _ _lambda W]

通过在高维空间进行协方差矩阵的特征值分解，然后用和PCA一样的方法进行降维。由于KPCA需要核函数的运算，因此它的计算量要比PCA大很多。

[https_www.jianshu.com_p_fb25e7c8d36e]: https://www.jianshu.com/p/fb25e7c8d36e
[Image 1]: 
[D_boldsymbol x_1_boldsymbol y_1_boldsymbol x_2_boldsymbol y_2_..._boldsymbol x_m_boldsymbol y_m]: https://math.jianshu.com/math?formula=D%3D%5C%7B%28%5Cboldsymbol%20x_1%2C%5Cboldsymbol%20y_1%29%2C%28%5Cboldsymbol%20x_2%2C%5Cboldsymbol%20y_2%29%2C...%2C%28%5Cboldsymbol%20x_m%2C%5Cboldsymbol%20y_m%29%5C%7D%E2%80%8B
[boldsymbol x_i]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20x_i%20%E2%80%8B
[boldsymbol y_i _epsilon _0_ 1]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20y_i%20%5Cepsilon%20%5C%7B0%2C%201%5C%7D%E2%80%8B
[d]: https://math.jianshu.com/math?formula=d%E2%80%8B
[N_j_j_0_1]: https://math.jianshu.com/math?formula=N_j%28j%3D0%2C1%29
[j]: https://math.jianshu.com/math?formula=j
[X_j_j_0_1]: https://math.jianshu.com/math?formula=X_j%28j%3D0%2C1%29
[u_j_j_0_1]: https://math.jianshu.com/math?formula=u_j%28j%3D0%2C1%29%E2%80%8B
[j 1]: https://math.jianshu.com/math?formula=j%E2%80%8B
[sum_j_j_0_1]: https://math.jianshu.com/math?formula=%5Csum_j%28j%3D0%2C1%29
[u_j _ _frac_1_N_j_ _sum_boldsymbol x_epsilon X_j_boldsymbol x_j_0_1_ _sum_j _ _sum_boldsymbol x_epsilon X_j_boldsymbol x-u_j_boldsymbol x-u_j_T_j_0_1]: https://math.jianshu.com/math?formula=u_j%20%3D%20%5Cfrac%7B1%7D%7BN_j%7D%20%5Csum_%7B%5Cboldsymbol%20x%5Cepsilon%20X_j%7D%5Cboldsymbol%20x%28j%3D0%2C1%29%EF%BC%8C%20%5Csum_j%20%3D%20%5Csum_%7B%5Cboldsymbol%20x%5Cepsilon%20X_j%7D%28%5Cboldsymbol%20x-u_j%29%28%5Cboldsymbol%20x-u_j%29%5ET%28j%3D0%2C1%29
[boldsymbol w]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w
[boldsymbol x_i 1]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20x_i
[w]: https://math.jianshu.com/math?formula=w
[boldsymbol w_Tx_i]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w%5ETx_i
[u_0]: https://math.jianshu.com/math?formula=u_0
[u_1]: https://math.jianshu.com/math?formula=u_1
[boldsymbol w_Tu_0]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w%5ETu_0
[boldsymbol w_Tu_1]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w%5ETu_1
[_boldsymbol w_Tu_0 - _boldsymbol w_Tu_1 _2_2]: https://math.jianshu.com/math?formula=%5C%7C%20%5Cboldsymbol%20w%5ETu_0%20-%20%5Cboldsymbol%20w%5ETu_1%20%5C%7C%5E2_2
[boldsymbol w_T _sum_0 _boldsymbol w]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w%5ET%20%5Csum_0%20%5Cboldsymbol%20w
[boldsymbol w_T _sum_1 _boldsymbol w]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w%5ET%20%5Csum_1%20%5Cboldsymbol%20w
[boldsymbol w_T _sum_0 _boldsymbol w - _boldsymbol w_T _sum_1 _boldsymbol w]: https://math.jianshu.com/math?formula=%5Cboldsymbol%20w%5ET%20%5Csum_0%20%5Cboldsymbol%20w%20-%20%5Cboldsymbol%20w%5ET%20%5Csum_1%20%5Cboldsymbol%20w%E2%80%8B
[S_w _ _sum_0 _ _sum_1 _ _sum_boldsymbol x_epsilon X_0_boldsymbol x-u_0_boldsymbol x-u_0_T _ _sum_boldsymbol x_epsilon X_1_boldsymbol x-u_1_boldsymbol x-u_1_T]: https://math.jianshu.com/math?formula=S_w%20%3D%20%5Csum_0%20%2B%20%5Csum_1%20%3D%20%5Csum_%7B%5Cboldsymbol%20x%5Cepsilon%20X_0%7D%28%5Cboldsymbol%20x-u_0%29%28%5Cboldsymbol%20x-u_0%29%5ET%20%2B%20%5Csum_%7B%5Cboldsymbol%20x%5Cepsilon%20X_1%7D%28%5Cboldsymbol%20x-u_1%29%28%5Cboldsymbol%20x-u_1%29%5ET
[S_b _ _u_0 - u_1_u_0 - u_1_T]: https://math.jianshu.com/math?formula=S_b%20%3D%20%28u_0%20-%20u_1%29%28u_0%20-%20u_1%29%5ET
[mathop_arg_max_boldsymbol w J_boldsymbol w_ _ _frac_ _boldsymbol w_Tu_0 - _boldsymbol w_Tu_1 _2_2_boldsymbol w_T _sum_0_boldsymbol w _ _boldsymbol w_T _sum_1_boldsymbol w_ _ _frac_boldsymbol w_T_u_0-u_1_u_0-u_1_T_boldsymbol w_boldsymbol w_T_sum_0 _ _sum_1_boldsymbol w_ _ _frac_boldsymbol w_TS_b_boldsymbol w_boldsymbol w_TS_w_boldsymbol w]: https://math.jianshu.com/math?formula=%5Cmathop%7B%5Carg%5Cmax%7D_%5Cboldsymbol%20w%20J%28%5Cboldsymbol%20w%29%20%3D%20%5Cfrac%7B%5C%7C%20%5Cboldsymbol%20w%5ETu_0%20-%20%5Cboldsymbol%20w%5ETu_1%20%5C%7C%5E2_2%7D%7B%5Cboldsymbol%20w%5ET%20%5Csum_0%5Cboldsymbol%20w%20%2B%20%5Cboldsymbol%20w%5ET%20%5Csum_1%5Cboldsymbol%20w%7D%20%3D%20%5Cfrac%7B%5Cboldsymbol%20w%5ET%28u_0-u_1%29%28u_0-u_1%29%5ET%5Cboldsymbol%20w%7D%7B%5Cboldsymbol%20w%5ET%28%5Csum_0%20%2B%20%5Csum_1%29%5Cboldsymbol%20w%7D%20%3D%20%5Cfrac%7B%5Cboldsymbol%20w%5ETS_b%5Cboldsymbol%20w%7D%7B%5Cboldsymbol%20w%5ETS_w%5Cboldsymbol%20w%7D
[S_-1_w_ S_b]: https://math.jianshu.com/math?formula=S%5E%7B-1%7D_%7Bw%7D%20S_b
[J_boldsymbol w]: https://math.jianshu.com/math?formula=J%28%5Cboldsymbol%20w%29
[D _ _ _x_1_y_1_x_2_y_2_ ... _x_m_y_m_]: https://math.jianshu.com/math?formula=D%20%3D%20%5C%7B%20%28x_1%2Cy_1%29%2C%28x_2%2Cy_2%29%2C%20...%20%2C%28x_m%2Cy_m%29%20%5C%7D
[x_i]: https://math.jianshu.com/math?formula=x_i
[y_i _epsilon _C_1_ C_2_ ..._ C_k]: https://math.jianshu.com/math?formula=y_i%20%5Cepsilon%20%5C%7BC_1%2C%20C_2%2C%20...%2C%20C_k%5C%7D
[d 1]: https://math.jianshu.com/math?formula=d
[overline_D]: https://math.jianshu.com/math?formula=%5Coverline%7BD%7D
[S_w]: https://math.jianshu.com/math?formula=S_w
[S_b]: https://math.jianshu.com/math?formula=S_b%E2%80%8B
[S_-1_wS_b]: https://math.jianshu.com/math?formula=S%5E%7B-1%7D_wS_b%E2%80%8B
[S_-1_wS_b 1]: https://math.jianshu.com/math?formula=S%5E%7B-1%7D_wS_b
[P_i _ W_Tx_i]: https://math.jianshu.com/math?formula=P_i%20%3D%20W%5ETx_i%E2%80%8B
[overline_D_ _ _ _p_1_y_1_p_2_y_2_..._p_m_y_m_]: https://math.jianshu.com/math?formula=%5Coverline%7BD%7D%20%3D%20%5C%7B%20%28p_1%2Cy_1%29%2C%28p_2%2Cy_2%29%2C...%2C%28p_m%2Cy_m%29%20%5C%7D%E2%80%8B
[boldsymbol x_1_ _boldsymbol x_2_ _cdots_ _boldsymbol x_m]: https://math.jianshu.com/math?formula=%28%5Cboldsymbol%20x%5E%7B%281%29%7D%2C%20%5Cboldsymbol%20x%5E%7B%282%29%7D%2C%20%5Ccdots%2C%20%5Cboldsymbol%20x%5E%7B%28m%29%7D%29
[n_2]: https://math.jianshu.com/math?formula=n%3D2
[n_1]: https://math.jianshu.com/math?formula=n'%3D1
[u_1_ u_2]: https://math.jianshu.com/math?formula=u_1%2C%20u_2
[u_2]: https://math.jianshu.com/math?formula=u_2
[x_1_ x_2_..._x_m]: https://math.jianshu.com/math?formula=%28x%5E%7B%281%29%7D%2C%20x%5E%7B%282%29%7D%2C...%2Cx%5E%7B%28m%29%7D%29
[w_1_w_2_..._w_n]: https://math.jianshu.com/math?formula=%7Bw_1%2Cw_2%2C...%2Cw_n%7D
[w _2 _ 1]: https://math.jianshu.com/math?formula=%5C%7C%20w%20%5C%7C_2%20%3D%201
[w_T_iw_j _ 0]: https://math.jianshu.com/math?formula=w%5ET_iw_j%20%3D%200
[w_1_w_2_..._w_n 1]: https://math.jianshu.com/math?formula=%5C%7B%20w_1%2Cw_2%2C...%2Cw_n%20%5C%7D
[n]: https://math.jianshu.com/math?formula=n'
[x_i 1]: https://math.jianshu.com/math?formula=x%5E%7B%28i%29%7D
[z_i_ _ _left_z_i_1_ z_i_2_ ..._ z_i_n_ _right]: https://math.jianshu.com/math?formula=z%5E%7B%28i%29%7D%20%3D%20%5Cleft%28z%5E%7B%28i%29%7D_1%2C%20z%5E%7B%28i%29%7D_2%2C%20...%2C%20z%5E%7B%28i%29%7D_%7Bn'%7D%20%5Cright%29
[z_i_j _ w_T_j x_i]: https://math.jianshu.com/math?formula=z%5E%7B%28i%29%7D_j%20%3D%20w%5ET_j%20x%5E%7B%28i%29%7D
[x_i_]: https://math.jianshu.com/math?formula=x%5E%7B%28i%29%7D%20%E2%80%8B
[z_i]: https://math.jianshu.com/math?formula=z%5E%7B%28i%29%7D
[widehat_x_i_ _ _sum_n_j_1_ x_i_j w_j _ Wz_i]: https://math.jianshu.com/math?formula=%5Cwidehat%7Bx%7D%5E%7B%28i%29%7D%20%3D%20%5Csum%5E%7Bn'%7D_%7Bj%3D1%7D%20x%5E%7B%28i%29%7D_j%20w_j%20%3D%20Wz%5E%7B%28i%29%7D
[W]: https://math.jianshu.com/math?formula=W
[sum_m_i_1_ _ _hat_x_i_ - x_i_ _2_2]: https://math.jianshu.com/math?formula=%5Csum%5Em_%7Bi%3D1%7D%20%5C%7C%20%5Chat%7Bx%7D%5E%7B%28i%29%7D%20-%20x%5E%7B%28i%29%7D%20%5C%7C%5E2_2
[sum_m_i_1_ _ _hat_x_i_ - x_i_ _2_2 _ _sum_m_i_1_ _ Wz_i_ - x_i_ _2_2 _ _ _sum_m_i_1_ _left_ Wz_i_ _right_T _left_ Wz_i_ _right_ - 2_sum_m_i_1_ _left_ Wz_i_ _right_T x_i_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ _sum_m_i_1_ _left_ z_i_ _right_T _left_ z_i_ _right_ - 2_sum_m_i_1_ _left_ z_i_ _right_T x_i_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ - _sum_m_i_1_ _left_ z_i_ _right_T _left_ z_i_ _right_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ -tr _left_ W_T _left_ _sum_m_i_1_ x_i_ _left_ x_i_ _right_T _right_W _right_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i_ _ _ -tr _left_ W_TXX_TW _right_ _ _sum_m_i_1_ _left_ x_i_ _right_T x_i]: https://math.jianshu.com/math?formula=%5Csum%5Em_%7Bi%3D1%7D%20%5C%7C%20%5Chat%7Bx%7D%5E%7B%28i%29%7D%20-%20x%5E%7B%28i%29%7D%20%5C%7C%5E2_2%20%3D%20%5Csum%5Em_%7Bi%3D1%7D%20%5C%7C%20Wz%5E%7B%28i%29%7D%20-%20x%5E%7B%28i%29%7D%20%5C%7C%5E2_2%20%5C%5C%20%3D%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20Wz%5E%7B%28i%29%7D%20%5Cright%29%5ET%20%5Cleft%28%20Wz%5E%7B%28i%29%7D%20%5Cright%29%20-%202%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20Wz%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D%20%2B%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D%20%5C%5C%20%3D%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20z%5E%7B%28i%29%7D%20%5Cright%29%5ET%20%5Cleft%28%20z%5E%7B%28i%29%7D%20%5Cright%29%20-%202%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20z%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D%20%2B%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D%20%5C%5C%20%3D%20-%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20z%5E%7B%28i%29%7D%20%5Cright%29%5ET%20%5Cleft%28%20z%5E%7B%28i%29%7D%20%5Cright%29%20%2B%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D%20%5C%5C%20%3D%20-tr%20%5Cleft%28%20W%5ET%20%5Cleft%28%20%5Csum%5Em_%7Bi%3D1%7D%20x%5E%7B%28i%29%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20%5Cright%29W%20%5Cright%29%20%2B%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D%20%5C%5C%20%3D%20-tr%20%5Cleft%28%20W%5ETXX%5ETW%20%5Cright%29%20%2B%20%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D
[overline_x_i_ _ Wz_i]: https://math.jianshu.com/math?formula=%5Coverline%7Bx%7D%5E%7B%28i%29%7D%20%3D%20Wz%5E%7B%28i%29%7D
[AB_T _ B_TA_T]: https://math.jianshu.com/math?formula=%28AB%29%5ET%20%3D%20B%5ETA%5ET
[W_TW _ I]: https://math.jianshu.com/math?formula=W%5ETW%20%3D%20I
[z_i_ _ W_Tx_i]: https://math.jianshu.com/math?formula=z%5E%7B%28i%29%7D%20%3D%20W%5ETx%5E%7B%28i%29%7D
[w_j]: https://math.jianshu.com/math?formula=w_j
[sum_m_i_1_ x_i_ _left_ x_i_ _right_T]: https://math.jianshu.com/math?formula=%5Csum%5Em_%7Bi%3D1%7D%20x%5E%7B%28i%29%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET
[sum_m_i_1_ _left_ x_i_ _right_T x_i]: https://math.jianshu.com/math?formula=%5Csum%5Em_%7Bi%3D1%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20x%5E%7B%28i%29%7D
[underbrace_arg _min_W - tr _left_ W_TXX_TW _right_ s.t.W_TW _ I]: https://math.jianshu.com/math?formula=%5Cunderbrace%7B%5Carg%20%5Cmin%7D_W%20-%20tr%20%5Cleft%28%20W%5ETXX%5ETW%20%5Cright%29%20s.t.W%5ETW%20%3D%20I
[J_W_ _ -tr_W_TXX_TW_ _ _lambda_W_TW - I]: https://math.jianshu.com/math?formula=J%28W%29%20%3D%20-tr%28W%5ETXX%5ETW%29%20%2B%20%5Clambda%28W%5ETW%20-%20I%29
[-XX_TW _ _lambda W _ 0]: https://math.jianshu.com/math?formula=-XX%5ETW%20%2B%20%5Clambda%20W%20%3D%200
[XX_TW _ _lambda W]: https://math.jianshu.com/math?formula=XX%5ETW%20%3D%20%5Clambda%20W
[XX_T]: https://math.jianshu.com/math?formula=XX%5ET
[lambda]: https://math.jianshu.com/math?formula=%5Clambda
[z_i_ _ W_TX_i]: https://math.jianshu.com/math?formula=z%5E%7B%28i%29%7D%20%3D%20W%5ETX%5E%7B%28i%29%7D
[n 1]: https://math.jianshu.com/math?formula=n%E2%80%8B
[D _ _left_ x_1_x_2_..._x_m_ _right]: https://math.jianshu.com/math?formula=D%20%3D%20%5Cleft%28%20x%5E%7B%281%29%7D%2Cx%5E%7B%282%29%7D%2C...%2Cx%5E%7B%28m%29%7D%20%5Cright%29%E2%80%8B
[n 2]: https://math.jianshu.com/math?formula=n'%E2%80%8B
[D_ _ _left_ z_1_z_2_..._z_m_ _right]: https://math.jianshu.com/math?formula=D'%20%3D%20%5Cleft%28%20z%5E%7B%281%29%7D%2Cz%5E%7B%282%29%7D%2C...%2Cz%5E%7B%28m%29%7D%20%5Cright%29
[x_i_ _ x_i_ - _frac_1_m_ _sum_m_j_1_ x_j]: https://math.jianshu.com/math?formula=x%5E%7B%28i%29%7D%20%3D%20x%5E%7B%28i%29%7D%20-%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em_%7Bj%3D1%7D%20x%5E%7B%28j%29%7D
[XX_T 1]: https://math.jianshu.com/math?formula=XX%5ET%E2%80%8B
[w_1_w_2_..._w_n_]: https://math.jianshu.com/math?formula=%5C%7B%20w_1%2Cw_2%2C...%2Cw_%7Bn'%7D%20%5C%7D
[z_i_ _ W_T x_i]: https://math.jianshu.com/math?formula=z%5E%7B%28i%29%7D%20%3D%20W%5ET%20x%5E%7B%28i%29%7D
[D_ _ _left_ z_1_z_2_..._z_n_ _right]: https://math.jianshu.com/math?formula=D'%20%3D%20%5Cleft%28%20z%5E%7B%281%29%7D%2Cz%5E%7B%282%29%7D%2C...%2Cz%5E%7B%28n%29%7D%20%5Cright%29%E2%80%8B
[k_k _epsilon_0_1]: https://math.jianshu.com/math?formula=k%28k%20%5Cepsilon%280%2C1%5D%29%E2%80%8B
[lambda_1 _geqslant _lambda_2 _geqslant ... _geqslant _lambda_n]: https://math.jianshu.com/math?formula=%5Clambda_1%20%5Cgeqslant%20%5Clambda_2%20%5Cgeqslant%20...%20%5Cgeqslant%20%5Clambda_n%E2%80%8B
[sum_n_i_1_ _lambda_i _geqslant k _times _sum_n_i_1_ _lambda_i]: https://math.jianshu.com/math?formula=%5Csum%5E%7Bn'%7D_%7Bi%3D1%7D%20%5Clambda_i%20%5Cgeqslant%20k%20%5Ctimes%20%5Csum%5En_%7Bi%3D1%7D%20%5Clambda_i%20%E2%80%8B
[n 3]: https://math.jianshu.com/math?formula=n
[N _n]: https://math.jianshu.com/math?formula=N%20%3En
[N]: https://math.jianshu.com/math?formula=N
[n_n_n_N]: https://math.jianshu.com/math?formula=n'%28n'%3Cn%3CN%29
[phi]: https://math.jianshu.com/math?formula=%5Cphi%E2%80%8B
[sum_m_i_1_ x_i_ _left_ x_i_ _right_T W _ _lambda W]: https://math.jianshu.com/math?formula=%5Csum%5Em_%7Bi%3D1%7D%20x%5E%7B%28i%29%7D%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20W%20%3D%20%5Clambda%20W
[sum_m_i_1_ _phi _left_ x_i_ _right_ _phi _left_ x_i_ _right_T W _ _lambda W]: https://math.jianshu.com/math?formula=%5Csum%5Em_%7Bi%3D1%7D%20%5Cphi%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%20%5Cphi%20%5Cleft%28%20x%5E%7B%28i%29%7D%20%5Cright%29%5ET%20W%20%3D%20%5Clambda%20W