Kernel PCA and De-Noisingin Feature Spaces

爱被打了一巴掌 2021-12-21 20:47 179阅读 0赞

*  引
 *  主要内容

> [Kernel PCA and De-Noisingin Feature Spaces][]

## 引 ##

kernel PCA通过\\(k(x,y)\\)隐式地将样本由输入空间映射到高维空间\\(F\\)，那么问题来了，如何回来呢，即已知\\(\\Phi(x) \\in F\\)，如何找到其原像\\(x\\)呢？可是呢：

1.  这个问题不一定有解，因为从低维空间往高维空间映射往往不是满射；
2.  即便有解，这个也不一定唯一。

但是这个方面的应用还是蛮多的啊，PCA可以通过抛去一些方向(方差小的部分）来去噪声（虽然效果似乎不是很好），kernel PCA如果也要这么做的话，就会产生上面的问题。这篇文章就是提出了一种可行的方法来解决这个问题。

通过最小化下式：  
\\\[ \\min \\limits\_z \\quad \\rho (z)= \\|\\Phi(z) - \\mathrm\{P\}\_n \\Phi(x)\\|^2 \\\]  
其中\\(\\mathrm\{P\}\_n(\\cdot)\\)是投影算子——将向量投影至由前n个特征向量构成的子空间之中。

## 主要内容 ##

在化简上式之前，需要先进行一些必要的符号说明：  
\\\[ V^k = \\sum \\limits\_\{i=1\}^l \\alpha\_i^k \\Phi(x\_i) \\\]  
为第k个特征向量（F空间中的）,其中\\(l\\)为样本个数（沿用了论文的符号）。  
定义：  
\\\[ \\beta\_k = (V^k\\cdot \\Phi(x))=\\sum \\limits\_\{i=1\}^l \\alpha\_i^k k(x, x\_i) \\\]  
那么：  
\\\[ \\mathrm\{P\}\_n \\Phi(x) = \\sum\_\{i=1\}^n \\beta\_k V^k \\\]  
现在，我们可以展开\\(\\rho(z)\\):  
![在这里插入图片描述][20190508165355576.png]  
其中\\(\\Omega\\)为与\\(z\\)无关的项，通过梯度下降可以获得\\(z\\)。

如果我们假设\\(k(x,y)=k(\\|x-y\\|^2)\\)，即\\(k(x,x)\\)为常数，则:  
![在这里插入图片描述][20190508165516141.png]  
其中\\(\\Omega'\\)为与\\(z\\)无关的项，\\(\\gamma\_i = \\sum\_\{k=1\}^n \\beta\_k \\alpha\_i^k\\)

容易计算其梯度为(差个常数2）：  
\\\[ \\nabla\_z \\rho(z) = \\sum \\limits\_\{i=1\}^l \\gamma\_i k'(\\|z-x\_i\\|)(z-x\_i) \\\]  
令其为0，得到一个必要条件：  
\\\[ z = \\frac\{\\sum \\limits\_\{i=1\}^l \\delta\_i x\_i\}\{\\sum \\limits\_\{i=1\}^l \\delta\_i\} \\\]  
其中\\(\\delta\_i = \\gamma\_i k'(\\|z-x\_i|^2\\)

一个例子就是高斯核，这时:  
![在这里插入图片描述][20190508170559647.png]

选取一个合适的起始点（分母不为0），可以通过下式来迭代：  
![在这里插入图片描述][20190508170647761.png]  
这么来想，一般的迭代方法是：  
\\\[ z\_\{t+1\} = z\_t - \\eta \\nabla \\rho(z\_t) \\\]  
令\\(\\eta=1 / \\sum\_\{i=1\}^l \\delta\_i\\)即可得（10），我不知道这么做是否有别的深意。

转载于:https://www.cnblogs.com/MTandHJ/p/10833085.html

[Kernel PCA and De-Noisingin Feature Spaces]: https://alex.smola.org/papers/1999/MikSchSmoMuletal99.pdf
[20190508165355576.png]: /images/20211220/f124989af39c4b6594bfbed7609f07ac.png
[20190508165516141.png]: /images/20211220/c1dab5cf5116453b9763131bd9405ace.png
[20190508170559647.png]: /images/20211220/24f231307b054c1cb843c5fa82d14c7e.png
[20190508170647761.png]: /images/20211220/3ecca45ed89942e199d82b7c3b6d5cba.png