【台大李宏毅ML课程】Lecture 13 Unsupervised Learning——Linear Dimension Reduction笔记

偏执的太偏执、 2022-05-29 09:12 216阅读 0赞

本节课主要讲了两种**线性降维**的方法——cluster和PCA，并从两个角度解释了PCA。最后讲了一些关于矩阵分解的知识。

# 1.cluster #

cluster就简单的带过了，主要是k-means和HAC

**k-means原理：**  
（1）先初始化k个中心点ci (i=1,….,k)  
（2）如果样本x离ci更近，就划分到第i类  
（3）更新每个类别的中心点  
（4）重复（2）（3）

如何选择K是个问题~

**HAC（Hierarchical Agglomerative Clustering ）原理**  
类似于建立一棵树，每个节点都设置一个阈值

# 2.PCA（Principle Component Analysis） #

PCA降维原理可以从两个来考虑  
一是基于最大方差原理，样本点在这个超平面上的投影尽可能分开。  
二是基于最小化误差原理，样本点到这个超平面距离都足够近。

## **2.1基于最大方差原理** ##

**（1）需要找到一个投影矩阵W，使得x在W上的投影方差尽可能的大，其中W是由很多个向量组成（w1,w2,w3,…），希望x在w1上投影的方差最大，w2上投影的方差其次……以此类推**  
![这里写图片描述][Image 1]

**（2）并且，W是一个单位正交矩阵，即（w1,w2,w3,…）相互正交，且都是单位向量**  
![这里写图片描述][70]

**（3）先来求解w1，把投影后z=w1·x的协方差矩阵写出来~**  
![这里写图片描述][70 1]

**（4）问题变成了求解带条件的最大值问题，采用lagrange乘数法求解~**  
**可求得w1是x的协方差矩阵S的特征向量，且是最大特征值对应的特征向量**  
![这里写图片描述][70 2]

**（5）依次往后退，w2是S的2nd特征值对应的特征向量**  
![这里写图片描述][70 3]

**（6）PCA达到的效果就是decorrelation（去关联），所以最后投影之后得到z的协方差矩阵D是对角矩阵；**  
*\* 投影矩阵W是单位正交矩阵\**  
*\* W就是x协方差矩阵S的特征向量\**  
![这里写图片描述][70 4]

## **2.2基于最小化误差原理** ##

（1）基本思想：将x-(x上面一根横线，就是x的均值)近似看成是由多个u组成的，然后求解最小化它们之间的error时的系数c和分量u  
![这里写图片描述][70 5]

（2）矩阵形式，Matrix X就是x-(x上面一根横线）  
![这里写图片描述][70 6]

（3）为了求解c和u（component），可以将X做奇异值分解SVD，用分解后的U代替u，ΣxV代替系数c  
其中U就是XXT的特征向量  
有时候只选取特征值比较大的component~  
![这里写图片描述][70 7]

PCA相当于只含一层hidden layer的AutoEncoder  
![这里写图片描述][70 8]  
![这里写图片描述][70 9]

## **2.3 PCA和LDA比较** ##

PCA是无监督的，LDA是有监督的  
PCA基本思想是方差最大，LDA基本思想是让不同类别分的尽可能开  
PCA和LDA都是线性映射  
对于结构比较复杂的降维，只能采用非线性流行学习比如LLE等方法

## 2.4 PCA和NMF比较 ##

NMF：Non-negative Matrix Factorization，非负矩阵分解  
NMF分解之后的component的系数都是正的，就拿image来说，也就是说分解之后的component像是原始image的一部分  
而PCA的系数可正可负，涉及到component的“加加减减”  
没有具体讲  
可参考这篇博文：  
[https://blog.csdn.net/acdreamers/article/details/44663421][https_blog.csdn.net_acdreamers_article_details_44663421]

# 3.Matirx Factorization矩阵分解 #

目的：通过矩阵分解，也许可以挖掘出一些隐含信息，可以用在推荐系统中  
![这里写图片描述][70 10]

（1）可利用矩阵中已有的数据，将问题转化为求最小值的问题，其中r是向量，可用梯度下降法求解  
![这里写图片描述][70 11]  
求解过程大致可以参考这篇文章：  
[https://blog.csdn.net/shuaishuai3409/article/details/50821071][https_blog.csdn.net_shuaishuai3409_article_details_50821071]

（2）求解出来的r就是下面两个矩阵，可以用来填充原矩阵中没有的值  
![这里写图片描述][70 12]

（3）还可以加一些偏置b或者正则项  
![这里写图片描述][70 13]

矩阵分解的一些应用——主题分析，挖掘出一些隐含的主题  
1.LSA  
2.PLSA  
3.LDA  
……

[Image 1]: 
[70]: /images/20220529/1672a1a5a0af4cc7b6ab9fc013f1a00d.png
[70 1]: /images/20220529/545adc944fda4d8fa4e2f00daf8fe837.png
[70 2]: /images/20220529/666308802d494d6cac2e7d106ca5d7b3.png
[70 3]: /images/20220529/3bf0558fff124f6d8f607f5ceee4ddef.png
[70 4]: /images/20220529/33c0ce0aa454456b89d05969e730ca89.png
[70 5]: /images/20220529/bf3d97ac109d46b6b7f97b70b867ca69.png
[70 6]: /images/20220529/eb0925c9ae72405ba6b8f6a5129ce578.png
[70 7]: /images/20220529/a74966526c8049b1896b262511387545.png
[70 8]: /images/20220529/2fac7f44a791406eaa6e972d711ca30a.png
[70 9]: /images/20220529/ecd6a13821994a47b78af398d1cb5cdd.png
[https_blog.csdn.net_acdreamers_article_details_44663421]: https://blog.csdn.net/acdreamers/article/details/44663421
[70 10]: /images/20220529/510413f6dfa94bf69ba06b57dbdd321a.png
[70 11]: /images/20220529/4fb418d83e0b4abf8be691711c6acde3.png
[https_blog.csdn.net_shuaishuai3409_article_details_50821071]: https://blog.csdn.net/shuaishuai3409/article/details/50821071
[70 12]: /images/20220529/008521450e46428ebc49aa278acafdcd.png
[70 13]: /images/20220529/4efb3a3e697e459fb29bafefcebd0000.png