机器学习—降维

短命女 2022-02-05 01:13 359阅读 0赞

### 降维的作用：压缩和可视化 ###

##### 数据压缩（3D–>2D）：减少数据从3D到2D #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 2]

##### 可视化数据 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 5]

### 主成分分析（PCA） ###

*  主成分分析（PCA）是最常见的降维算法。
 *  在PCA中，要做的是找到一个方向向量（Vector direction），当把所有的数据都投射到该向量上时，希望投射距离均方差能尽可能地小。
 *  方向向量是一个经过原点的向量，而投射误差是从特征向量向该方向向量作垂线的长度。
 *  主成分分析最小化的是投射距离误差（Projected Error）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 6]

### 降维算法的几何图形直观理解: ###

![在这里插入图片描述][20190504090614907.png]  
![在这里插入图片描述][20190504090513647.png]  
![在这里插入图片描述][20190504090528618.png]  
将点投影到X1这个维度上看的话，**图1的数据离散性最高**，图3较低，图2数据离散性是最低的。**数据离散性越大，代表数据在所投影的维度上具有越高的区分度，这个区分度就是信息量**。如果用方差来形容数据的分布离散性的话，**就是向X1轴的投射距离方差越小，在X1方向上投射形成的数据方差则越大，表示数据的区分度越高，也就是蕴含的信息量是越大的。**

基于这个知识，如果想对数据进行降维的话，比如图1的两个维度的数据降成一维，可以选择保留X1这个维度的数据(**也就是向X1轴的投射距离方差最小**)，因为在这个维度上蕴含的信息量更多。

#### 主成分分析问题 ####

*  PCA将n个特征降维到k个，可用来进行数据压缩。  
     如果100维的向量最后可以用10维来表示，那么压缩率为90%。  
     同样图像处理领域的KL变换使用PCA 做图像压缩。  
     但PCA 要保证降维后，还要保证数据的特性损失最小。  
     PCA 技术的一大好处是对数据进行降维的处理。
 *  对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。  
     同时最大程度的保持了原有数据的信息

##### 主成分分析的投射距离误差与线性回归的预测误差 #####

![主成分分析的投射距离误差与线性回归的预测误差][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 7]

### PCA步骤 ###

1)计算协方差矩阵  
2)通过SVD求解特征向量和特征值,使其满足AU=SU ,S为特征值，U是特征向量。将原A变为除方差位置外（对角线），协方差位置都为0的矩阵。  
3)选取前k个特征值较大的特征向量做数据压缩Z=XUreduc(k)

> 注意：在PCA之前要做特征缩放

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 8]

> 协方差矩阵含义
> 
>  *  两个特征相交处的值为正，表明两个特征正相关；
>  *  值为负，两个特征负相关；
>  *  值为0，两个特征不相关。

#### 降维算法的几何图形的数学理解: ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 9]

#### 降维算法的几何图形的数学理解: ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 10]

### 应用PCA的建议 ###

1.压缩  
减少内存及磁盘的数据需求  
加速学习算法  
可视化

2.PCA的不良应用: 防止过拟合（首选是正则化）  
这不是一个处理过度拟合的好方法，因为其降维时与结果无关，所以可能会将一些与结果有关的特征丢失. 需要使用正则化代替.（与结果有关）

3.在实现PCA之前,首先尝试用原始/原始数据 来运行任何你想做的事情.只有必要时（算法运行太慢或者占用太多  
内存）, 才考虑使用PCA.

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70]: /images/20220205/0dd56a6154e3486692d45c2c176985eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 1]: /images/20220205/a2d90a0ddca14a478b46c75b0e5a3d77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 2]: /images/20220205/c9147ce5046d48b6a0e96c32924c5569.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 3]: /images/20220205/cc0a3de28fb54f29b37af4ca8c9e35d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 4]: /images/20220205/7651ffe65a3145a4b6ecc8f9e453bfcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 5]: /images/20220205/53d9b861ae13453c960bc38bcd6a78af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 6]: /images/20220205/77c551c3c45b47f8843f3e24b1a5593b.png
[20190504090614907.png]: /images/20220205/531ccf97c46a4da098e492233c000a63.png
[20190504090513647.png]: /images/20220205/29c7d71175b74fa783ad419175b6bd58.png
[20190504090528618.png]: /images/20220205/087b4637cb254dbf8584e6e73f5aa84d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 7]: /images/20220205/f1488cbb9d7e42058a2119095c96bdff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 8]: /images/20220205/b4e40eb4e8e54664b2075cd5c2344438.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 9]: /images/20220205/ff21fbbb2bed41dd88e56e0df8e1726e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDE4NzQ1MA_size_16_color_FFFFFF_t_70 10]: /images/20220205/5c0516b7e6744c31a8062a835c52bf95.png