特征值和特征向量到底描述了什么

迈不过友情╰ 2022-10-13 12:34 165阅读 0赞

# 矩阵的乘法 #

## 矩阵对向量可以做拉伸也可以做旋转 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]  
对角矩阵对向量 ( x , y ) (x,y) (x,y)在x轴上拉伸了3倍。非对角矩阵对向量 ( x , y ) (x,y) (x,y)不仅做了拉伸，同时也做了旋转。

# 特征值和特征向量到底描述了什么 #

举个例子：打拳击。我们可以把方向当做特征向量，在这个方向上用多大的力量就是特征值。

特征向量可以说是主要的前进目标，特征值是向这个目标产生多大的作用。

## 数学定义 ##

对于给定矩阵A，寻找一个常数 λ \\lambda λ和非零向量 x x x，使得向量 x x x被矩阵A作用后所得的向量 A x Ax Ax与原向量 x x x平行，并且满足 A x = λ x Ax=\\lambda x Ax=λx。如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]  
 λ \\lambda λ就是特征值， x x x就是特征值 λ \\lambda λ对应的特征向量。

例如要做降维操作，10维的数据，每一维度都有一个特征向量，有下面两个维度逇特征向量，应该选择哪一个？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 2]  
如果有两个特征值 λ 1 > λ 2 \\lambda\_1 > \\lambda\_2 λ1>λ2，我们会认为 λ 1 \\lambda\_1 λ1对应的特征向量更重要，更有价值，所以在做降维操作时，选择特征值大的一个特征向量。

# 特征空间 #

特征空间包含了所有的特征向量。

# 应用 #

> 既然特征值表达了重要程度，并且和特征向量所对应，那么特征值大的就是主要信息了，基于这一点，我们可以提取各种有价值的信息了！

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 3]  
图像可以看做是一个矩阵，既然是矩阵，就可以算出这个矩阵的特征向量和特征值，我们如果取前10个特征值最大的特征向量，那么就可以对这个图像进行压缩，虽然图像变的有一些模糊，但是整体不会有太大变化。

# 使用numpy计算特征值和特征向量 #

import numpy as np
    
    # 创建矩阵 维度 4*2
    data = np.array([[2, 4], [1, 3], [0, 0], [0, 0]])
    
    # 将矩阵转为方阵 维度 4*4
    A = np.dot(data, data.T)
    #A=array([[20, 14, 0, 0],
    # [14, 10, 0, 0],
    # [ 0, 0, 0, 0],
    # [ 0, 0, 0, 0]])
    # 求A的特征值和特征向量
    val,vector = np.linalg.eig(A)
    # val=array([29.86606875, 0.13393125, 0. , 0. ])
    # vector=array([[ 0.81741556, -0.57604844, 0. , 0. ],
    # [ 0.57604844, 0.81741556, 0. , 0. ],
    # [ 0. , 0. , 1. , 0. ],
    # [ 0. , 0. , 0. , 1. ]])
    特征值29.86606875 对应的

特征值29.86606875 对应的特征向量为\[ 0.81741556，0.57604844，0 ，0\]  
特征值0.13393125对应的特征向量为\[-0.57604844，0.81741556，0，0\]

验证：

np.dot(A, vector[:,0])
    # array([24.41298932, 17.20430221,  0.        ,  0.        ])
    np.dot(val[0], vector[:,0])
    # array([24.41298932, 17.20430221,  0.        ,  0.        ])
    
    np.dot(A, vector[:,1])
    # array([-0.07715089,  0.10947749,  0.        ,  0.        ])
    np.dot(vector[:, 1], val[1])
    array([-0.07715089,  0.10947749,  0.        ,  0.        ])

矩阵data：  
![在这里插入图片描述][ad6eed84882f4debb744cce88c9d0ea1.png]  
矩阵A：  
![在这里插入图片描述][69e5b0808fa54213890b1ab3df7b485f.png]  
特征值：  
![在这里插入图片描述][dc13cecf7fa9419a995393078e496f27.png]  
特征向量：  
![在这里插入图片描述][52484ed18f73410099689ba411013801.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]: /images/20221005/9e3a2a531b394504a3893865715b322b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 1]: /images/20221005/9e7a9e8b250f42a08fe1cddeaeed6312.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 2]: /images/20221005/cc7107cc97634b7db3004b02e12c51c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70 3]: /images/20221005/5f781d0a4d7f40a89bf32c300758134c.png
[ad6eed84882f4debb744cce88c9d0ea1.png]: /images/20221005/4836fd0d37e54fcaa5908cabcfefeebd.png
[69e5b0808fa54213890b1ab3df7b485f.png]: /images/20221005/f2ea2563b74745beace2f6925a76fdfb.png
[dc13cecf7fa9419a995393078e496f27.png]: /images/20221005/970b6b7d9b564232b5325e61ca486759.png
[52484ed18f73410099689ba411013801.png]: /images/20221005/0803689176aa41089e045a4d5454c3a2.png