【理解】特征值分解，理解+计算方法+代码+应用

你的名字 2024-04-18 09:12 76阅读 0赞

### 文章目录 ###

*  理解
 *  计算方法
 *   *  手算
     *  Matlab算
 *  应用
 *  参考
 *   *  英文表述

# 理解 #

当我们在看一个**运动**的时候，我们是如何看的呢？是不是看这个运动的**速度**和**方向**；或者就像物理中的**合力**，我们会拆分成多个**分力**来简化。于是理所当然的会思考，**矩阵**是否也能像这样拆分呢？

**1、存在性**

我们不得不先说说矩阵的乘法，矩阵乘法本质是一种变换，是把一个向量，通过旋转，拉伸，变成另一个向量的过程

> 举一个例子：给定一个向量 ( 1 1 ) \\left(\\begin\{array\}\{l\}\{1\} \\\\ \{1\} \\end\{array\}\\right) (11) 和任意一个矩阵A ( 2 1 3 2 ) \\left(\\begin\{array\}\{cc\}\{2\} & \{1\}\\\\ \{3\} & \{2\} \\end\{array\}\\right) (2312) 他们相乘会得到一个新的向量  
>  ( 2 1 3 2 ) ( 1 1 ) = ( 3 5 ) \\left(\\begin\{array\}\{cc\}\{2\} & \{1\}\\\\ \{3\} & \{2\} \\end\{array\}\\right) \\left(\\begin\{array\}\{l\}\{1\} \\\\ \{1\} \\end\{array\}\\right) =\\left(\\begin\{array\}\{l\}\{3\} \\\\ \{5\} \\end\{array\}\\right) (2312)(11)=(35)

![1图][1] ![2图][2]  
通过上面**左图**可以很清楚的看到了这样一个变换的过程，因为矩阵A是随机给出的，这也意味着，我们可以随意变换原来的向量，上面**右图**这样的情况是否也可能出现呢？当然会出现，我们用一个公式来表示描述右图的变换：  
 A v = λ v (1) Av=\\lambda v \\tag\{1\} Av=λv(1) 描述的是矩阵  A A A 对向量  v v v 的变换效果只有拉伸，没有旋转。

也可以看成 矩阵  A A A，向量  v v v，系数  λ \\lambda λ 这三者建立了一种联系，但显然我们无法通过式 （1）来用  v v v 和  λ \\lambda λ 表示  A A A ，因为这个式子不是完备的，对于一个秩为  m m m 的矩阵 A A A，应该存在  m m m 个这样的式子，完备式子应该是：

A ( v ⃗ 1 , v ⃗ 2 , … , v ⃗ m ) = ( λ 1 v ⃗ 1 , λ 2 v ⃗ 2 , … , λ m v ⃗ m ) = ( v ⃗ 1 , v ⃗ 2 , … , v ⃗ m ) \[ λ 1 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ λ m \] (2) A\\left(\\vec\{v\}\_\{1\}, \\vec\{v\}\_\{2\}, \\ldots, \\vec\{v\}\_\{m\}\\right)= \\left(\\lambda\_\{1\} \\vec\{v\}\_\{1\}, \\lambda\_\{2\} \\vec\{v\}\_\{2\}, \\ldots, \\lambda\_\{m\} \\vec\{v\}\_\{m\}\\right)= \\left(\\vec\{v\}\_\{1\}, \\vec\{v\}\_\{2\}, \\ldots, \\vec\{v\}\_\{m\}\\right)\\left\[\\begin\{array\}\{ccc\}\{\\lambda\_\{1\}\} & \{\\cdots\} & \{0\} \\\\ \{\\vdots\} & \{\\ddots\} & \{\\vdots\} \\\\ \{0\} & \{\\cdots\} & \{\\lambda\_\{m\}\}\\end\{array\}\\right\] \\tag\{2\} A(v1,v2,…,vm)=(λ1v1,λ2v2,…,λmvm)=(v1,v2,…,vm)⎣⎢⎡λ1⋮0⋯⋱⋯0⋮λm⎦⎥⎤(2)

A V = V Λ (3) A V=V\\Lambda \\tag\{3\} AV=VΛ(3)

通过式（3），我们就可以表示  A A A了：  
 A = V Λ V − 1 (4) A = V \\Lambda V^\{-1\} \\tag\{4\} A=VΛV−1(4)

这种形式是不是就可以看成矩阵  A A A 被分解了。

这样我们就得到了一个与运动类似的划分：

*   λ \\lambda λ 就是运动的速度
 *   v v v 就是运动的方向

**2、合理性**

证明了存在性，那我们为什么要引入这样一种矩阵和向量的表述形式呢？科学家还将满足这样形式的向量  v v v 命名为矩阵  A A A 的特征向量，系数  λ \\lambda λ 命名为矩阵  A A A 的特征值。下面我们就要来探讨这个问题

特征值和特征向量是为了研究向量在经过线性变换后的方向不变性而提出的

一个矩阵和该矩阵的非特征向量相乘是对该向量的旋转变换；一个矩阵和该矩阵的特征向量相乘是对该向量的伸缩变换，其中伸缩程度取决于特征值大小

矩阵在特征向量所指的方向上具有 **增强（或减弱）特征向量** 的作用。这也就是说，如果矩阵持续地叠代作用于向量，那么特征向量的就会突显出来，我们用Matlab进行计算：

> （在这里用到的实例是与后面计算例子一致，可以先到后面看结果）  
> 我们反复用矩阵 A = ( 4 1 1 1 2 1 3 2 3 ) A=\\left(\\begin\{array\}\{ccc\}\{4\} & \{1\} & \{1\} \\\\ \{1\} & \{2\} & \{1\} \\\\ \{3\} & \{2\} & \{3\}\\end\{array\}\\right) A=⎝⎛413122113⎠⎞ 去乘一个任意向量  v = ( − 1 5 3 ) v= \\left(\\begin\{array\}\{c\}\{-1\} \\\\ \{5\} \\\\ \{3\}\\end\{array\}\\right) v=⎝⎛−153⎠⎞  
> ![在这里插入图片描述][20190906205347737.png]![在这里插入图片描述][20190906205402340.png]![在这里插入图片描述][20190906205416691.png]![在这里插入图片描述][20190906205431655.png]

可以看到不断左乘A后，变换后的归一化向量会恒等为（0.3，0.2，0.4），这与我们计算出来的**最大特征值对应的特征向量**归一化后的结果是一致的，这也就佐证了矩阵是具有某种不变的特性的。因此为了提取矩阵这种“不变性”，或者说是为了描述变换（矩阵乘法是一种线性变换）的主要方向是非常有必要的，具体应用会在后面讲到。

这里补充一个理论（来自[尹相楠][Link 1]）:

假设矩阵A是一个  n × n n×n n×n 的满秩矩阵，他的单位特征向量为  v 1 , v 2 , … , v n v\_1, v\_2, \\dots, v\_n v1,v2,…,vn， 对应的特征值为  λ 1 , λ 2 , … , λ n \\lambda\_1, \\lambda\_2, \\dots, \\lambda\_n λ1,λ2,…,λn 。那么对一个任意向量  x = x 1 v 1 + x 2 v 2 + ⋯ + x n v n x=x\_1v\_1 + x\_2v\_2+\\dots+x\_nv\_n x=x1v1\+x2v2\+⋯\+xnvn ，有：

A x = A ( x 1 ⋅ ν 1 + x 2 ⋅ ν 2 + … + x n ⋅ ν n ) = x 1 ( A ν 1 ) + x 2 ( A ν 2 ) + … + x n ( A ν n ) = x 1 ( λ 1 ν 1 ) + x 2 ( λ 2 ν 2 ) + … + x n ( λ n ν n ) \\begin\{aligned\} A x &=A\\left(x\_\{1\} \\cdot \\nu\_\{1\}+x\_\{2\} \\cdot \\nu\_\{2\}+\\ldots+x\_\{n\} \\cdot \\nu\_\{n\}\\right) \\\\ &=x\_\{1\}\\left(A \\nu\_\{1\}\\right)+x\_\{2\}\\left(A \\nu\_\{2\}\\right)+\\ldots+x\_\{n\}\\left(A \\nu\_\{n\}\\right) \\\\ &=x\_\{1\}\\left(\\lambda\_\{1\} \\nu\_\{1\}\\right)+x\_\{2\}\\left(\\lambda\_\{2\} \\nu\_\{2\}\\right)+\\ldots+x\_\{n\}\\left(\\lambda\_\{n\} \\nu\_\{n\}\\right) \\end\{aligned\} Ax=A(x1⋅ν1\+x2⋅ν2\+…\+xn⋅νn)=x1(Aν1)\+x2(Aν2)\+…\+xn(Aνn)=x1(λ1ν1)\+x2(λ2ν2)\+…\+xn(λnνn)

经过k次迭代后：

A k x = x 1 ( λ 1 k ν 1 ) + x 2 ( λ 2 k ν 2 ) + … + x n ( λ n k ν n ) = λ 1 k \[ x 1 ν 1 + x 2 ( λ 2 λ 1 ) k ν 2 + … + x n ( λ n λ 1 ) k ν n \] \\begin\{aligned\} A^\{k\} x &=x\_\{1\}\\left(\\lambda\_\{1\}^\{k\} \\nu\_\{1\}\\right)+x\_\{2\}\\left(\\lambda\_\{2\}^\{k\} \\nu\_\{2\}\\right)+\\ldots+x\_\{n\}\\left(\\lambda\_\{n\}^\{k\} \\nu\_\{n\}\\right) \\\\ &=\\lambda\_\{1\}^\{k\}\\left\[x\_\{1\} \\nu\_\{1\}+x\_\{2\}\\left(\\frac\{\\lambda\_\{2\}\}\{\\lambda\_\{1\}\}\\right)^\{k\} \\nu\_\{2\}+\\ldots+x\_\{n\}\\left(\\frac\{\\lambda\_\{n\}\}\{\\lambda\_\{1\}\}\\right)^\{k\} \\nu\_\{n\}\\right\] \\end\{aligned\} Akx=x1(λ1kν1)\+x2(λ2kν2)\+…\+xn(λnkνn)=λ1k\[x1ν1\+x2(λ1λ2)kν2\+…\+xn(λ1λn)kνn\]

由于  λ 1 > λ 2 > … > λ n \\lambda\_\{1\}>\\lambda\_\{2\}>\\ldots>\\lambda\_\{n\} λ1>λ2>…>λn (不考虑两个特征值相等的情况，因为太少见了)。所以经过k次迭代后， lim ⁡ k → + ∞ ( λ i / λ 1 ) k = 0 ( i ≠ 1 ) \\lim \_\{k \\rightarrow+\\infty\}\\left(\\lambda\_\{i\} / \\lambda\_\{1\}\\right)^\{k\}=0(i \\neq 1) limk→\+∞(λi/λ1)k=0(i=1)。所以：

lim ⁡ k → + ∞ A k x = λ 1 k x 1 ν 1 \\lim \_\{k \\rightarrow+\\infty\} A^\{k\} x=\\lambda\_\{1\}^\{k\} x\_\{1\} \\nu\_\{1\} k→\+∞limAkx=λ1kx1ν1

也就是说，经过 k 次迭代后，我们将得到矩阵主特征向量的线性放缩，只要把这个向量归一化，就得到了该矩阵的单位主特征向量，进而可以解出矩阵的主特征值。

# 计算方法 #

在 (1) 式的基础上，我们进行一些变形 ：  
 A v = λ v → A v = λ I v → ( λ I − A ) v = 0 Av=\\lambda v \\rightarrow Av = \\lambda I v \\rightarrow (\\lambda I - A)v = 0 Av=λv→Av=λIv→(λI−A)v=0 根据线性方程组理论，为了使这个方程有非零解，矩阵  ( λ I − A ) (\\lambda I - A) (λI−A) 的行列式必须是零，  
 d e t ( λ I − A ) = 0 det(\\lambda I - A)=0 det(λI−A)=0 上式也被称为是  A A A 的特征方程，计算出所有 λ \\lambda λ的取值后，再代入  ( λ I − A ) v = 0 (\\lambda I - A)v = 0 (λI−A)v=0 求解对应的  v v v

注意：要注意特征值是重根时的情况。。。。

## 手算 ##

通过一个例子来动手计算一遍

> 求矩阵 A = ( 4 1 1 1 2 1 3 2 3 ) A=\\left(\\begin\{array\}\{ccc\}\{4\} & \{1\} & \{1\} \\\\ \{1\} & \{2\} & \{1\} \\\\ \{3\} & \{2\} & \{3\}\\end\{array\}\\right) A=⎝⎛413122113⎠⎞的特征值和特征向量：  
>  ∣ λ I − A ∣ = ∣ λ − 4 − 1 − 1 − 1 λ − 2 − 1 − 3 − 2 λ − 3 ∣ = ( λ − 6 ) ( λ − 2 ) ( λ − 1 ) |\\lambda I - A| = \\left|\\begin\{array\}\{ccc\}\{\\lambda - 4\} & \{-1\} & \{-1\} \\\\ \{-1\} & \{\\lambda - 2\} & \{-1\} \\\\ \{-3\} & \{-2\} & \{\\lambda - 3\}\\end\{array\}\\right| = (\\lambda - 6)(\\lambda - 2)(\\lambda - 1) ∣λI−A∣=∣∣∣∣∣∣λ−4−1−3−1λ−2−2−1−1λ−3∣∣∣∣∣∣=(λ−6)(λ−2)(λ−1)  
>  所 以 λ 1 = 6 , λ 2 = 2 , λ 3 = 1 所以 \\lambda\_1 = 6 , \\lambda\_2 = 2, \\lambda\_3 = 1 所以λ1=6,λ2=2,λ3=1  
>  1. 当 λ = 6 时 ， ( λ I − A ) v = ( 6 I − A ) v = 0 1.当\\lambda=6时，(\\lambda I - A)v = (6 I - A)v = 0 1.当λ=6时，(λI−A)v=(6I−A)v=0  
>  ( 2 − 1 − 1 − 1 4 − 1 − 3 − 2 3 ) ( v 1 v 2 v 3 ) = 0 \\left(\\begin\{array\}\{ccc\}\{2\} & \{-1\} & \{-1\} \\\\ \{-1\} & \{4\} & \{-1\} \\\\ \{-3\} & \{-2\} & \{3\}\\end\{array\}\\right)\\left(\\begin\{array\}\{l\}\{v\_\{1\}\} \\\\ \{v\_\{2\}\} \\\\ \{v\_\{3\}\}\\end\{array\}\\right) =0 ⎝⎛2−1−3−14−2−1−13⎠⎞⎝⎛v1v2v3⎠⎞=0  
>  \{ 2 v 1 − v 2 − v 3 = 0 − v 1 + 4 v 2 − v 3 = 0 − 3 v 1 − 2 v 2 + 3 v 3 = 0 \\left\\\{\\begin\{array\}\{l\} \{2v\_1-v\_2-v\_3 = 0\} \\\\ \{-v\_1+4v\_2-v\_3 = 0\} \\\\ \{-3v\_1-2v\_2+3v\_3 = 0\} \\end\{array\}\\right. ⎩⎨⎧2v1−v2−v3=0−v1\+4v2−v3=0−3v1−2v2\+3v3=0  
>  通 过 给 其 中 一 个 变 量 赋 值 ( 通 常 是 1 ) ， 得 到 一 个 基 础 解 系 ⇒ \{ v 1 = 5 v 2 = 3 v 3 = 7 通过给其中一个变量赋值(通常是1)，得到一个基础解系 \\Rightarrow \\left\\\{\\begin\{array\}\{l\} \{v\_1 = 5\} \\\\ \{v\_2 = 3\} \\\\ \{v\_3 = 7\} \\end\{array\}\\right. 通过给其中一个变量赋值(通常是1)，得到一个基础解系⇒⎩⎨⎧v1=5v2=3v3=7  
>  同 理 得 到 当 λ = 2 时 , \{ v 1 = 1 v 2 = − 1 v 3 = − 1 当 λ = 1 时 , \{ v 1 = 0 v 2 = 1 v 3 = − 1 同理得到当\\lambda=2时, \\left\\\{\\begin\{array\}\{l\} \{v\_1 = 1\} \\\\ \{v\_2 = -1\} \\\\ \{v\_3 = -1\} \\end\{array\}\\right. 当\\lambda=1时, \\left\\\{\\begin\{array\}\{l\} \{v\_1 = 0\} \\\\ \{v\_2 = 1\} \\\\ \{v\_3 = -1\} \\end\{array\}\\right. 同理得到当λ=2时,⎩⎨⎧v1=1v2=−1v3=−1当λ=1时,⎩⎨⎧v1=0v2=1v3=−1

## Matlab算 ##

我们还可以利用Matlab中的 **eig()** 函数来帮我们求解：

*  e = eig(A) 返回一个列向量，其中包含方阵 A 的特征值
 *  \[V,D\] = eig(A) 返回特征值的对角矩阵 D 和矩阵 V，其列是对应的右特征向量，使得 A*V = V*D

A = [4 1 1;1 2 1;3 2 3];
    [V,D] = eig(A)

![在这里插入图片描述][20190905192718411.png]  
\*发现Matlab计算的和手算的特征向量值不同，但比例是一样的，这是因为特征向量不是唯一的，特征向量来自齐次线性方程组的解，是齐次线性方程组的**基础解系**的非零线性组合。

# 应用 #

1、在图像压缩里，一张图片就可以看作是一个矩阵，当我们提取了这个矩阵的特征值和特征向量后，我们可以只用最大的几个特征值（其他的变为0）就可以基本复原这张图片。

# 参考 #

## 英文表述 ##

特征分解：Eigendecomposition  
特征向量：eigenvector

[1]: https://img-blog.csdnimg.cn/20190906104611241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9jcmF6eWFuZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/891828f8549848189358e3be21588dcd.png
[20190906205347737.png]: https://img-blog.csdnimg.cn/20190906205347737.png
[20190906205402340.png]: https://img-blog.csdnimg.cn/20190906205402340.png
[20190906205416691.png]: https://img-blog.csdnimg.cn/20190906205416691.png
[20190906205431655.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/22d4f53c095a4c20bcebb530d513b35a.png
[Link 1]: https://zhuanlan.zhihu.com/p/55393813
[20190905192718411.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/17/41b14c4a6a6b419389c055e5b578073b.png