正定，半正定矩阵

红太狼 2022-11-13 14:25 154阅读 0赞

> 本文介绍正定矩阵和半正定矩阵。

### 定义 ###

> 正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

#### 正定 ####

*  给定一个大小为 n × n n \\times n n×n 的实方阵 A A A ，若对于任意长度为 n n n的非零向量 x x x ，有 x T A x > 0 x^TAx>0 xTAx>0 恒成立，则矩阵 A A A是一个正定矩阵。
 *  此时，若 A A A为对称方阵，则称 A A A为对称正定矩阵。

#### 半正定 ####

*  给定一个大小为 n × n n \\times n n×n 的实方阵 A A A ，若对于任意长度为 n n n的非零向量 x x x ，有 x T A x ≥ 0 x^TAx \\ge 0 xTAx≥0 恒成立，则矩阵 A A A是一个半正定矩阵。
 *  此时，若 A A A为对称方阵，则称 A A A为对称半正定矩阵。

> 可以看到半正定矩阵包含了正定矩阵，仅多出了等于零的一种情况，类似于正数和非负数的关系。

### 性质 ###

> 以正定矩阵为例，半正定矩阵仅多了等于零的情况。

*  正定矩阵的行列式恒为正；
 *  [实对称矩阵][Link 1]A正定当且仅当A与单位矩阵合同；
 *  若A是正定矩阵，则A的逆矩阵也是正定矩阵；
 *  两个正定矩阵的和是正定矩阵；
 *  正实数与正定矩阵的乘积是正定矩阵。

### 等价命题 ###

> 对于n阶实对称矩阵A，下列条件是等价的（以正定矩阵为例）：

*  A是正定矩阵；
 *  A的一切[顺序主子式][Link 2]均为正；
 *  A的一切主子式均为正；
 *  A的特征值均为正；
 *  存在实可逆矩阵C，使A=C′C；
 *  存在秩为n的m×n实矩阵B，使A=B′B；
 *  存在主对角线元素全为正的实三角矩阵R，使A=R′R 。

### 协方差矩阵半正定 ###

*  在概率统计中，多维变量的协方差矩阵是对称矩阵，事实上同时它也是半正定矩阵：

#### 推导 ####

*  考虑一个由 n n n个 m m m维向量刻画的分布，即共 n n n条数据，每条数据由一个 m m m维向量表示：

X = \[ x 11 x 12 ⋯ x 1 n x 21 x 22 x 2 n ⋮ ⋱ ⋮ x m 1 x m 2 ⋯ x m n \] X = \\left\[ \{\\begin\{array\}\{c\} \{ \{x\_\{11\}\}\}&\{ \{x\_\{12\}\}\}& \\cdots &\{ \{x\_\{1n\}\}\}\\\\ \{ \{x\_\{21\}\}\}&\{ \{x\_\{22\}\}\}&\{\}&\{ \{x\_\{2n\}\}\}\\\\ \\vdots &\{\}& \\ddots & \\vdots \\\\ \{ \{x\_\{m1\}\}\}&\{ \{x\_\{m2\}\}\}& \\cdots &\{ \{x\_\{mn\}\}\} \\end\{array\}\} \\right\] X=⎣⎢⎢⎢⎡x11x21⋮xm1x12x22xm2⋯⋱⋯x1nx2n⋮xmn⎦⎥⎥⎥⎤

*   X X X的均值为 μ X \{\\mu \_X\} μX
 *   X X X的协方差矩阵为:

∑ X = 1 n ( X − μ X ) ( X − μ X ) T \\sum\\nolimits\_X = \\frac\{1\}\{n\}(X - \{\\mu \_X\})\{(X - \{\\mu \_X\})^T\} ∑X=n1(X−μX)(X−μX)T

*  协方差矩阵  Σ X \\Sigma\_\{X\} ΣX，对其进行SVD分解：

Σ X = U Σ V T \{\\Sigma\_X\} = U \\Sigma \{V ^ T \} ΣX=UΣVT

*  由于  Σ X \\Sigma\_\{X\} ΣX 是对称矩阵，可以得到：

U = V U=V U=V

*  而且 U U U是正交矩阵，有：

U T Σ X U = Σ U^T\{\\Sigma \_X\}U = \\Sigma UTΣXU=Σ

Σ = U T ( X − μ X ) ( X − μ X ) T U \\Sigma = \{U^T\}(X - \{\\mu \_X\})\{(X - \{\\mu \_X\})^T\}U Σ=UT(X−μX)(X−μX)TU

Σ = ( U T X − U T μ X ) ( U T X − U T μ X ) T \\Sigma = (\{U^T\}X - \{U^T\}\{\\mu \_X\})\{(\{U^T\}X - \{U^T\}\{\\mu \_X\})^T\} Σ=(UTX−UTμX)(UTX−UTμX)T

*  令 Y = U T X − U T μ X Y = \{U^T\}X - \{U^T\}\{\\mu \_X\} Y=UTX−UTμX：

Σ = Y Y T \\Sigma = Y\{Y^T\} Σ=YYT

*  由于 Σ \\Sigma Σ是特征值为对角线元素的对角阵，因此对角线外元素为0，表示 Y Y Y中向量相互之间不相关。
 *  对于任意一个 Σ \\Sigma Σ中的特征值 λ i \\lambda\_i λi，计算公式为：

λ i = Y i Y i T = ∑ j = 1 n Y i j 2 ≥ 0 \{\\lambda \_ i \} = \{ Y \_ i \} \{ Y \_ i \} ^ T = \\sum \\limits\_ \{j = 1\} ^n \{ \{Y\_\{ij\} \} ^ 2\} \\ge 0 λi=YiYiT=j=1∑nYij2≥0

*  因此协方差矩阵的特征值非负，是半正定矩阵。

### 参考资料 ###

*  https://zhuanlan.zhihu.com/p/44860862
 *  https://baike.baidu.com/item/%E6%AD%A3%E5%AE%9A%E7%9F%A9%E9%98%B5/11030459?fr=aladdin

[Link 1]: https://baike.baidu.com/item/%E5%AE%9E%E5%AF%B9%E7%A7%B0%E7%9F%A9%E9%98%B5/4773879
[Link 2]: https://baike.baidu.com/item/%E9%A1%BA%E5%BA%8F%E4%B8%BB%E5%AD%90%E5%BC%8F/3167642