MIT 线性代数导论第十四讲：正交向量和子空间

爱被打了一巴掌 2022-05-06 06:38 342阅读 0赞

第十三讲是第一部分（主要是线性代数的基础知识，四个子空间的关系）的复习课，所以没有做记录

本讲的主要内容：

*  向量正交的定义以及证明方法
 *  子空间正交的概念以及关于行空间、零空间的一些结论

### 向量正交 ###

两个向量正交的概念很直观，就是：**两个向量的夹角为90°**  
在线性代数中，上述定义可以表述为：  
对于向量  x x x 和  y y y ， x T y = 0 x^\{T\}y = 0 xTy=0

对于上式的证明，我们可以通过勾股定理来理解，这里要用到一个范式的概念，其实简单理解就是向量的长度：公式如下：  
 ∥ x ∥ 2 + ∥ y ∥ 2 = ∥ x + y ∥ 2 \\left \\| x \\right \\|^\{2\} + \\left \\| y \\right \\|^\{2\} = \\left \\| x+y \\right \\|^\{2\} ∥x∥2\+∥y∥2=∥x\+y∥2  
 ∥ x ∥ 2 = x T x \\left \\| x \\right \\| ^\{2\} = x^\{T\}x ∥x∥2=xTx  
可以理解为勾股定理中两直角边平方之和等于斜边平方，接下来将第二个式子代入第一个式子，化简过程如下：  
 x T x + y T y = ( x + y ) T ( x + y ) = x T x + x T y + y T x + y T y x^\{T\}x + y^\{T\}y = (x+y)^\{T\}(x+y) = x^\{T\}x+x^\{T\}y + y^\{T\}x + y^\{T\}y xTx\+yTy=(x\+y)T(x\+y)=xTx\+xTy\+yTx\+yTy  
其中  x T y x^\{T\}y xTy 和  y T x y^\{T\}x yTx 相等，所以最终得证。

此外，根据向量正交的概念，**零向量与所有的向量均正交**

### 子空间正交 ###

接下来将正交的概念推广到空间，两个空间  S S S 、 T T T 正交，表示：  
**任意  S S S 中的向量均与任意  T T T 中的向量正交**  
所以，不要理解为类似两个平面垂直是正交之类的。。

下面回到线性方程组，讨论行空间以及零空间是否正交？答案是 是的，将  A x = 0 Ax=0 Ax=0 展开（以3个方程为例）：  
 ( r o w 1 r o w 2 r o w 3 ) ( x 1 x 2 x 3 ) = ( 0 0 0 ) \\begin\{pmatrix\} row1\\\\ row2\\\\ row3 \\end\{pmatrix\}\\begin\{pmatrix\} x\_\{1\}\\\\ x\_\{2\}\\\\ x\_\{3\} \\end\{pmatrix\}= \\begin\{pmatrix\} 0\\\\ 0\\\\ 0 \\end\{pmatrix\} ⎝⎛row1row2row3⎠⎞⎝⎛x1x2x3⎠⎞=⎝⎛000⎠⎞

分析上式，可以得知： r o w 1 x = 0 row1x=0 row1x=0 等等，符合向量正交的条件，以此类推，所有的行空间的向量都与零空间的向量正交，所以结论正确（上面的式子可以多个相加没有问题，所以行向量的线性组合也符合正交）

对于类似行空间与零空间的一对空间，称为正交互补空间（complements）

### 如何“解”无解的方程Ax=b ###

这个地方的解是指在一些情况下，会因为一些值的影响使得方程组无解，这时候我们就需要对方程进行一些处理，这个操作就是将矩阵  A A A 变为  A T A A^\{T\}A ATA，之前提到过这个矩阵，我们了解到这个矩阵是一个方阵，并且对称，这时候  A x = b Ax=b Ax=b 也就变为  A T A x = A T b A^\{T\}Ax = A^\{T\}b ATAx=ATb.  
关于这个新的矩阵，有一下结论：

*   r a n k ( A T A ) = r a n k ( A ) rank(A^\{T\}A) = rank(A) rank(ATA)=rank(A)
 *   N ( A T A ) = N ( A ) N(A^\{T\}A) = N(A) N(ATA)=N(A)
 *   A T A A^\{T\}A ATA 只有在  N ( A ) N(A) N(A) 只有零空间的时候才可逆  
    上述结论在之后的学习中会具体证明

以上~