Least squres(最小二乘法)

喜欢ヅ旅行 2022-04-17 03:57 192阅读 0赞

### 文章目录 ###

*   *  Least Squares Approximations
     *  A=QR

## Least Squares Approximations ##

When  A x = b Ax=b Ax=b has no solutions , multiply by  A T A^T AT and solve  A T A x ^ = A T b A^TA\\hat\{x\}=A^Tb ATAx^=ATb ,  x ^ \\hat\{x\} x^ is least squares solution

例子：找一条最接近三个点（0，6），（1，0），（2，0）直线  
如果存在一条直线 b=C+Dt 经过三个点，那么：  
 C + D ∗ 0 = 6 C + D ∗ 1 = 0 C + D ∗ 2 = 0 C+D\*0=6\\\\ C+D\*1=0\\\\ C+D\*2=0 C\+D∗0=6C\+D∗1=0C\+D∗2=0  
写成矩阵形式：  
 \[ 1 0 1 1 1 2 \] \[ C D \] = \[ 6 0 0 \] \\left\[ \\begin\{matrix\} 1 & 0 \\\\ 1 & 1 \\\\ 1 & 2 \\end\{matrix\} \\right\] \\left\[ \\begin\{matrix\} C \\\\ D \\end\{matrix\} \\right\] = \\left\[ \\begin\{matrix\} 6 \\\\ 0 \\\\ 0 \\end\{matrix\} \\right\] ⎣⎡111012⎦⎤\[CD\]=⎣⎡600⎦⎤  
当然这个方程是无解的，我们寻找最佳近似解，左边乘以 A T 得 到 A^T得到 AT得到 A T A x ^ = A T b A^TA\\hat\{x\}=A^Tb ATAx^=ATb  
 \[ 1 1 1 0 1 2 \] \[ 1 0 1 1 1 2 \] \[ C D \] = \[ 1 1 1 0 1 2 \] \[ 6 0 0 \] \\left\[ \\begin\{matrix\} 1 & 1 & 1\\\\ 0 & 1&2 \\\\ \\end\{matrix\} \\right\] \\left\[ \\begin\{matrix\} 1 & 0 \\\\ 1 & 1 \\\\ 1 & 2 \\end\{matrix\} \\right\] \\left\[ \\begin\{matrix\} C \\\\ D \\end\{matrix\} \\right\] = \\left\[ \\begin\{matrix\} 1 & 1 & 1\\\\ 0 & 1&2 \\\\ \\end\{matrix\} \\right\] \\left\[ \\begin\{matrix\} 6 \\\\ 0 \\\\ 0 \\end\{matrix\} \\right\] \[101112\]⎣⎡111012⎦⎤\[CD\]=\[101112\]⎣⎡600⎦⎤  
 得 到 x ^ = \[ C D \] = \[ 5 − 3 \] 得到 \\hat\{x\} = \\left\[ \\begin\{matrix\} C \\\\ D \\end\{matrix\} \\right\]= \\left\[ \\begin\{matrix\} 5 \\\\ -3 \\end\{matrix\} \\right\] 得到x^=\[CD\]=\[5−3\]  
最终 5-3t 是最好的直线使得误差最小,p=(5,2,-1) , e=(1,-2,1) 从下图看出  
![在这里插入图片描述][20181113202039402.png]

--------------------

## A=QR ##

Q是由A得到的一组标准正交基，那么A可以由Q乘以一个矩阵得到  
![在这里插入图片描述][20181112214906627.png]  
 上述表明：

1.  a 是由 linear combination of q1 构成
2.  b 是由 linear combination of q1、q2构成
3.  c 是由 linear combination of q1、q2、q3 构成

Any m by n matrix A with independent columns can be factored into  Q R QR QR. The m by n matrix Q has orthonomal columns, and square matrx R is upper triangular with positive diagonal  
  
  
如果A=QR ,则Least Squares 由 A T A x ^ = A T b A^TA\\hat\{x\}=A^Tb ATAx^=ATb 变成 R x ^ = Q T b R\\hat\{x\}=Q^Tb Rx^=QTb ,得到  x ^ = R − 1 Q T b \\hat\{x\}=R^\{-1\}Q^Tb x^=R−1QTb

[20181113202039402.png]: /images/20220417/cea1ac18e9e942cf9064747ee63186d4.png
[20181112214906627.png]: /images/20220417/d981e944e2c846269416a75e96c70c79.png