【数学基础】最小二乘法

朴灿烈づ我的快乐病毒、 2022-04-15 06:25 374阅读 0赞

### **【fishing-pan：https://blog.csdn.net/u013921430 转载请注明出处】** ###

## 前言 ##

当我们有 N N N组数据，希望能够用一个函数来拟合这组数据的分布情况时，首先想到的就是最小二乘法。最小二乘法是线性回归中最基础也是最常用模型，它也可以用来拟合高次多项式。

## 什么是最小二乘法 ##

那么，什么是最小二乘法呢？将我们手中已有的数据表示成一个集合，（为了简化模型，暂且只考虑输入属性只有 x x x一个的情况） D = \{ ( x 1 ; y 1 ) , ( x 2 ; y 2 ) , ⋯ &ThinSpace; , ( x n ; y n ) \} D=\\left \\\{ (x\_\{1\};y\_\{1\}),(x\_\{2\};y\_\{2\}),\\cdots ,(x\_\{n\};y\_\{n\}) \\right \\\} D=\{ (x1;y1),(x2;y2),⋯,(xn;yn)\}  
  首先假设最终得到的线性模型为；  
 y = a x + b y=ax+b y=ax\+b  
![在这里插入图片描述][20181122153559475.jpg_pic_center]  
  如上图所示，绿色的线条为所求的回归模型，黑色点为实际样本输入数据，红色线段为实际值与模型预测值之间的欧氏距离，用以下公式表示；  
 e i = ∥ a x i + b − y i ∥ e\_\{i\}=\\left \\| ax\_\{i\}+b-y\_\{i\} \\right \\| ei=∥axi\+b−yi∥  
  为了让最终所求的模型尽量准确地表现数据分布规律，我们需要让 e i e\_\{i\} ei的和尽可能的小，所以 ( a ∗ , b ∗ ) (a^\{\*\},b^\{\*\}) (a∗,b∗)在 e i e\_\{i\} ei的和取最小值时取得；  
 ( a ∗ , b ∗ ) = a r g m i n ( a , b ) ∑ i = 1 n ∥ a x i + b − y i ∥ (a^\{\*\},b^\{\*\})=\\underset\{(a,b)\}\{argmin\}\\sum\_\{i=1\}^\{n\}\\left \\| ax\_\{i\}+b-y\_\{i\} \\right \\| (a∗,b∗)=(a,b)argmini=1∑n∥axi\+b−yi∥  
   但是上述式子中的绝对值是不可导的，求解困难。因此采用均方误差来代替绝对值。  
 ( a ∗ , b ∗ ) = a r g m i n ( a , b ) ∑ i = 1 n ( a x i + b − y i ) 2 (a^\{\*\},b^\{\*\})=\\underset\{(a,b)\}\{argmin\}\\sum\_\{i=1\}^\{n\} (ax\_\{i\}+b-y\_\{i\} )^\{2\} (a∗,b∗)=(a,b)argmini=1∑n(axi\+b−yi)2  
  这种基于均方误差来进行模型求解的方法就叫最小二乘法，也叫最小平方法。

## 参数推导 ##

首先还是来看上面提到的最简单的情况。令；  
 E ( a , b ) = ∑ i = 1 n ( a x i + b − y i ) 2 E(a,b)=\\sum\_\{i=1\}^\{n\} (ax\_\{i\}+b-y\_\{i\} )^\{2\} E(a,b)=i=1∑n(axi\+b−yi)2  
   E E E是关于 a a a与 b b b的二次函数，只会有一个极值点。而很明显，让 E E E取极大值的 ( a , b ) (a,b) (a,b)出现在空间中无限远处的，是不存在的。所以当 ( a , b ) (a,b) (a,b)让 E E E取得极值时， E E E取得极小值，分别对 a a a、 b b b求偏导。  
 ∂ E ∂ a = 2 ∑ i = 1 n ( a x i + b − y i ) x i = 2 ( ∑ i = 1 n a x i 2 + ∑ i = 1 n b x i − ∑ i = 1 n y i x i ) = 2 ( ∑ i = 1 n a x i 2 + b ∗ n x ˉ − ∑ i = 1 n y i x i ) \\begin\{aligned\} \\frac\{\\partial E\}\{\\partial a\}&=2\\sum\_\{i=1\}^\{n\} (ax\_\{i\}+b-y\_\{i\} )x\_\{i\}\\\\ &=2(\\sum\_\{i=1\}^\{n\} ax\_\{i\}^\{2\}+\\sum\_\{i=1\}^\{n\}bx\_\{i\}-\\sum\_\{i=1\}^\{n\}y\_\{i\}x\_\{i\})\\\\&=2(\\sum\_\{i=1\}^\{n\} ax\_\{i\}^\{2\}+b\*n\\bar\{x\}-\\sum\_\{i=1\}^\{n\}y\_\{i\}x\_\{i\}) \\end\{aligned\} ∂a∂E=2i=1∑n(axi\+b−yi)xi=2(i=1∑naxi2\+i=1∑nbxi−i=1∑nyixi)=2(i=1∑naxi2\+b∗nxˉ−i=1∑nyixi)  
 ∂ E ∂ b = 2 ∑ i = 1 n ( a x i + b − y i ) = 2 ( a ∗ n x ˉ + n b − n y ˉ ) \\frac\{\\partial E\}\{\\partial b\}=2\\sum\_\{i=1\}^\{n\} (ax\_\{i\}+b-y\_\{i\} )=2(a\*n\\bar\{x\}+nb-n\\bar\{y\}) ∂b∂E=2i=1∑n(axi\+b−yi)=2(a∗nxˉ\+nb−nyˉ)  
  令；  
 ∂ E ∂ a = 0 ， ∂ E ∂ b = 0 \\frac\{\\partial E\}\{\\partial a\}=0，\\frac\{\\partial E\}\{\\partial b\}=0 ∂a∂E=0，∂b∂E=0  
  可得；  
 a = ∑ i = 1 n x i y i − n x ˉ y ˉ ∑ i = 1 n x i 2 − n x ˉ 2 a=\\frac\{\\sum\_\{i=1\}^\{n\}x\_\{i\}y\_\{i\}-n\\bar\{x\}\\bar\{y\}\}\{\\sum\_\{i=1\}^\{n\}x\_\{i\}^\{2\}-n\\bar\{x\}^\{2\}\} a=∑i=1nxi2−nxˉ2∑i=1nxiyi−nxˉyˉ  
 b = y ˉ − a x ˉ = y ˉ ∑ i = 1 n x i 2 − x ˉ ∑ i = 1 n x i y i ∑ i = 1 n x i 2 − n x ˉ 2 b=\\bar\{y\}-a\\bar\{x\}=\\frac\{\\bar\{y\}\\sum\_\{i=1\}^\{n\}x\_\{i\}^\{2\}-\\bar\{x\}\\sum\_\{i=1\}^\{n\}x\_\{i\}y\_\{i\}\}\{\\sum\_\{i=1\}^\{n\}x\_\{i\}^\{2\}-n\\bar\{x\}^\{2\}\} b=yˉ−axˉ=∑i=1nxi2−nxˉ2yˉ∑i=1nxi2−xˉ∑i=1nxiyi  
  由于，  
 ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) = ∑ i = 1 n ( x i y i − x i y ˉ − y i x ˉ + x ˉ y ˉ ) = ∑ i = 1 n x i y i − y ˉ ∑ i = 1 n x i − x ˉ ∑ i = 1 n y i + n x ˉ y ˉ = ∑ i = 1 n x i y i − n x ˉ y ˉ \\begin\{aligned\} \\sum\_\{i=1\}^\{n\}(x\_\{i\}-\\bar\{x\})(y\_\{i\}-\\bar\{y\})&=\\sum\_\{i=1\}^\{n\}(x\_\{i\}y\_\{i\}-x\_\{i\}\\bar\{y\}-y\_\{i\}\\bar\{x\}+\\bar\{x\}\\bar\{y\})\\\\ &=\\sum\_\{i=1\}^\{n\}x\_\{i\}y\_\{i\}-\\bar\{y\}\\sum\_\{i=1\}^\{n\}x\_\{i\}-\\bar\{x\}\\sum\_\{i=1\}^\{n\}y\_\{i\}+n\\bar\{x\}\\bar\{y\}\\\\ &=\\sum\_\{i=1\}^\{n\}x\_\{i\}y\_\{i\}-n\\bar\{x\}\\bar\{y\} \\end\{aligned\} i=1∑n(xi−xˉ)(yi−yˉ)=i=1∑n(xiyi−xiyˉ−yixˉ\+xˉyˉ)=i=1∑nxiyi−yˉi=1∑nxi−xˉi=1∑nyi\+nxˉyˉ=i=1∑nxiyi−nxˉyˉ  
  同理，  
 ∑ i = 1 n ( x i − x ˉ ) 2 = ∑ i = 1 n x i 2 − n x ˉ 2 \\sum\_\{i=1\}^\{n\}(x\_\{i\}-\\bar\{x\})^\{2\}=\\sum\_\{i=1\}^\{n\}x\_\{i\}^\{2\}-n\\bar\{x\}^\{2\} i=1∑n(xi−xˉ)2=i=1∑nxi2−nxˉ2  
  所以 a a a还可以表示成，  
 a = ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) ∑ i = 1 n ( x i − x ˉ ) 2 a=\\frac\{\\sum\_\{i=1\}^\{n\}(x\_\{i\}-\\bar\{x\})(y\_\{i\}-\\bar\{y\})\}\{\\sum\_\{i=1\}^\{n\}(x\_\{i\}-\\bar\{x\})^\{2\}\} a=∑i=1n(xi−xˉ)2∑i=1n(xi−xˉ)(yi−yˉ)

## 多元线性回归 ##

上述的推导中输入属性数目为一，在一般的情况下，样本的属性会有多个，所以通过矩阵的形式将上述推导过程进行推广。假设数据集 D D D中样本属性有 d d d个；将第 i i i个样本可以表示成以下形式；  
 ( x i 1 ; x i 2 ; ⋯ &ThinSpace; ; x i d ; y ) (x\_\{i\}^\{1\};x\_\{i\}^\{2\};\\cdots ;x\_\{i\}^\{d\};y) (xi1;xi2;⋯;xid;y)  
  用向量  x i \{\\textbf\{x\}\}\_\{i\} xi表示  d d d 个属性， w \{\\textbf\{w\}\} w表示参数的向量;  
 x i = ( x i 1 ; x i 2 ; ⋯ &ThinSpace; ; x i d ) \{\\textbf\{x\}\}\_\{i\}=(x\_\{i\}^\{1\};x\_\{i\}^\{2\};\\cdots ;x\_\{i\}^\{d\}) xi=(xi1;xi2;⋯;xid)  
 w = ( w 1 ; w 2 ; ⋯ &ThinSpace; ; w d ) \{\\textbf\{w\}\}=(w\_\{1\};w\_\{2\};\\cdots ;w\_\{d\}) w=(w1;w2;⋯;wd)  
  则回归模型可以表示成；  
 f ( x i ) = w T x i + b f(\{\\textbf\{x\}\}\_\{i\})=\{\\textbf\{w\}\}^\{T\}\{\\textbf\{x\}\}\_\{i\}+b f(xi)=wTxi\+b  
  为了便于讨论，令  
 w ^ = ( w ; b ) \\hat\{\\textbf\{w\}\}=(\{\\textbf\{w\}\};b) w^=(w;b)  
  对应的将 x \{\\textbf\{x\}\} x也增加一项；  
 x i = ( x i 1 ; x i 2 ; ⋯ &ThinSpace; ; x i d ; 1 ) \{\\textbf\{x\}\}\_\{i\}=(x\_\{i\}^\{1\};x\_\{i\}^\{2\};\\cdots ;x\_\{i\}^\{d\};1) xi=(xi1;xi2;⋯;xid;1)  
 f ( x i ) = w ^ T x i f(\{\\textbf\{x\}\}\_\{i\})=\\hat\{\\textbf\{w\}\}^\{T\}\{\\textbf\{x\}\}\_\{i\} f(xi)=w^Txi  
 X = ( x 1 1 x 1 2 ⋯ x 1 d 1 x 2 1 x 2 2 ⋯ x 2 d 1 ⋮ ⋱ ⋱ ⋮ ⋮ x n 1 x n 2 ⋯ x n d 1 ) = ( x 1 T 1 x 2 T 1 ⋮ ⋮ x n T 1 ) \{\\textbf\{X\}\}=\\begin\{pmatrix\} x\_\{1\}^\{1\} & x\_\{1\}^\{2\} & \\cdots & x\_\{1\}^\{d\} &1 \\\\ x\_\{2\}^\{1\} & x\_\{2\}^\{2\} & \\cdots & x\_\{2\}^\{d\} &1\\\\ \\vdots & \\ddots & \\ddots &\\vdots & \\vdots \\\\ x\_\{n\}^\{1\} & x\_\{n\}^\{2\} & \\cdots & x\_\{n\}^\{d\} &1 \\end\{pmatrix\}=\\begin\{pmatrix\} \{\\textbf\{x\}\}\_\{1\}^\{T\} &1 \\\\ \{\\textbf\{x\}\}\_\{2\}^\{T\} &1 \\\\ \\vdots &\\vdots \\\\ \{\\textbf\{x\}\}\_\{n\}^\{T\} & 1 \\end\{pmatrix\} X=⎝⎜⎜⎜⎛x11x21⋮xn1x12x22⋱xn2⋯⋯⋱⋯x1dx2d⋮xnd11⋮1⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛x1Tx2T⋮xnT11⋮1⎠⎟⎟⎟⎞  
  同样地；  y = ( y 1 ; y 2 ; ⋯ &ThinSpace; ; y n ) \{\\textbf\{y\}\}=(\{y\}\_\{1\};\{y\}\_\{2\};\\cdots;\{y\}\_\{n\}) y=(y1;y2;⋯;yn)，那么与上面的类似，有;  
 w ^ ∗ = a r g &ThinSpace; m i n w ^ ( y − X w ^ ) T ( y − X w ^ ) \\hat\{\\textbf\{w\}\}^\{\*\}=\\underset\{\\hat\{\\textbf\{w\}\}\}\{arg\\, min\}(\{\\textbf\{y\}\}-\{\\textbf\{X\}\}\\hat\{\\textbf\{w\}\})^\{T\}(\{\\textbf\{y\}\}-\{\\textbf\{X\}\}\\hat\{\\textbf\{w\}\}) w^∗=w^argmin(y−Xw^)T(y−Xw^)  
  令 E = ( y − X w ^ ) T ( y − X w ^ ) E=(\{\\textbf\{y\}\}-\{\\textbf\{X\}\}\\hat\{\\textbf\{w\}\})^\{T\}(\{\\textbf\{y\}\}-\{\\textbf\{X\}\}\\hat\{\\textbf\{w\}\}) E=(y−Xw^)T(y−Xw^)；对 w ^ \\hat\{\\textbf\{w\}\} w^求偏导数；  
 ∂ E ∂ w ^ = 2 X T ( X w ^ − y ) \\frac\{\\partial E\}\{\\partial \\hat\{\\textbf\{w\}\}\}=2\{\\textbf\{X\}\}^\{T\}(\{\\textbf\{X\}\}\\hat\{\\textbf\{w\}\}-\\textbf\{y\}) ∂w^∂E=2XT(Xw^−y)  
  最终所求  
 w ^ ∗ = ( X T X ) − 1 X T y \\hat\{\\textbf\{w\}\}^\{\*\}=(\{\\textbf\{X\}\}^\{T\}\{\\textbf\{X\}\})^\{-1\}\{\\textbf\{X\}\}^\{T\}\\textbf\{y\} w^∗=(XTX)−1XTy

## 继续推广延伸 ##

更一般的，可以将这种线性回归用于非线性函数的拟合；例如对于对数函数；  
 f ( x i ) = y = l n ( w T x i + b ) f(\{\\textbf\{x\}\}\_\{i\})=y=ln(\{\\textbf\{w\}\}^\{T\}\{\\textbf\{x\}\}\_\{i\}+b) f(xi)=y=ln(wTxi\+b)  
  可以利用反函数，将其转换成 h = e y = w T x i + b h=e^\{y\}=\{\\textbf\{w\}\}^\{T\}\{\\textbf\{x\}\}\_\{i\}+b h=ey=wTxi\+b；成为一个线性回归的问题，最终再转换成对数形式；

甚至可以用最小二乘法拟合多项式曲线。  
 y = a 0 + a 1 x + a 2 x 2 + ⋯ + a m x m y=a\_\{0\}+a\_\{1\}x+a\_\{2\}x^\{2\}+\\cdots +a\_\{m\}x^\{m\} y=a0\+a1x\+a2x2\+⋯\+amxm  
 X = ( x 1 m x 1 m − 1 ⋯ x 1 1 1 x 2 m x 2 m − 1 ⋯ x 2 1 1 ⋮ ⋱ ⋱ ⋮ ⋮ x n m x n m − 1 ⋯ x n 1 1 ) \{\\textbf\{X\}\}=\\begin\{pmatrix\} x\_\{1\}^\{m\} & x\_\{1\}^\{m-1\} & \\cdots & x\_\{1\}^\{1\} &1 \\\\ x\_\{2\}^\{m\} & x\_\{2\}^\{m-1\} & \\cdots & x\_\{2\}^\{1\} &1\\\\ \\vdots & \\ddots & \\ddots &\\vdots & \\vdots \\\\ x\_\{n\}^\{m\} & x\_\{n\}^\{m-1\} & \\cdots & x\_\{n\}^\{1\} &1 \\end\{pmatrix\} X=⎝⎜⎜⎜⎛x1mx2m⋮xnmx1m−1x2m−1⋱xnm−1⋯⋯⋱⋯x11x21⋮xn111⋮1⎠⎟⎟⎟⎞  
  此时上标 m m m不再表示第 m m m个属性，而是表示 m m m次幂；在修改过 X \{\\textbf\{X\}\} X后，最终 w ^ ∗ \\hat\{\\textbf\{w\}\}^\{\*\} w^∗依然表示为；  
 w ^ ∗ = ( X T X ) − 1 X T y \\hat\{\\textbf\{w\}\}^\{\*\}=(\{\\textbf\{X\}\}^\{T\}\{\\textbf\{X\}\})^\{-1\}\{\\textbf\{X\}\}^\{T\}\\textbf\{y\} w^∗=(XTX)−1XTy

## Matlab 实现高次多项式拟合 ##

用Matlab实现了最小二乘法一元高次多项式拟合；代码如下；

**%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    %%不用先生，2018.11.22，最小二乘法一元高次多项式拟合
    %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    clc;
    clear all;
    xi=[-1,0,2,3,4,5,8,9,10,15,20];
    yi=[-2,-0.5,1.5,2.8,2.8,3.9,7.6,7.5,8,13,16.5];
    
    [~,n]=size(xi);
    m=8;     %%最高8次多项式；
    W=zeros(m+1,m);
    
    for i=1:m
         X=zeros(n,i+1);    %%创建一个n*+1的矩阵；
        for j=1:n
            for s=1:i          
                X(j,s)=xi(j)^(i+1-s);   %%计算矩阵中每一个元素的值
            end
            X(j,i+1)=1;
        end
        XX=inv(X'*X)*X'*yi';  %%得到系数并赋值
        for j=1:i+1
            W(j,i)=XX(j);
        end 
    end
       
    %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
    %%构造方程，画图
    x=-5:0.01:25;
    for i=1:m
        y=W(1,i)*x.^i;
        for j=2:i+1
            y=y+W(j,i)*x.^(i-j+1);
        end   
        subplot(2,4,i);
        plot(xi,yi,'*');
        hold on;
        plot(x,y);
        hold off
    end
    suptitle('用1到8次多项式拟合')
    **

![在这里插入图片描述][20181122201031487.png_pic_center]  
  很明显，在高次多项式拟合时，曲线边缘出现了龙格现象。

## 参考 ##

> 《机器学习》，周志华 著，清华大学出版社；

已完。。

[20181122153559475.jpg_pic_center]: /images/20220415/c0f1372c84004d478d4da5605c58c026.png
[20181122201031487.png_pic_center]: /images/20220415/dc30e4c4c955497caee440573f3c46f7.png