python实现线性回归之最小二乘法，最小二乘法详解

以你之姓@ 2022-01-23 04:29 1774阅读 0赞

线性回归是确定两种及两种以上变量的相互依赖关系。在数据分析中，线性回归是最简单且最有效的分析方法。举个简单的例子，某商品的利润在售价为2元、5元、10元时分别为4元、10元、20元，我们很容易得出商品的利润与售价的关系符合直线：![y=2x][y_2x].在上面这个简单的一元线性回归方程中，我们称“2”为回归系数，即斜率为其回归系数，回归系数表示商品的售价(x)每变动一个单位，其利润(y)与之对应的变动关系。

### 1.线性回归 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70][]

如上图所示，上图为一个简单的一元线性回归示意图，线性回归表示这些离散的点**总体上**“最逼近”哪条直线。同理，在二元线性回归中，离散的点在空间中最逼近哪个平面。其它多元线性回归亦是如此。线性回归在数据量化分析，数据预测方面有着重要应用。

### 2.最小二乘法 ###

同样是上图，那这些离散的点**总体上**“最逼近”哪条直线呢，这需要一个量化。对于同一x，实际数据为y，回归方程的推断数据为ax，则误差d=y-ax。最小二乘法定义为，当![D=\\sum\_\{i=1\}^\{n\}(y\_\{i\}-ax\_\{i\})^2][D_sum_i_1_n_y_i_-ax_i_2]，D最小时，回归方程的拟合度最高，根据![min(D)][min_D]求出a即可，对最小二乘法的定义方程进行微分求极值即可得出a。

**对于多元变量，设**

![X=\\begin\{bmatrix\} x\_\{11\}&x\_\{12\}&...&x\_\{1n\}\\\\ x\_\{21\}&x\_\{22\}&...&x\_\{2n\}\\\\ ...&...&...&...\\\\ x\_\{n1\}&x\_\{n2\}&...&x\_\{nn\} \\end\{bmatrix\}][X_begin_bmatrix_ x_11_x_12_..._x_1n_ x_21_x_22_..._x_2n_ ..._..._..._..._ x_n1_x_n2_..._x_nn_ _end_bmatrix],    ![Y=\\begin\{bmatrix\} y\_\{1\}\\\\ y\_\{2\}\\\\ ...\\\\ y\_\{n\} \\end\{bmatrix\}][Y_begin_bmatrix_ y_1_ y_2_ ..._ y_n_ _end_bmatrix],    ![a=\\begin\{bmatrix\} a\_\{1\}\\\\ a\_\{2\}\\\\ ...\\\\ a\_\{n\} \\end\{bmatrix\}][a_begin_bmatrix_ a_1_ a_2_ ..._ a_n_ _end_bmatrix]

其回归方程为Y=Xa。同理，现在我们要求矩阵a的值，使得

![S=\\sum \_\{i=1\}^\{n\}\[y\_\{i\}-\\sum\_\{j=1\}^\{n\}(a\_\{i\}x\_\{ij\})\]^2][S_sum _i_1_n_y_i_-_sum_j_1_n_a_i_x_ij_2]

取最小值即可。对上式进行微分求解(具体求解步骤可参考线性代数相关知识)，可得

![X^\{T\}Xa=X^\{T\}Y][X_T_Xa_X_T_Y]

如果该矩阵满秩，则

![a=(X^\{T\}X)^\{-1\}X^\{T\}Y][a_X_T_X_-1_X_T_Y]

上述便为最小二乘法的基本思想。

### 3.python实现 ###

**一元线性回归测试：**

from numpy.linalg import inv  # 矩阵求逆
    from numpy import dot  # 矩阵点乘
    from numpy import mat  # 二维矩阵
    
    X = mat([1, 2, 3]).reshape(3, 1)  # x为1,2,3
    Y = mat([5, 10, 15]).reshape(3, 1)  # y为5,10,15
    a = dot(dot(inv(dot(X.T, X)), X.T), Y)  # 最小二乘法公式
    print(a)

首先，这里推荐一个公式的代码实现技巧，代码从内向外写，即X的转置与X点乘，再求逆， 再与X的转置点乘，再与Y点乘，一层层加括号即可。

由上述代码不难看出，y与x的关系为y=5x，下面我们看测试结果是否为5：

![20190602142324996.png][]

测试结果正确。

**实战：**

这里准备了一组数据，数据示例截图如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 1][]

上述数据为某一商品的销售量与售价、服务投资和其它投资的对应关系，即我们要求出：

![X=\\begin\{bmatrix\} 3.5 & 1.4 & 0.2 \\\\ 3.0 & 1.4 & 0.2 \\\\ 3.2 & 1.3 & 0.2\\\\ ... & ... & ... \\end\{bmatrix\}][X_begin_bmatrix_ 3.5 _ 1.4 _ 0.2 _ 3.0 _ 1.4 _ 0.2 _ 3.2 _ 1.3 _ 0.2_ ... _ ... _ ... _end_bmatrix]，    ![Y=\\begin\{bmatrix\} 5.1\\\\ 4.9\\\\ 4.7\\\\ ... \\end\{bmatrix\}][Y_begin_bmatrix_ 5.1_ 4.9_ 4.7_ ... _end_bmatrix],      ![a=\\begin\{bmatrix\} a\_\{1\}\\\\ a\_\{2\}\\\\ a\_\{3\}\\\\ ... \\end\{bmatrix\}][a_begin_bmatrix_ a_1_ a_2_ a_3_ ... _end_bmatrix]

![Y=Xa][Y_Xa]中，矩阵a。

代码如下：

import numpy as np
    import pandas as pd
    from numpy.linalg import inv  # 矩阵求逆
    from numpy import dot  # 矩阵点乘
    
    
    dataset = pd.read_csv('C:\\Users\\57105\\Desktop\\data.csv')  # 读入数据
    X = dataset.iloc[:, 2: 5]  # x为所有行，2到4列
    Y = dataset.iloc[:, 1]  # y为所有行，第1列
    a = dot(dot(inv(np.dot(X.T, X)), X.T), Y)  # 最小二乘法求解公式
    print(a)

测试结果：

![20190602143718197.png][]

即![a=\\begin\{bmatrix\} 1.157\\\\ 0.782\\\\ -0.591 \\end\{bmatrix\}][a_begin_bmatrix_ 1.157_ 0.782_ -0.591 _end_bmatrix]，对于单条数据，即![y=1.157x\_\{1\}+0.782x\_\{2\}-0.591x\_\{3\}][y_1.157x_1_0.782x_2_-0.591x_3]，该回归方程反应了商品销售量与售价、服务投资和其它投资的关系。

上述便为线性回归的最小二乘法求解方式，关于线性回归的另一种求解方式—梯度下降法可见笔者相关文章。

[y_2x]: https://private.codecogs.com/gif.latex?y%3D2x
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70]: /images/20220123/187d3027028945a392064a3af9299b33.png
[D_sum_i_1_n_y_i_-ax_i_2]: https://private.codecogs.com/gif.latex?D%3D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%28y_%7Bi%7D-ax_%7Bi%7D%29%5E2
[min_D]: https://private.codecogs.com/gif.latex?min%28D%29
[X_begin_bmatrix_ x_11_x_12_..._x_1n_ x_21_x_22_..._x_2n_ ..._..._..._..._ x_n1_x_n2_..._x_nn_ _end_bmatrix]: https://private.codecogs.com/gif.latex?X%3D%5Cbegin%7Bbmatrix%7D%20x_%7B11%7D%26x_%7B12%7D%26...%26x_%7B1n%7D%5C%5C%20x_%7B21%7D%26x_%7B22%7D%26...%26x_%7B2n%7D%5C%5C%20...%26...%26...%26...%5C%5C%20x_%7Bn1%7D%26x_%7Bn2%7D%26...%26x_%7Bnn%7D%20%5Cend%7Bbmatrix%7D
[Y_begin_bmatrix_ y_1_ y_2_ ..._ y_n_ _end_bmatrix]: https://private.codecogs.com/gif.latex?Y%3D%5Cbegin%7Bbmatrix%7D%20y_%7B1%7D%5C%5C%20y_%7B2%7D%5C%5C%20...%5C%5C%20y_%7Bn%7D%20%5Cend%7Bbmatrix%7D
[a_begin_bmatrix_ a_1_ a_2_ ..._ a_n_ _end_bmatrix]: https://private.codecogs.com/gif.latex?a%3D%5Cbegin%7Bbmatrix%7D%20a_%7B1%7D%5C%5C%20a_%7B2%7D%5C%5C%20...%5C%5C%20a_%7Bn%7D%20%5Cend%7Bbmatrix%7D
[S_sum _i_1_n_y_i_-_sum_j_1_n_a_i_x_ij_2]: https://private.codecogs.com/gif.latex?S%3D%5Csum%20_%7Bi%3D1%7D%5E%7Bn%7D%5By_%7Bi%7D-%5Csum_%7Bj%3D1%7D%5E%7Bn%7D%28a_%7Bi%7Dx_%7Bij%7D%29%5D%5E2
[X_T_Xa_X_T_Y]: https://private.codecogs.com/gif.latex?X%5E%7BT%7DXa%3DX%5E%7BT%7DY
[a_X_T_X_-1_X_T_Y]: https://private.codecogs.com/gif.latex?a%3D%28X%5E%7BT%7DX%29%5E%7B-1%7DX%5E%7BT%7DY
[20190602142324996.png]: /images/20220123/45c5c7508d984f80b2e0fd1f95641c4c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1_size_16_color_FFFFFF_t_70 1]: /images/20220123/4b7edc50359545b7876e3b369ebcae76.png
[X_begin_bmatrix_ 3.5 _ 1.4 _ 0.2 _ 3.0 _ 1.4 _ 0.2 _ 3.2 _ 1.3 _ 0.2_ ... _ ... _ ... _end_bmatrix]: https://private.codecogs.com/gif.latex?X%3D%5Cbegin%7Bbmatrix%7D%203.5%20%26%201.4%20%26%200.2%20%5C%5C%203.0%20%26%201.4%20%26%200.2%20%5C%5C%203.2%20%26%201.3%20%26%200.2%5C%5C%20...%20%26%20...%20%26%20...%20%5Cend%7Bbmatrix%7D
[Y_begin_bmatrix_ 5.1_ 4.9_ 4.7_ ... _end_bmatrix]: https://private.codecogs.com/gif.latex?Y%3D%5Cbegin%7Bbmatrix%7D%205.1%5C%5C%204.9%5C%5C%204.7%5C%5C%20...%20%5Cend%7Bbmatrix%7D
[a_begin_bmatrix_ a_1_ a_2_ a_3_ ... _end_bmatrix]: https://private.codecogs.com/gif.latex?a%3D%5Cbegin%7Bbmatrix%7D%20a_%7B1%7D%5C%5C%20a_%7B2%7D%5C%5C%20a_%7B3%7D%5C%5C%20...%20%5Cend%7Bbmatrix%7D
[Y_Xa]: https://private.codecogs.com/gif.latex?Y%3DXa
[20190602143718197.png]: /images/20220123/59a9209b0c3c455d9d1a37f4254037d3.png
[a_begin_bmatrix_ 1.157_ 0.782_ -0.591 _end_bmatrix]: https://private.codecogs.com/gif.latex?a%3D%5Cbegin%7Bbmatrix%7D%201.157%5C%5C%200.782%5C%5C%20-0.591%20%5Cend%7Bbmatrix%7D
[y_1.157x_1_0.782x_2_-0.591x_3]: https://private.codecogs.com/gif.latex?y%3D1.157x_%7B1%7D&plus;0.782x_%7B2%7D-0.591x_%7B3%7D