我的人工智能之旅——线性回归

素颜马尾好姑娘i 2022-05-20 03:14 241阅读 0赞

本文将涉及以下知识点

（1）线性关系

（2）线性回归

（3）假设函数

（4）代价函数

（5）学习速率

（6）梯度下降

（7）特征向量

相关的线性代数或微积分知识，可参照另两篇博文

[我的人工智能之旅----线性代数基础知识][----]

[我的人工智能之旅----微积分基础知识][---- 1]

以下是正文。

--------------------

# 线性关系 #

解释线性回归之前，先来看一下线性关系。

什么是线性关系？如果自变量与因变量存在一次方函数关系，那么就成自变量与因变量存在线性关系。例如

y=2x+3 //x为自变量，y为因变量
    y=2j+3k+i //j,k,i为自变量，y为因变量

但需要注意的是，类似

y=zx //z,x为自变量，y为因变量

就不是线性关系。

线性关系还必须满足以下条件

![f(x\_1+x\_2)=f(x\_1)+f(x\_2)][f_x_1_x_2_f_x_1_f_x_2]

![f(ax)=a\\cdot f(x)][f_ax_a_cdot f_x]

# 线性回归 #

所谓线性回归，就是利用数理统计中的回归分析，来确定两种或两种以上变量间，相互依赖的定量关系的一种统计分析方法。

即由样本（x,y），推断y=ax+b的过程。其中a,b为需要推断的常量。那么，问题来了。

（1）为什么是"y=ax+b"型的一元一次结构？而非其它一元N次结构？

（2）如何推算出a，b?

## 假设函数 ##

先来回答上一小节的问题（1）。可以使用其它一元N次结构。选择一元一次结构只是为了方便。之后的学习，可以换为更复杂的拟合结构。由于我们假设x,y之间存在"y=ax+b"型的映射关系，所以函数f(x)=ax+b被称为假设函数，hypothesis function。

对于假设函数中的参数a,b，我们没有办法直接算出正确的值。也无法让所有样本，都映射到假设函数上。因此，只能推算出对于样本集合整体来说，最佳的a，b取值。

## 代价函数 ##

如何评断参数a，b最佳？最佳a，b应使得假设函数求得的数据，与实际数据之间误差的平方和为最小。

![70][]

注：关于为何使用1/2m，而非1/m，我们在下一小节说明。

由于样本集中的每个样本（x,y）已知，算式中a和b成为了变量，算式可以看作是a，b作为变量的函数。即

![70 1][]

该函数，被称为代价函数，cost function，或者平方误差代价函数，squared error cost function。

有了代价函数，推算a,b的问题就演化为，求代价函数何时取到最小值的问题。

当然，除了平方误差代价函数外，还存在其它代价函数。只是平方误差代价函数，是解决线性回归问题最常用的手段罢了。

但不管使用何种代价函数，我们的目的终归是要推算最佳的a,b。那么，如何推算呢？

# 梯度下降算法 #

梯度下降算法，gradient descent，用于求函数的最小值。该算法运用了微积分（claculus）中的导数（derivatives）或偏导数（partial derivatives）知识。

简单的说，导数体现了自变量在变化时，对因变量所产生的影响。若存在多个自变量，那么对其中一个变量进行的求导，即为偏导数。换句话说，一个自变量在变化时，对因变量和其它自变量锁产生的影响。

若某一点的导数大于0，那么说明，因变量随自变量增大而增大，随自变量减小而减小。若小于0，则因变量随自变量的增大而减小，随自变量减小而增大。依据该特性，我们不断地同时更新a，b的取值，直至（a,b）所对应的点导数为0。那么，如何更新呢？

![70 2][]

我们将J(a,b)带入，来看一下运算过程。

![70 3][]

还记得上一节的“1/2m”or“1/m”的疑问吗？通过运算，“1/2”被约掉。因此，代价函数之所以取“1/2m”作为参数，是为来运算方便。

将导数结果带入，通过不断的迭代尝试获取![a\_\{next\}][a_next]和![b\_\{next\}][b_next]，直至两者的偏导数为0或接近0。此时，得到的a,b的值，即为最佳值（全局最佳，或局部最佳）。

需要注意的是，由于受限于样本集合的大小，该最佳值可能为局部最佳值。

此外，初始点的选取，也将影响最佳值的推算。

![70 4][]![70 5][]

可见，梯度下降算法其实是一步一步的试出了对于样本集合最佳的a,b取值。有了a,b的估值，假设函数的真容也便浮出水面了。

梯度下降，并非唯一的推算最佳参数的方法。其它常用方法还包括，BFGS算法，L-BFGS算法，共轭梯度法（Conjugate Gradient）等。这些方法远比梯度下降法复杂的多，但优点在于，它们不用人为的选择学习率，甚至可以每次迭代自动使用更优的学习率，因此收敛速度较梯度下降更快。由于篇幅及范围的原因，此处暂不过多涉及。

# 多元线性回归 #

至此，我们其实还是在讨论一元一次的简单假设，即一个自变量和一个因变量的情况。但实际遇到的问题并非如此简单。例如，房子的价值，不仅仅与面积有关，还要参考楼层，房龄，房间数量等多重因素，即多元线性回归的问题。

那么，我们的假设函数也相应发生了变化。

![f(x\_0,x\_1,x\_2,x\_3)=a\_0+a\_1x\_1+a\_2x\_2+a\_3x\_3][f_x_0_x_1_x_2_x_3_a_0_a_1x_1_a_2x_2_a_3x_3]

这里，我么把参数都变为了![a\_i][a_i]，自变量变为了![x\_i][x_i]（例如，![x\_1,x\_2,x\_3][x_1_x_2_x_3]分别代表楼层,房龄，房间数量，![x\_0][x_0]默认为1）。之所以这样表示，是为了方便矩阵的引入。根据矩阵内积（矩阵与向量的乘法），![f(x\_0,x\_1,x\_2,x\_3)][f_x_0_x_1_x_2_x_3]可以表述为

![f(x\_0,x\_1,x\_2,x\_3)= \\begin\{bmatrix\} a\_0&a\_1&a\_2&a\_3 \\end\{bmatrix\}\*\\begin\{bmatrix\} 1 \\\\ x\_1 \\\\ x\_2 \\\\ x\_3 \\end\{bmatrix\}][f_x_0_x_1_x_2_x_3_ _begin_bmatrix_ a_0_a_1_a_2_a_3 _end_bmatrix_begin_bmatrix_ 1 _ x_1 _ x_2 _ x_3 _end_bmatrix]

若假设向量![A=\\begin\{bmatrix\} a\_0\\\\a\_1\\\\a\_2\\\\a\_3 \\end\{bmatrix\}][A_begin_bmatrix_ a_0_a_1_a_2_a_3 _end_bmatrix]，向量![X=\\begin\{bmatrix\} x\_0\\\\x\_1\\\\x\_2\\\\x\_3 \\end\{bmatrix\}][X_begin_bmatrix_ x_0_x_1_x_2_x_3 _end_bmatrix]，那么，向量A的转置![A^T][A_T]=![\\begin\{bmatrix\} a\_0 &a\_1 &a\_2 &a\_3 \\end\{bmatrix\}][begin_bmatrix_ a_0 _a_1 _a_2 _a_3 _end_bmatrix]

则假设函数转化为![f(X)=A^\{T\}X][f_X_A_T_X]，其中![x\_i][x_i]称为特征(feature)，X称为特征向量(feature vector)。

解决多元线性回归的问题，我们同样使用梯度下降算法，即我们要推算出合适的A。而推算过程，我们已在上一小节进行了描述。那么，套用之前的公式，可得到代价函数，

![J(A^T)=\\frac\{1\}\{2m\}\\sum \_\{i=1\}^\{m\}\{(f(X\_i)-y\_i)^2\}][J_A_T_frac_1_2m_sum _i_1_m_f_X_i_-y_i_2]

![a\_j][a_j](j=0,1,2,3)的迭代算法则为

![\{a\_j\}\_\{next\}=\{a\_j\}-\\beta \\frac\{\\partial \}\{\\partial a\_j\}J(A^T)][a_j_next_a_j_-_beta _frac_partial _partial a_j_J_A_T]

其中

![\\frac\{\\partial \}\{\\partial a\_j\}J(A^T) \\\\=\\frac\{\\partial \}\{\\partial a\_j\}(\\frac\{1\}\{2m\}\\sum \_\{i=1\}^\{m\}\{(f(X\_i)-y\_i)^2\}) \\\\=\\frac\{\\partial \}\{\\partial a\_j\}(\\frac\{1\}\{2m\}\\sum \_\{i=1\}^\{m\}(a\_0+a\_1x\_i\_1+a\_2x\_i\_2+a\_3x\_i\_3-y\_i)^2)][frac_partial _partial a_j_J_A_T_ _frac_partial _partial a_j_frac_1_2m_sum _i_1_m_f_X_i_-y_i_2_ _frac_partial _partial a_j_frac_1_2m_sum _i_1_m_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_2]

当j=0,1,2,3时，各偏导数为

![\\frac\{\\partial \}\{\\partial a\_0\}J(A^T)=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(a\_0+a\_1x\_i\_1+a\_2x\_i\_2+a\_3x\_i\_3-y\_i)\}=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(f(X\_i)-y\_i)\}][frac_partial _partial a_0_J_A_T_frac_1_m_sum _i_1_m_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_f_X_i_-y_i]

![\\frac\{\\partial \}\{\\partial a\_1\}J(A^T)=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(x\_i\_1(a\_0+a\_1x\_i\_1+a\_2x\_i\_2+a\_3x\_i\_3-y\_i))\}=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(x\_i\_1(f(X\_i)-y\_i))\}][frac_partial _partial a_1_J_A_T_frac_1_m_sum _i_1_m_x_i_1_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_x_i_1_f_X_i_-y_i]

![\\frac\{\\partial \}\{\\partial a\_2\}J(A^T)=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(x\_i\_2(a\_0+a\_1x\_i\_1+a\_2x\_i\_2+a\_3x\_i\_3-y\_i))\}=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(x\_i\_2(f(X\_i)-y\_i))\}][frac_partial _partial a_2_J_A_T_frac_1_m_sum _i_1_m_x_i_2_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_x_i_2_f_X_i_-y_i]

![\\frac\{\\partial \}\{\\partial a\_3\}J(A^T)=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(x\_i\_3(a\_0+a\_1x\_i\_1+a\_2x\_i\_2+a\_3x\_i\_3-y\_i))\}=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{(x\_i\_3(f(X\_i)-y\_i))\}][frac_partial _partial a_3_J_A_T_frac_1_m_sum _i_1_m_x_i_3_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_x_i_3_f_X_i_-y_i]

由于![x\_i\_0=1][x_i_0_1]，所以

![\\frac\{\\partial \}\{\\partial a\_j\}J(A^T)=\\frac\{1\}\{m\}\\sum \_\{i=1\}^\{m\}\{x\_i\_j(f(X\_i)-y\_i)\}][frac_partial _partial a_j_J_A_T_frac_1_m_sum _i_1_m_x_i_j_f_X_i_-y_i]

最终，参数向量A中的元素![a\_j][a_j]的迭代算法为

![a\_j\_\{next\}=a\_j-\\frac\{\\beta \}\{m\}\\sum \_\{i=1\}^\{m\}\{x\_i\_j(f(X\_i)-y\_i)\}][a_j_next_a_j-_frac_beta _m_sum _i_1_m_x_i_j_f_X_i_-y_i]

# 小结 #

线性回归，可分为一元或多元线性回归。通过构建合理的假设函数和代价函数，利用梯度下降算法，迭代推算出对于样本集合来说，最佳的参数或参数向量。希望通过本文的叙述，使得大家对推算过程，线性回顾问题的解决思路，有一个大致的了解。

[----]: https://mp.csdn.net/postedit/80996145
[---- 1]: https://mp.csdn.net/postedit/81032928
[f_x_1_x_2_f_x_1_f_x_2]: https://private.codecogs.com/gif.latex?f%28x_1&plus;x_2%29%3Df%28x_1%29&plus;f%28x_2%29
[f_ax_a_cdot f_x]: https://private.codecogs.com/gif.latex?f%28ax%29%3Da%5Ccdot%20f%28x%29
[70]: /images/20220520/521b5d3fef674bbb87cad0b50f0b7f94.png
[70 1]: /images/20220520/7a07975706434d75bcde25267a80d98d.png
[70 2]: /images/20220520/613aa73eb4a84170bb4ab8680570f5cd.png
[70 3]: /images/20220520/f10873eaa61c4e24895d5723716990eb.png
[a_next]: https://private.codecogs.com/gif.latex?a_%7Bnext%7D
[b_next]: https://private.codecogs.com/gif.latex?b_%7Bnext%7D
[70 4]: https://img-blog.csdn.net/2018072000211613?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2RhaWh1aW1hb3ppZGVyZW4=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 5]: /images/20220520/f19fdbf9bf524d29b64b5625ea15f7dc.png
[f_x_0_x_1_x_2_x_3_a_0_a_1x_1_a_2x_2_a_3x_3]: https://private.codecogs.com/gif.latex?f%28x_0%2Cx_1%2Cx_2%2Cx_3%29%3Da_0&plus;a_1x_1&plus;a_2x_2&plus;a_3x_3
[a_i]: https://private.codecogs.com/gif.latex?a_i
[x_i]: https://private.codecogs.com/gif.latex?x_i
[x_1_x_2_x_3]: https://private.codecogs.com/gif.latex?x_1%2Cx_2%2Cx_3
[x_0]: https://private.codecogs.com/gif.latex?x_0
[f_x_0_x_1_x_2_x_3]: https://private.codecogs.com/gif.latex?f%28x_0%2Cx_1%2Cx_2%2Cx_3%29
[f_x_0_x_1_x_2_x_3_ _begin_bmatrix_ a_0_a_1_a_2_a_3 _end_bmatrix_begin_bmatrix_ 1 _ x_1 _ x_2 _ x_3 _end_bmatrix]: https://private.codecogs.com/gif.latex?f%28x_0%2Cx_1%2Cx_2%2Cx_3%29%3D%20%5Cbegin%7Bbmatrix%7D%20a_0%26a_1%26a_2%26a_3%20%5Cend%7Bbmatrix%7D*%5Cbegin%7Bbmatrix%7D%201%20%5C%5C%20x_1%20%5C%5C%20x_2%20%5C%5C%20x_3%20%5Cend%7Bbmatrix%7D
[A_begin_bmatrix_ a_0_a_1_a_2_a_3 _end_bmatrix]: https://private.codecogs.com/gif.latex?A%3D%5Cbegin%7Bbmatrix%7D%20a_0%5C%5Ca_1%5C%5Ca_2%5C%5Ca_3%20%5Cend%7Bbmatrix%7D
[X_begin_bmatrix_ x_0_x_1_x_2_x_3 _end_bmatrix]: https://private.codecogs.com/gif.latex?X%3D%5Cbegin%7Bbmatrix%7D%20x_0%5C%5Cx_1%5C%5Cx_2%5C%5Cx_3%20%5Cend%7Bbmatrix%7D
[A_T]: https://private.codecogs.com/gif.latex?A%5ET
[begin_bmatrix_ a_0 _a_1 _a_2 _a_3 _end_bmatrix]: https://private.codecogs.com/gif.latex?%5Cbegin%7Bbmatrix%7D%20a_0%20%26a_1%20%26a_2%20%26a_3%20%5Cend%7Bbmatrix%7D
[f_X_A_T_X]: https://private.codecogs.com/gif.latex?f%28X%29%3DA%5E%7BT%7DX
[J_A_T_frac_1_2m_sum _i_1_m_f_X_i_-y_i_2]: https://private.codecogs.com/gif.latex?J%28A%5ET%29%3D%5Cfrac%7B1%7D%7B2m%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28f%28X_i%29-y_i%29%5E2%7D
[a_j]: https://private.codecogs.com/gif.latex?a_j
[a_j_next_a_j_-_beta _frac_partial _partial a_j_J_A_T]: https://private.codecogs.com/gif.latex?%7Ba_j%7D_%7Bnext%7D%3D%7Ba_j%7D-%5Cbeta%20%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_j%7DJ%28A%5ET%29
[frac_partial _partial a_j_J_A_T_ _frac_partial _partial a_j_frac_1_2m_sum _i_1_m_f_X_i_-y_i_2_ _frac_partial _partial a_j_frac_1_2m_sum _i_1_m_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_2]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_j%7DJ%28A%5ET%29%20%5C%5C%3D%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_j%7D%28%5Cfrac%7B1%7D%7B2m%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28f%28X_i%29-y_i%29%5E2%7D%29%20%5C%5C%3D%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_j%7D%28%5Cfrac%7B1%7D%7B2m%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%28a_0&plus;a_1x_i_1&plus;a_2x_i_2&plus;a_3x_i_3-y_i%29%5E2%29
[frac_partial _partial a_0_J_A_T_frac_1_m_sum _i_1_m_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_f_X_i_-y_i]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_0%7DJ%28A%5ET%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28a_0&plus;a_1x_i_1&plus;a_2x_i_2&plus;a_3x_i_3-y_i%29%7D%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28f%28X_i%29-y_i%29%7D
[frac_partial _partial a_1_J_A_T_frac_1_m_sum _i_1_m_x_i_1_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_x_i_1_f_X_i_-y_i]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_1%7DJ%28A%5ET%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28x_i_1%28a_0&plus;a_1x_i_1&plus;a_2x_i_2&plus;a_3x_i_3-y_i%29%29%7D%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28x_i_1%28f%28X_i%29-y_i%29%29%7D
[frac_partial _partial a_2_J_A_T_frac_1_m_sum _i_1_m_x_i_2_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_x_i_2_f_X_i_-y_i]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_2%7DJ%28A%5ET%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28x_i_2%28a_0&plus;a_1x_i_1&plus;a_2x_i_2&plus;a_3x_i_3-y_i%29%29%7D%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28x_i_2%28f%28X_i%29-y_i%29%29%7D
[frac_partial _partial a_3_J_A_T_frac_1_m_sum _i_1_m_x_i_3_a_0_a_1x_i_1_a_2x_i_2_a_3x_i_3-y_i_frac_1_m_sum _i_1_m_x_i_3_f_X_i_-y_i]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_3%7DJ%28A%5ET%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28x_i_3%28a_0&plus;a_1x_i_1&plus;a_2x_i_2&plus;a_3x_i_3-y_i%29%29%7D%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7B%28x_i_3%28f%28X_i%29-y_i%29%29%7D
[x_i_0_1]: https://private.codecogs.com/gif.latex?x_i_0%3D1
[frac_partial _partial a_j_J_A_T_frac_1_m_sum _i_1_m_x_i_j_f_X_i_-y_i]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Cpartial%20%7D%7B%5Cpartial%20a_j%7DJ%28A%5ET%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7Bx_i_j%28f%28X_i%29-y_i%29%7D
[a_j_next_a_j-_frac_beta _m_sum _i_1_m_x_i_j_f_X_i_-y_i]: https://private.codecogs.com/gif.latex?a_j_%7Bnext%7D%3Da_j-%5Cfrac%7B%5Cbeta%20%7D%7Bm%7D%5Csum%20_%7Bi%3D1%7D%5E%7Bm%7D%7Bx_i_j%28f%28X_i%29-y_i%29%7D