最小二乘法--通俗解释

傷城~ 2023-07-18 09:17 15阅读 0赞

## 定义： ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW95dWVf_size_16_color_FFFFFF_t_70]

### 小结： 最小二乘法（最小平方法）：数学优化技术。即： 使 拟合得到的预测数据 与 实际数据 之间的误差的平方和是最小的而得出来的式子。简单说，找到一组解，使平方和最小。 ###

## 举例说明： ##

小明是跑运输的，跑1公里需要6块，跑2公里需要5块（那段时间刚好油价跌了），跑3公里需要7块，跑4公里需要10块，请问跑5公里需要多少块？

如果我们有初中数学基础，应该会自然而然地想到用线性方程组来做，对吧。

![format_png][]

这里假定x是公里数，y是运输成本（β1和β2是要求的系数）。我们把上面的一组数据代入得到这么几个方程：

![format_png 1][]

如果存在这样的β1和β2，让所有的数据（x，y）=（1,6），（2,5），（3,7），（4，10）都能满足的话，那么解答就很简单了，β1+5β2就是5公里的成本，对吧。

但遗憾的是，这样的β1和β2是不存在的，上面的方程组很容易，你可以把前面两个解出来得到一组β1和β2，后面两个也解出来同样得到一组β1和β2。这两组β1和β2是不一样的。

形象地说，就是你找不到一条直线，穿过所有的点，因为他们不在一条直线上。如下图：

![format_png 2][]

可是现实生活中，我们就希望能找到一条直线，虽然不能满足所有条件，但能**近似**地表示这个趋势，或者说，能近似地知道5公里的运输成本，这也是有意义的。

现实生活当中，有很多这样的例子，想起以前在某公司上班的时候，CEO说我们研发部做事有个问题：一个研发任务，要求三个月做完，因为周期太短，完成不了，就干脆不做，这显然是不对的，要尽全力，哪怕三个月完成了80%，或者最终4个月完成，总比不作为的好。

其实最小二乘法也是这样，要尽全力让这条直线最接近这些点，那么问题来了，怎么才叫做最接近呢？直觉告诉我们，这条直线在所有数据点中间穿过，让这些点到这条直线的误差之和越小越好。这里我们用方差来算更客观。也就是说，把每个点到直线的误差平方加起来：

![format_png 3][]

（如果上面的四个方程都能满足，那么S的值显然为0，这是最完美的，但如果做不到完美，我们就让这个S越小越好）

接下来的问题就是，如何让这个S变得最小。这里有一个概念，就是求偏导数。这里我想提一下，在培训的过程中，我发现机器学习的数学基础课程当中，微积分是大家印象最深刻的，而且也最容易理解：比如导数就是求变化率，而偏导数则是当变量超过一个的时候，对其中一个变量求变化率。如果这个概念也忘了，可以参考我在深度学习回答里那个王小二卖猪的例子。这里就不细讲了：

要让S取得最小值（或最大值，但显然这个函数没有最大值，自己琢磨一下），那么S对于β1和β2分别求偏导结果为0，用一个直观的图来表示：

![format_png 4][]

我们看到这条曲线，前半部分是呈下降的趋势，也就是变化率（导数）为负的，后半部分呈上升的趋势，也就是变化率（导数）为正，那么分界点的导数为0，也就是取得最小值的地方。这是一个变量的情况，对于多个变量的情况，要让S取得最小值，那最好是对β1和β2分别求导（对β1求导的时候，把β2当常量所以叫求偏导），值为0：

![format_png 5][]

![format_png 6][]

看到这个我们就熟悉了，两个变量，刚好有两个方程式，初中学过，那么很容易得出：

![format_png 7][]

![format_png 8][]

其实也就意味着

![format_png 9][]

这个函数也就是我们要的直线，这条直线虽然不能把那些点串起来，但它能最大程度上接近这些点。也就是说5公里的时候，成本为3.5+1.4x5=10.5块，虽然不完美，但是很接近实际情况。

原文链接：https://www.zhihu.com/question/36324957/answer/255970074

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW95dWVf_size_16_color_FFFFFF_t_70]: /images/20230528/c532013b06d54e66bee16d890d6ecf1f.png
[format_png]: /images/20230528/a04c9d3f6f9a49cdb32b835bd0a25652.png
[format_png 1]: /images/20230528/05363894c4ef431299a0cfce5ba5af73.png
[format_png 2]: /images/20230528/e81b6187e20148968dea807dec404e2d.png
[format_png 3]: /images/20230528/a6a4bff61e884e5cac14bcf007a5a96e.png
[format_png 4]: /images/20230528/31b320ef09b7410c816422c360fd6058.png
[format_png 5]: /images/20230528/5528faec628d48a1aa575029428c2960.png
[format_png 6]: /images/20230528/6ace1a7f701246088c73840b5087f468.png
[format_png 7]: /images/20230528/666492777ca9416f8875136695756b9b.png
[format_png 8]: /images/20230528/ad6f2dea21ae4fe1ab2f19eaf48aab77.png
[format_png 9]: /images/20230528/0fd7e3c0c37447afb32b670e5446e093.png