最小二乘法—多项式拟合非线性函数

短命女 2021-12-11 05:17 597阅读 0赞

原文地址：[https://www.jianshu.com/p/af0a4f71c05a][https_www.jianshu.com_p_af0a4f71c05a]

**目录**

一、函数的近似表示—高次多项式

二、误差函数—最小二乘法

三、引出案例函数曲线

四、目标函数

五、优化目标函数

六、优化目标函数—梯度下降法

七、优化目标函数—求解线性方程组

八、python编程实现拟合曲线函数

九、结果分析

--------------------

## 一、函数的近似表示—高次多项式 ##

为了研究一些复杂的函数，我们希望对函数自变量进行有限的加、减、乘法三种算数运算，便可以求出原函数值，因此我们通常使用**高次多项式来近似表示函数**

![20190710145909555.png][]

高次多项式近似表示f(x)

可以看到，我们可以用n阶多项式的**系数线性组合**来近似表示f(x)

特别说明，由泰勒展开式可知，**当pn(x)的各阶导数和f(x)的各阶导数都相等**，则f(x)和pn(x)的误差只是(x-x0)^n的高阶无穷小

即

![20190710145854506.png][]

泰勒公式

## 二、误差函数—最小二乘法 ##

我们用**f(x)的真实函数值减去多项式函数的结果的平方**，来表示f(x)和多项式函数的误差关系，即

![20190710145842618.png][]

最小二乘法表示误差

我们令x0=0，则最小二乘法表示的误差为

![20190710145823105.png][]

最小二乘法表示误差

## 三、引出案例函数曲线 ##

有了上述数学知识，下面我们用一个案例来介绍最小二乘法拟合非线性函数的算法步骤

案例：求一个多项式来拟合下列函数的函数值

![20190710145809598.png][]

案例函数

其中我们加入了噪点数据noise，使得函数在定义域内随机的震荡

我们画出f(x)在\[-1, 1\]之间的图像，即

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70][]

案例函数图像

> **案例问题即为：已知上述N个数据点，求其函数f(x)的表达式？**

显然，f(x)也就是机器学习要学习的目标

## 四、目标函数 ##

下面我们开始推导机器学习的过程

> 机器学习的目标为：
> 
> **（1） 学习一个f(x)多项式，可以拟合真实数据的变化趋势**
> 
> **（2）f(x)的目标：使每一个真实数值到f(x)的拟合数值的距离之和最小**

翻译为数学语言，即

![201907101457323.png][]

学习到的f(x)

![20190710145721584.png][]

目标函数

## 五、优化目标函数 ##

为了使目标函数最优，我们对每个系数求其偏导数为0，即

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 1][]

优化目标函数

至此，我们需要根据上述k的等式，求出所有的系数ak，有两种方法可以求解

> **（1）梯度下降法**
> 
> **（2）求解线性方程**

## 六、优化目标函数—梯度下降法 ##

采用梯度下降法，可以避免我们用数学方法直接一步来求解上述k个方程的最优解，而是采用迭代逼近最优解的思路，其具体步骤为：

> **（1）初始化k个系数值，开始迭代**
> 
> **（2）每次迭代，分别求出各个系数ak对应的梯度值**
> 
> **（3）用梯度值和学习率来更新每一个系数ak**
> 
> **（4）保证每次更新完所有系数，对应的损失函数值都在减少（说明梯度一直在下降）**

翻译为数学语言为：

计算ak对应的梯度值

![20190710145649435.png][]

计算ak的梯度值

更新ak

![20190710145637925.png][]

更新ak

## 七、优化目标函数—求解线性方程组 ##

求解线性方程组让我们直接一步求出偏导数最优解，其具体步骤为：

> **（1）将最优化偏导数的方程组写为矩阵乘法形式：XA=Y**
> 
> **（2）利用数学消元算法来求解XA=Y**

我们对k个偏导数=0的等式进行化简处理，即

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 2][]

k个偏导数等式

下面我们将其写为矩阵相乘的形式，**将所有只含有x的系数写为第一个矩阵X**，即

![20190710145609610.png][]

含有x的系数矩阵

**将只含有待求解的多项式系数ak写为第二个矩阵A**，即

![20190710145555621.png][]

含有a的系数矩阵

**最后将含有y的系数写为第三个矩阵Y**，即

![20190710145544758.png][]

含有y的系数矩阵

此时，我们就可以用矩阵的乘法来表示最初的k个偏导数为0的等式，即

![20190710145530889.png][]

k个偏导数等式的矩阵形式

注意：其中X是k\*k的矩阵，A是k\*1的矩阵，Y是k\*1的矩阵，符合矩阵的乘法规则

> **从矩阵表达式可以看出，X和Y矩阵是已知的，A矩阵只包含待求解的f(x)的所有多项式系数，则问题即转化为线性方程组：XA=Y**

求解线性方程组，大概有如下算法

> （1）高斯消元法（全主元、列主消元）
> 
> （2）LU三角分解法
> 
> （3）雅克比迭代法
> 
> （4）逐次超松弛(SOR)迭代法
> 
> （5）高斯-赛德尔迭代法

这里我们采用**高斯消元法**来求解A，具体算法步骤较为复杂，我们在单独的章节介绍高斯消元算法

## 八、python编程实现拟合曲线函数 ##

生成带有噪点的待拟合的数据集合

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 3][]

生成带有噪点的待拟合的数据集合

计算最小二乘法当前的误差

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 4][]

计算最小二乘法当前的误差

迭代解法：最小二乘法+梯度下降法

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 5][]

迭代解法：最小二乘法+梯度下降法

数学解法：最小二乘法+求解线性方程组

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 6][]

数学解法：最小二乘法+求解线性方程组

## 九、结果分析 ##

我们来拟合N=10次幂的多项式，分别用梯度下降法和求解线性方程组的算法来比较拟合结果

（1）使用梯度下降法来优化目标函数，其拟合结果为：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 7][]

梯度下降法拟合结果

其误差变化为

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 8][]

梯度下降法优化的误差

（2）使用求解线性方程组来优化目标函数，其拟合结果为：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 9][]

求解线性方程组拟合结果

其误差变化为

![20190710145238699.png][]

求解线性方程组优化的误差

比较上述两种解法，以及多项式拟合的思想，我们可以总结出：

*  利用函数的近似多项式表示，和最小二乘法来表示目标函数，我们可以高效的拟合非线性函数
 *  梯度下降法可以一步步迭代逼近目标函数的极值，而不用直接求出偏导数最优解
 *  求解方程组，使用数学消元的算法，直接一步优化完成了目标函数的偏导数最优解
 *  从结果上比较，求解方程组的效率和拟合结果要比梯度下降法好

案例代码见：[最小二乘法—多项式拟合非线性函数][Link 1]

示例论文预测：[基于非线性最小二乘曲线拟合法的电子商务预测模型][Link 2]

[https_www.jianshu.com_p_af0a4f71c05a]: https://www.jianshu.com/p/af0a4f71c05a
[20190710145909555.png]: /images/20211211/9e06290092e64c6abb52b192477137ca.png
[20190710145854506.png]: /images/20211211/6c8db5c2de614f5882af0aa63e1fc228.png
[20190710145842618.png]: /images/20211211/5407714f78664737b8015db8aa5fbe99.png
[20190710145823105.png]: /images/20211211/6e8997f20e1c4f08b6e5f9c8170c9a5a.png
[20190710145809598.png]: /images/20211211/bc9f45eeb0204c1a85765c8e97ac9793.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70]: /images/20211211/52478d3e1a054e74b4373b0a6f46c44b.png
[201907101457323.png]: /images/20211211/23f6dfd8520d44c2b19a4b3d9cf0b900.png
[20190710145721584.png]: /images/20211211/a75f353268264a9bb681fd10c07692dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 1]: /images/20211211/9c68ad661c4d48d1b65f228a71c2ce7f.png
[20190710145649435.png]: /images/20211211/0a2e1defe2284c40946deede14f4ba65.png
[20190710145637925.png]: /images/20211211/b310fb0830e3434d833693bd98683c76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 2]: /images/20211211/ede45282da46464582e367218ffe55c8.png
[20190710145609610.png]: /images/20211211/34f4091749df4aa5bfabfaf47e6dbae2.png
[20190710145555621.png]: /images/20211211/c62363704dfc4b22aca22946d90782fb.png
[20190710145544758.png]: /images/20211211/a78369de2f5e431f9132f2e24cd7787f.png
[20190710145530889.png]: /images/20211211/2830ba515ee74afbad9efd2398b05935.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 3]: /images/20211211/da8da025d65645ab9e5951ae08e7e18b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 4]: /images/20211211/6cf8dcdc9f0b475dac8fa7328e83bcf0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 5]: /images/20211211/aac2a457096542a6b8eed5b7045bb8f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 6]: /images/20211211/eda974fe83fb42a591b139ed409b7e47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 7]: /images/20211211/d2117b874c6f4c1b9b27062d46893990.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 8]: /images/20211211/4334e9257f80455d90abedaa65509e81.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Jvb255YQ_size_16_color_FFFFFF_t_70 9]: /images/20211211/6765874e52394551b4781564dac5179d.png
[20190710145238699.png]: /images/20211211/a80f2827789a45b1bc9500d8e8146ff8.png
[Link 1]: https://github.com/privateEye-zzy/Nonlinear_function_fitting/blob/master/Last_square_method_fit_curve.py
[Link 2]: https://wenku.baidu.com/view/21343a3a0912a21614792951.html