机器学习——最小二乘法求解线性回归

ゞ浴缸里的玫瑰 2023-09-29 08:31 15阅读 0赞

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16][]

**参考：《机器学习》西瓜书————周志华**

以下为个人笔记，不免有很多细节不对之处。仅供参考！

--------------------

## **1、原理：** ##

均方误差MES有非常好的几何意义,它对应了常用的欧几里得距离或简称“欧氏距离”(Euclidean distance).基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method).在线性回归中，**最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小.**

## **2、模型分析：** ##

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

如何确定w和b呢?显然,关键在于如何衡量f(z)与y之间的差别，均方误差(2.2)是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化,即：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

然后令式（3.5）（3.6）为零可得到w和b最优解得闭式解：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

## **3、利用最小二乘法求解线性回归** ##

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

关于求偏导过程：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 8][]

推导手稿：

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 9][]

**注意：**

**1.前面乘以二分之一是对损失函数求导时消除误差评分项的影响**

**2.**![7294bf1995ab420ebab313f1a85b47a1.png][]**,m是一个常数**

--------------------

## **以上是参考周志华西瓜书** ##

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/2e4c8d8a4c6144c3b4d8508878568274.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/7fe669d9aafa4aec9a80a5d605e37b72.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/91d25d05a2f24cca8f5bddb716e10fd3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/f50a863cd4c649a3821a2bf9c35ba692.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/2fe0ea7865f2498e9505cd0ddcf1db23.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/dd52ed0dd4024c04b04b92231a165905.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/ae5fd6f740704181ae32f87da21a416b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/26013483f9fc42a2b515236791d6d1ec.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/4ccf25ec75de432d99981ea550216493.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/de97172e0e704929848ecc2c787a95ca.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[7294bf1995ab420ebab313f1a85b47a1.png]: https://img-blog.csdnimg.cn/7294bf1995ab420ebab313f1a85b47a1.png