最小二乘法作为损失函数与均方误差(MSE)之间的区别

快来打我* 2023-07-07 11:24 12阅读 0赞

# ![20191009191333910.png][][日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

## 损失函数 ##

总损失定义为：

![20200223075101492.png][]

*  yi为第i个训练样本的真实值
 *  h(xi)为第i个训练样本特征值组合预测函数
 *  又称最小二乘法

如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！

## 2 优化算法 ##

**如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）**

*  线性回归经常使用的两种优化算法
    
     *  正规方程
     *  梯度下降法

--------------------

## 回归性能评估 ##

均方误差(Mean Squared Error)MSE)评价机制：

![20200223075219838.png][]

> 思考：MSE和最小二乘法的区别是？

*  sklearn.metrics.mean\_squared\_error(y\_true, y\_pred)
    
     *  均方误差回归损失
     *  y\_true:真实值
     *  y\_pred:预测值
     *  return:浮点数结果

--------------------

### **最小二乘法作为损失函数然后与均方误差(MSE)之间的区别** ###

最小二乘法作为损失函数：没有除以总样本数m
    均方误差(MSE)：除以总样本数m

[20191009191333910.png]: https://img-blog.csdnimg.cn/20191009191333910.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[20200223075101492.png]: https://img-blog.csdnimg.cn/20200223075101492.png
[20200223075219838.png]: https://img-blog.csdnimg.cn/20200223075219838.png