回归算法评估指标MSE、RMSE、MAE、R-Squared

迷南。 2022-10-02 11:49 359阅读 0赞

#### 一、MSE 均方误差 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70]  
即（真实值-预测值）的平方/测试集个数  
其实（真实值-预测值）的平方 就是线性回归的损失函数，线性回归的目的就是为了让损失函数最小化。但这种判断方式是会放大误差的，即本身误差越大的平方后会更大。所以从这也可以看出，损失函数是为了减小最大的那个误差。

#### 二、RMSE 均方根误差 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 1]  
即MSE开根号，使结果的单位和数据集一致，更好描述

#### 三、MAE 平均绝对误差 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 2]  
四、R-Squared  
以上3种评价方式，针对不同的模型，有不同的单位。比如米，元。这些不同的单位缺乏可读性。  
衡量分类算法通常使用准确率进行衡量，那么衡量回归算法就引入了R-Squared  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 3]  
化简上面公式  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 4]  
分子就变成了我们的均方误差MSE，下面分母就变成了方差。  
这里的基准模型即取平均值。分式的分母为方差公式，若R\*\*2<0，即分子大于分母，预测模型误差大于基准模型。

#### 五、实现代码 ####

#这里我们使用sklearn数据集中的波士顿房产数据
    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn import datastes
    boston=datasets.load_boston()
    x=boston.data[:,5]
    y=boston.target
    plt.scatter(x,y)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 5]

#这里看出y=50的一行数据比较奇怪，因为可能设置了一个上限，所有大于50的y都设置成了50,我们不取这部分值
    x=x[y<50.0]
    y=y[y<50.0]
    from sklearn.model_selection import train_test_split
    x_train,x_test,y_train,y_test=train_test_split(x,y,random_state=666)
    from sklearn.linear_model import LinearRegression
    reg=LinearRegression()
    x_train=np.array(x_train).reshape(-1,1)#因为我们只对一个特征进行预测，改变成数组形式
    reg.fit(x_train,y_train)
    reg.coef_ #即a
    reg.intercept_ #即b 截距
    #进行可视化
    plt.scatter(x_train,y_train)
    plt.plot(x_train,reg.predict(x_train),color='r')
    plt.show()
    x_test=np.array(x_test).reshape(-1,1)
    y_predict=reg.predict(x_test)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 6]

#MSE 均方误差
    mse_test=np.sum(y_test-y_predict)**2/len(y_test)
    #RMSE 均方根 
    from math import sqrt
    rmse_test=sqrt(mse_test)
    #MAE 平均绝对误差
    mae_test=np.sum(np.absolute(y_test-y_predict))/len(y_test)
    #R-Square
    R_test=1-mse_
    test/np.var(y_test)

#使用sklearn中的方法
    from sklearn.metrics import mean_squared_error
    from sklearn.metrics import mean_absolute_error
    from sklearn.metrics import r2_score
    #MSE
    mean_squared_error(y_test,y_predict)
    #MAE
    mean_absolute_error(y_test,y_predict)
    #R-Square
    r2_score(y_test,y_predict)
    #线性回归中采用的评分标准就是R-Square
    reg.score(x_test,y_test)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 7]  
转载：[http://www.pianshen.com/article/7423191155/][http_www.pianshen.com_article_7423191155]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70]: /images/20220112/d7b17a82a72e430bb2a67560021557ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 1]: /images/20220112/0d0fe63af04e4ba2b79419638c8de9e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 2]: /images/20220112/1b6dfe8e26d143c2b37c90b1b61eaf06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 3]: /images/20220112/9df3cf1b11734c88bd00652ed2144be6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 4]: /images/20220112/f0fd6738e67147ee9e1a714f16a62e8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 5]: /images/20220112/827072a2c8aa481babe58f01927fc0f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 6]: /images/20220112/b36eb765bfdf478aba8e9d098e047ef9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 7]: /images/20220112/42a88171c19e4fd993b63a50ce1039b2.png
[http_www.pianshen.com_article_7423191155]: http://www.pianshen.com/article/7423191155/