基于Python的Linear Regression实验报告

短命女 2024-04-07 16:02 64阅读 0赞

## Linear Regression 实验报告 ##

### 一、数据处理 ###

本次数据集为 Boston House Price 数据集，房价影响因素及房价

通过sklearn.datasets获取数据

boston = load_boston()
    x,y = boston.data,boston.target

查看数据大小：

print(x.shape)
    print(y.shape)

![在这里插入图片描述][1a362d9b3f4845c08efca786ba3feb75.png]

数据共506项，数据集有13种影响因素

查看部分数据：

for i in range(7):
        print(x[i],'   ',y[i])

![在这里插入图片描述][e51b149bb2764c259537f4556519d037.png]

对数据进行拆分，测试集比例test\_size=0.2

`x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.2)`

### 二、算法 ###

共采用三种regression算法

#### Linear Regression ####

目标函数：

![在这里插入图片描述][2b832d8baae64bd5b4a1426fc84800fc.png]

Loss Function: 最小二乘法

![在这里插入图片描述][752fa9d1ab1147978cca225b8e3543ae.png]

采取梯度下降算法，求出使误差最小的参数，则得到最终模型

#### Ridge Regression ####

加入L2正则项来调优模型。下面是Ridge Regression的损失函数;

![在这里插入图片描述][2cd14bf5829a47d09263ca7d928c4104.png]

#### Lasso Regression ####

加入L1正则项来调优模型。下面是Lasso Regression的损失函数;

![在这里插入图片描述][086b2533401e4eecbfa332150a0751cc.png]

### 三、模型： ###

##### LinearRegressionPred函数 #####

参数：训练集数据、训练集标签、测试集数据、测试集标签

选择LinearRegression训练模型拟合训练集，再用拟合得到的模型去预测x\_test对应的价格

最后计算预测值与实际值的差距，分别计算MSE,MAE，并返回

def LinearRegressionPred(x_train,x_test,y_train,y_test):
    
        model = linear_model.LinearRegression()      #选择模型
        model.fit(x_train,y_train)      #拟合
        y_pred = model.predict(x_test)  #预测
        
        loss1 = mean_squared_error(y_test, y_pred)       #计算损失函数
        loss2 = mean_absolute_error(y_test, y_pred)
        
        return loss1,loss2

##### RidgeRegressionPred, LassoRegressionPred函数 #####

与LinearRegressionPred的唯一区别在于选取的模型不同

def RidgeRegressionPred(x_train,x_test,y_train,y_test):
        model = linear_model.Ridge()    #选择模型
        model.fit(x_train,y_train)      #拟合
        y_pred = model.predict(x_test)  #预测
        
        loss1 = mean_squared_error(y_test, y_pred)       #计算损失函数
        loss2 = mean_absolute_error(y_test, y_pred)
        
        return loss1,loss2
    
    def LassoRegressionPred(x_train,x_test,y_train,y_test):
        model = linear_model.Lasso()    #选择模型
        model.fit(x_train,y_train)      #拟合
        y_pred = model.predict(x_test)  #预测
        
        loss1 = mean_squared_error(y_test, y_pred)       #计算损失函数
        loss2 = mean_absolute_error(y_test, y_pred)
        
        return loss1,loss2

### 四、实验结果 ###

![在这里插入图片描述][d329f34cfc1248a1b07846daa805ce2d.png]

三种算法中，Linear Regression, Ridge Regression得到预测结果最好，MSE为25.37、25.57，MAE为3.50、3.50

Lasso Regression的预测结果最差，MSE为31.52, MAE为3.88

[1a362d9b3f4845c08efca786ba3feb75.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d0869aaf15c94429afa1ffbb4fd78dba.png
[e51b149bb2764c259537f4556519d037.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/8fd6972ba85643a1802935ea22997924.png
[2b832d8baae64bd5b4a1426fc84800fc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/024417f81d1a4531a3130e526c4f2ad2.png
[752fa9d1ab1147978cca225b8e3543ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/caa3e109865741e3a56dad95402150dc.png
[2cd14bf5829a47d09263ca7d928c4104.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e5d66acbd51d44c48d2e9f47d961354d.png
[086b2533401e4eecbfa332150a0751cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a70a2bac15e94411b4b09b1cc2597544.png
[d329f34cfc1248a1b07846daa805ce2d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/aff24d03cd884b948073110223b5c3aa.png