机器学习梯度下降法应用波士顿房价预测

超、凢脫俗 2024-04-06 13:00 87阅读 0赞

#### 目录 ####

*  1 线性回归api介绍
 *   *  小结
 *  2 波士顿房价预测
 *   *  2.1 案例背景介绍
     *  2.2 案例分析
     *  2.3 回归性能评估
     *  2.4 代码实现
     *   *  2.4.1 正规方程
         *  2.4.2 梯度下降法
     *  2.5 小结

--------------------

## 1 线性回归api介绍 ##

机器学习梯度下降算法：[https://blog.csdn.net/ZGL\_cyy/article/details/127037949][https_blog.csdn.net_ZGL_cyy_article_details_127037949]

*  sklearn.linear\_model.LinearRegression(fit\_intercept=True)
    
     *  通过正规方程优化
     *  参数
        
         *  fit\_intercept：是否计算偏置
     *  属性
        
         *  LinearRegression.coef\_：回归系数
         *  LinearRegression.intercept\_：偏置
 *  sklearn.linear\_model.SGDRegressor(loss=“squared\_loss”, fit\_intercept=True, learning\_rate =‘invscaling’, eta0=0.01)
    
     *  SGDRegressor类实现了随机梯度下降学习，它支持不同的**loss函数和正则化惩罚项**来拟合线性回归模型。
     *  参数：
        
         *  loss:损失类型
            
             *  **loss=”squared\_loss”: 普通最小二乘法**
         *  fit\_intercept：是否计算偏置
         *  learning\_rate : string, optional
            
             *  学习率填充
             *  **‘constant’: eta = eta0**
             *  ‘optimal’: eta = 1.0 / (alpha \* (t + t0))
             *  ‘invscaling’: eta = eta0 / pow(t, power\_t)\[default\]
                
                 *  **power\_t=0.25:存在父类当中**
             *  **对于一个常数值的学习率来说，可以使用learning\_rate=’constant’ ，并使用eta0来指定学习率。**
     *  属性：
        
         *  SGDRegressor.coef\_：回归系数
         *  SGDRegressor.intercept\_：偏置

> sklearn提供给我们两种实现的API， 可以根据选择使用

### 小结 ###

*  正规方程
    
     *  sklearn.linear\_model.LinearRegression()
 *  梯度下降法
    
     *  sklearn.linear\_model.SGDRegressor(）

## 2 波士顿房价预测 ##

### 2.1 案例背景介绍 ###

*  数据介绍

![æˆ¿ä"·æ•°æ®é›†ä"‹ç"][72212f3286ec3dd587f574aa090170dc.jpeg]

![å±žæ€§][d865b84c994e6445ad6723a626eff63c.jpeg]

> 给定的这些特征，是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用，只需要使用这些特征。到后面量化很多特征需要我们自己去寻找

### 2.2 案例分析 ###

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

*  数据分割与标准化处理
 *  回归预测
 *  线性回归的算法效果评估

### 2.3 回归性能评估 ###

均方误差(Mean Squared Error)MSE)评价机制：

![çº¿æ€§å›žå½’è¯„ä¼°][8a247ea38eaaaee838613d2261029abb.jpeg]

注：yi为预测值，![image-20200530222331743][] 为真实值

> 思考：MSE和最小二乘法的区别是？

*  sklearn.metrics.mean\_squared\_error(y\_true, y\_pred)
    
     *  均方误差回归损失
     *  y\_true:真实值
     *  y\_pred:预测值
     *  return:浮点数结果

### 2.4 代码实现 ###

#### 2.4.1 正规方程 ####

def linear_model1():
        """
        线性回归:正规方程
        :return:None
        """
        # 1.获取数据
        data = load_boston()
    
        # 2.数据集划分
        x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    
        # 3.特征工程-标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.fit_transform(x_test)
    
        # 4.机器学习-线性回归(正规方程)
        estimator = LinearRegression()
        estimator.fit(x_train, y_train)
    
        # 5.模型评估
        # 5.1 获取系数等值
        y_predict = estimator.predict(x_test)
        print("预测值为:\n", y_predict)
        print("模型中的系数为:\n", estimator.coef_)
        print("模型中的偏置为:\n", estimator.intercept_)
    
        # 5.2 评价
        # 均方误差
        error = mean_squared_error(y_test, y_predict)
        print("误差为:\n", error)
    
        return None

#### 2.4.2 梯度下降法 ####

def linear_model2():
        """
        线性回归:梯度下降法
        :return:None
        """
        # 1.获取数据
        data = load_boston()
    
        # 2.数据集划分
        x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    
        # 3.特征工程-标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.fit_transform(x_test)
    
        # 4.机器学习-线性回归(特征方程)
        estimator = SGDRegressor(max_iter=1000)
        estimator.fit(x_train, y_train)
    
        # 5.模型评估
        # 5.1 获取系数等值
        y_predict = estimator.predict(x_test)
        print("预测值为:\n", y_predict)
        print("模型中的系数为:\n", estimator.coef_)
        print("模型中的偏置为:\n", estimator.intercept_)
    
        # 5.2 评价
        # 均方误差
        error = mean_squared_error(y_test, y_predict)
        print("误差为:\n", error)
    
        return None

我们也可以尝试去修改学习率

estimator = SGDRegressor(max_iter=1000,learning_rate="constant",eta0=0.1)

此时我们可以通过调参数，找到学习率效果更好的值。

### 2.5 小结 ###

*  正规方程和梯度下降法api在真实案例中的使用
 *  线性回归性能评估
    
     *  均方误差

[https_blog.csdn.net_ZGL_cyy_article_details_127037949]: https://blog.csdn.net/ZGL_cyy/article/details/127037949
[72212f3286ec3dd587f574aa090170dc.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/3a25e3c627b945b787b033846cdc93b0.jpeg
[d865b84c994e6445ad6723a626eff63c.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/9e4b913a283142a5b265f027cf4e9b7d.jpeg
[8a247ea38eaaaee838613d2261029abb.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/41c3524b82f749b699cc7c4a166a4b89.jpeg
[image-20200530222331743]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/444d275746644946b91bf3275ee22875.jpeg