线性回归的改进—岭回归

ゞ浴缸里的玫瑰 2022-12-29 12:57 160阅读 0赞

### 线性回归的改进—岭回归 ###

*  带有L2正则化的线性回归-岭回归
 *  API
 *  正则化程度对结果的影响
 *  波士顿房价预测

# 带有L2正则化的线性回归-岭回归 #

岭回归，其实也是一种线性回归。只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果。

# API #

*  `sklearn.linear_model.Ridge(alpha=1.0,fit_intercept=True,solver="auto", normalize=False)`
    
     *  具有**L2正则化**的线性回归
     *  alpha:正则化力度，也叫入
     *  入取值：0~1, 1~10
     *  solver:会根据数据自动选择优化方法
        
         *  sag:如果数据集、特征都比较大，选择该随机梯度下降优化
     *  normalize:数据是否进行标准化
        
         *  `normalize=False`：可以在fit之前调用`preprocessing.StandardScaler`标准化数据
     *  `Ridge.coef_`*:回归权重*
     *  `Ridge.intercept_`:回归偏置

`Ridge`方法相当于`SGDRegressor(penalty='l2',loss="squared_loss")`，只不过`SGDRegressor`实现了一个普通的随机梯度下降学习，推荐使用`Ridge`(实现了`SAG`)

*  `sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)`
    
     *  具有l2正则化的线性回归，可以进行交叉验证
     *  `coef_`：回归系数

class _BaseRidgeCV(LinearModel):
    	def ___init__(self, alphas=(0.1， 1.0,10.0)，
            fit_intercept=True, normalize=False, scoring=None,
            cv=None, gcv_mode=None,store_cv_values=False):

# 正则化程度对结果的影响 #

*  正则化力度越大，权重系数越小
 *  正则化力度越小，权重系数越大

# 波士顿房价预测 #

from  sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.linear_model import Ridge
    from sklearn.metrics import mean_squared_error
    
    if __name__ == '__main__':
        # 获取数据
        boston = load_boston()
    
        # 划分数据
        x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)
    
        # 标准化
        transfer = StandardScaler()
        x_train = transfer.fit_transform(x_train)
        x_test = transfer.fit_transform(x_test)  # 控制变量, 用同样的参数进行标准化
    
        # 预估器
        estimator = Ridge(alpha=0.5, max_iter=10000)
        estimator.fit(x_train, y_train)
    
        # 得出模型
        print('岭回归——权重系数为：\n', estimator.coef_)
        print('岭回归——偏重为：\n', estimator.intercept_)
    
        # 模型评估
        y_predict = estimator.predict(x_test)
        print('预测房价：\n', y_predict)
        error = mean_squared_error(y_test, y_predict)
        print('岭回归——均方误差为：\n', error)