（五）机器学习---线性回归

Dear 丶 2022-12-27 02:21 98阅读 0赞

注意：本文只展示如何操作，如果分析原理，请参看其他文章。

### 目录 ###

*   *  一：波士顿房价预测：
     *   *  1：使用正规方程求解：
         *  2：使用梯度下降算法：
     *  二：过拟合和欠拟合：
     *   *  1： 过拟合和欠拟合的概念：
         *  2：代码体现过拟合和欠拟合：
         *  3：过拟合和欠拟合的解决方案：
     *  三： 正则化：
     *   *  1：正则化的分类：
         *  2：岭回归API的基本使用：
         *  3：使用岭回归进行波士顿房价的预测：
     *  四：模型的保存和加载：

## 一：波士顿房价预测： ##

### 1：使用正规方程求解： ###

1:导包：

from sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.metrics import mean_squared_error
    from sklearn.linear_model import SGDRegressor
    from sklearn.linear_model import LinearRegression

2：代码：

# 1.获取数据
    data = load_boston()
    
    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    
    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)
    
    # 4.机器学习-线性回归(正规方程)
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)
    
    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)
    
    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)

3：结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]

### 2：使用梯度下降算法： ###

# 1.获取数据
    data = load_boston()
    
    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    
    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)
    
    # 4.机器学习-线性回归(特征方程)
    estimator = SGDRegressor(max_iter=1000)
    estimator.fit(x_train, y_train)
    
    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)
    
    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]

## 二：过拟合和欠拟合： ##

### 1： 过拟合和欠拟合的概念： ###

*  1：过拟合：**在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据(体现在准确率下降)**。
 *  2：欠拟合：**一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]

### 2：代码体现过拟合和欠拟合： ###

1：数据的准备工作：

import numpy as np
    import matplotlib.pyplot as plt
    # 1：设置一个随机种子
    np.random.seed(666)
    # 2：在-3到3之间选取100个样本点,返回的x是个列表。
    x = np.random.uniform(-3,3,size = 100)
    # 3：reshape(-1,1)指的是转换成一列,-1指的是任意行数。
    X = x.reshape(-1,1)
    # 4：将所有的样本点根据二次曲线，然后加上随机数，构造随机点。
    y = 0.5* x**2 + x+2 +np.random.normal(0,1,size = 100)

2： 将点画成散点图：

plt.scatter(x,y)
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]  
3：通过图像分析，我先猜测是成一次的关系：

from sklearn.linear_model import LinearRegression # 导入线性回归包
    # 1： 创建线性回归对象
    estimator = LinearRegression()
    # 2：传入测试集和结果集进行训练
    estimator.fit(X,y)
    # 3： 传入测试集进行测试
    y_predict = estimator.predict(X)
    
    plt.scatter(x,y)
    # 画出预测的图线
    plt.plot(x,y_predict,color = 'r')
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]  
测试均方误差：  
![在这里插入图片描述][20201208111249239.png]

4： 假设成二次曲线的规则：

# 现在假设是二次关系：y = 0.5* x**2 + x+2  我们肯定要传入一次方项和二次方项进行拟合
    # 1： 构造传入的参数
    X2 = np.hstack([X,X**2])# hstack是横向堆叠
    # 2： 创建线性回归对象
    estimator2 = LinearRegression()
    # 3：根据传入的参数，进行训练
    estimator2.fit(X2,y)
    # 4： 进行预测得到结果集
    y_predict2 = estimator2.predict(X2)
    
    plt.scatter(x,y)
    # 5：np.sort是对值进行排序，返回的是值。
    # np.argsort()是对值进行排序，返回值的下标。
    # y_predict2[np.argsort(x)]是对(np.sort(x)的预测值
    plt.plot(np.sort(x), y_predict2[np.argsort(x)], color = 'r')
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]  
测试均方误差：  
![在这里插入图片描述][20201208114122297.png]  
5：加入高此项再次拟合：

X5 = np.hstack([X,X**2,X**3,X**4,X**5,X**6,X**7,X**8,X**9,X**10])
    
    estimator3 = LinearRegression()
    estimator3.fit(X5,y)
    y_predict5 = estimator3.predict(X5)
    
    plt.scatter(x,y)
    plt.plot(np.sort(x),y_predict5[np.argsort(x)],color = 'r')
    plt.show()
    
    error = mean_squared_error(y, y_predict5)
    error

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]  
我们发现均方误差从1.09变成了1.05。

6：划分测试集之后查看一次的均方误差：

from sklearn.model_selection import train_test_split
    # 指定随机数种子进行划分X 一次的测试集和y结果集
    X_train,X_test,y_train,y_test = train_test_split(X,y,random_state = 10)
    
    estimator = LinearRegression()
    estimator.fit(X_train,y_train)
    # 试用测试集进行预测
    y_predict = estimator.predict(X_test)
    # 计算均方误差
    mean_squared_error(y_test,y_predict)

X_train,X_test,y_train,y_test = train_test_split(X2,y,random_state = 10)
    estimator = LinearRegression()
    estimator.fit(X_train,y_train)
    y_predict = estimator.predict(X_test)
    mean_squared_error(y_test,y_predict)

X_train,X_test,y_train,y_test = train_test_split(X5,y,random_state = 10)
    estimator = LinearRegression()
    estimator.fit(X_train,y_train)
    y_predict = estimator.predict(X_test)
    mean_squared_error(y_test,y_predict)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]

### 3：过拟合和欠拟合的解决方案： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]

## 三： 正则化： ##

*  高次方导致过拟合，那我们有一种思路，就是如何减少高此项的影响？

### 1：正则化的分类： ###

*  1：L2正则化  
    作用：**可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响**  
    优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象  
    **Ridge回归**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]  
加上这个惩罚系数\*（sei ta）平方之后，那么我们的更新（sei ta）的表达式也要改变。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]

*  2：L1正则化  
    作用：**可以使得其中一些W的值直接为0，删除这个特征的影响**  
    **LASSO回归**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]

### 2：岭回归API的基本使用： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]

### 3：使用岭回归进行波士顿房价的预测： ###

1: 数据的准备：

from sklearn.datasets import load_boston
    from sklearn.linear_model import Ridge
    
    # 1.获取数据
    data = load_boston()
    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

2：进行岭回归训练：

# 4.机器学习-线性回归(岭回归)
    estimator = Ridge(alpha=1)
    # estimator = RidgeCV(alphas=(0.1, 1, 10))
    estimator.fit(x_train, y_train)

3： 对模型进行评估：

# 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)
    
    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)

4： 运行结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]

## 四：模型的保存和加载： ##

1： 模型的保存：

# 1: 导入保存的工具包
    import joblib
    from sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.linear_model import Ridge
    
    # 2： 一堆预先操作
    data = load_boston()
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)
    
    # 3：对模型进行训练
    estimator = Ridge(alpha=1)
    estimator.fit(x_train, y_train)
    
    # 4： 模型保存
    joblib.dump(estimator, "./data/test.pkl")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 14]  
2： 模型的加载：

# 4.3 模型加载
    estimator = joblib.load("./data/test.pkl")

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]: /images/20221120/564d80c2a0794f5b831d5f1b01b81ff3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]: /images/20221120/fd9e06e6bbf84151991635930b862886.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]: /images/20221120/bbcfe57789b64118b2c3fa0cbf9881b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]: /images/20221120/e8464a2e1932443eb54bf3ce99c62183.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]: /images/20221120/f56f336277a0443a9f3b8f6f7e78dc47.png
[20201208111249239.png]: /images/20221120/f4fb1d64222e4fec8568ee0f9a3dcdcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]: /images/20221120/795897bb1a4c4e47bca73409a4c1ba80.png
[20201208114122297.png]: /images/20221120/56b773e0672940bfb250446239a0c4f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]: /images/20221120/b84c70e5e0b64dc6a5da23b541d55cb0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]: /images/20221120/e57ede2eaccf45a28ea94e8df0b05589.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]: /images/20221120/d26a8973ad414e32bc0c812b51f78af0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]: /images/20221120/bd5eb31c07e549a89db0b81b4918e6d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]: /images/20221120/1e90c1dadc8446568bd7726d16380fa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]: /images/20221120/36760e65fe1d43ffb0d2f5c50f6bfec1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]: /images/20221120/742c44ff819d45c3b43f04d2165a1354.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]: /images/20221120/d51d13e0100044d9ab2ee978bf13b6a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 14]: /images/20221120/f58f525289114b888dded96b7bbe3986.png