0228线性回归算法梳理

冷不防 2022-03-15 04:14 353阅读 0赞

### 线性回归算法梳理 ###

*   *  一、机器学习相关概念
     *  二、线性回归原理
     *  三、线性回归的损失函数、代价函数、目标函数
     *  四、 一元、多元线性回归的参数求解公式推导
     *  五、优化方法（梯度下降法、正规方程组法等）
     *  六、线性回归的评估指标及原理
     *  七、sklearn包线性回归参数详解

## 一、机器学习相关概念 ##

**1、有监督学习与无监督学习**

（1）有监督学习的数据具备特征（features）与预测目标(label)，**有监督学习同时拥有输入变量x和输出变量y**。用一个算法把输入到输出的映射关系——y=f(x)学习出来，当拿到新数据x1时就可以用学习到的映射关系得到相应的y1。有监督学习可分为：回归和分类。在回归问题中，我们会预测一个连续值；在分类问题中，我们会预测一个离散值。常见的有监督学习：线性回归、朴素贝叶斯分类、逻辑回归、决策树、SVM、KNN属于有监督学习。  
 （2） **无监督学习的没有预测目标（label），只有输入变量x**。无监督学习目的是将训练数据潜在的结构或分布找出来，以便于我们对这些数据有更多了解。常见的无监督学习：KMeans、主成分分析。

2、**过拟合、欠拟合、泛化能力、交叉验证**

（1）**过拟合**是指模型在训练集上表现良好，在测试集上表现不好的情况。过拟合的原因是模型对数据学习的太彻底，以至于噪声数据也学习到了。  
![在这里插入图片描述][20190228192202317.png]  
  解决方法：  
  （1.1）重新清洗数据，清洗不纯数据。  
  （1.2）增大数据的训练量。  
  （1.3）采用正则化方法。正则化方法包括L0,L1,L2正则，在机器学习中一般用L2正则。  
[https://blog.csdn.net/T7SFOKzorD1JAYMSFk4/article/details/80997489][https_blog.csdn.net_T7SFOKzorD1JAYMSFk4_article_details_80997489]  
上面链接介绍正则化。  
  （1.4）采用dropout方法。通常用在神经网络中，在训练过程中随机丢掉一部分神经元。  
  （1.5）交叉验证法。

（2）**欠拟合**是指模型在训练集和测试集上表现的都不好的情况。欠拟合的原因是模型没有很好的学习数据特点，以至于不能很好地拟合。  
![在这里插入图片描述][20190228192109479.png]  
  解决方法：  
  （2.1）添加其他特征项。  
  （2.2）添加多项式特征，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。如上图中就是通过增加二次项解决欠拟合问题。  
  （2.3）减少正则化参数。  
  (3) **泛化能力**是指学习到的模型对未知数据的预测能力，也可以理解为迁移能力。通过测试误差来评价泛化能力。其中过拟合和欠拟合就是机器学习泛化能力弱的两大原因。  
  （4）**交叉验证**其基本思想就是将原始数据（dataset）进行分组，一部分做为训练集来训练模型，另一部分做为测试集来评价模型。交叉验证用于评估模型的预测性能，一定程度上减少过拟合。主要方法有：留一法交叉验证、K折交叉验证。

*  留一法交叉验证：若原始数据有N个样本，则每个样本单独作为测试集，其余N-1个样本作为训练集，训练出N个模型。
 *  K折交叉验证：将数据平均的随机的分成K份，做K次训练，每次轮流用1份数作为测试集，其余K-1份作为训练集。

## 二、线性回归原理 ##

（1）线性回归模型：利用线性函数对一个或多个自变量（x或（x1,x2,…,xk））和因变量（y）之间的关系进行拟合的模型。回归分析用来建立方程模拟两个或多个变量之间如何关联。  
  （2）线性的含义：线性函数的定义是一阶（或更低价）多项式，或零多项式。  
当线性函数只有一个自变量时：y=f(x)

f(x)的函数形式是：
    f(x)=a+bx --一阶多项式
    f(x)=c --零阶多项式
    f(x)=0 --零多项式

当线性函数有多个独立自变量时,y=f(x1,x2,…xk)

f(x1,x2,......xk)=a+b1x1+b2x2+......+bkxk

只有当训练集的特征是一维时，线性回归模型可以在直角坐标系中以直线的形式展现；当样本特征是多维时，线性模型函数是一个多维空间内的一阶/零阶/零多项式。换言之：特征是一维的，线性模型在二维空间构成一条直线；特征是二维的，线性模型在三维空间构成一个平面；若特征是三维的，则最终模型在四维空间构建一个个体，以此类推。  
注：线性回归原理参考李烨机器学习。

## 三、线性回归的损失函数、代价函数、目标函数 ##

（1）损失函数：是单个训练集的误差，即真实值和预测值间的差距。  
  （2）代价函数：整个训练集所有损失之和的平均值。  
  （3）目标函数：是代价函数加上正则化项。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]上面三个图的曲线函数依次为f1(x),f2(x),f3(x)，我们想用这三个函数分别来拟合真实值Y。  
我们用损失函数或者叫代价函数来度量函数拟合的好坏。  
![在这里插入图片描述][20190410100140620.png]  
损失函数越小，就代表模型拟合的越好。但是我们训练模型的最终目的是模型有良好的预测能力，而不仅仅关注拟合的好坏。因此我们引入经验风险函数，风险函数是损失函数的期望，f(X)关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化经验风险。  
![在这里插入图片描述][20190410100328467.png]  
经验风险最小时我们的训练模型仍然不是最优，如果仅仅最小化经验风险则f3(x)是拟合最好的，易知f3(x)此时已经过拟合了，它的函数很复杂有四次方。因此这时引入结构风险函数，该函数专门用来度量模型负责程度，在机器学习中也称作正则化，常用的有L1,L2范数，因此得到目标函数，即最优化经验风险和结果风险。  
![在这里插入图片描述][20190410100944813.png]

## 四、 一元、多元线性回归的参数求解公式推导 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]

## 五、优化方法（梯度下降法、正规方程组法等） ##

有了目标函数，接下来求解模型的参数值。在实际求解过程中，为了求导方便，往往将损失函数写成下面形式：  
![在这里插入图片描述][20190410104355201.png]

*  梯度下降法  
    梯度下降法是最常用的优化方法。当目标函数为凸函数时，梯度下降法的解是全局最优解。梯度下降法的核心思想上沿着梯度下降最快的方向去搜索使损失函数达到最小的参数值。其步骤为：初始化w,每次改变一点点w使得J(w)变小，直到J(w)不变为止。  
    每次改变一点点是如何改变的呢？  
    ![在这里插入图片描述][20190410105827213.png]  
    其中a为学习率，a后面的是导数/偏导数。  
    注意，w0,w1,…wj是同时更新。  
    a小收敛慢；a过大跳过最优解，无法收敛或发散。  
    a不变，梯度下降也会收敛局部最优解，因为在下降的过程中梯度（导数值）一直在改变。  
    梯度下降存在的问题：陷入局部最优解。但是在线性回归的代价函数中，一定是凸函数，定能找到全局最优解（也只存在全局最优解）

批量梯度下降每一步梯度下降都遍历整个训练集样本，因此批量梯度下降很慢。随机梯度下降是随机的选择一条数据计算梯度，该方法在求梯度时很快，但是迭代次数可能更多，最终可能找不到全局最优解。将两种方法折中，出现小批量随机梯度下降（mini-batch GD），随机一部分数据。

*  正规方程组法  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 4]  
    [https://blog.csdn.net/qq\_39521554/article/details/80453521][https_blog.csdn.net_qq_39521554_article_details_80453521]  
    梯度下降和正规方程各有优劣势。

## 六、线性回归的评估指标及原理 ##

（1）残差平方和（SSE）：真实值与预测值之差的平方和。SSE越小越好，越小说明模型拟合越好。  
 （2） 判定系数（R2）:回归平方和占总平方和的比例，等于回归平方和（SSR）/总平方和（SST）,又等于1—SSE/SST。判定系数测度了回归直线对观测数据的拟合程度。判定系数越大，说明线性回归方程拟合的越好。  
  （3）均方误差(MSE)

## 七、sklearn包线性回归参数详解 ##

[https://scikit-learn.org/stable/modules/generated/sklearn.linear\_model.LinearRegression.html\#sklearn.linear\_model.LinearRegression][https_scikit-learn.org_stable_modules_generated_sklearn.linear_model.LinearRegression.html_sklearn.linear_model.LinearRegression]

LinearRegression(fit_intercept=True,normalize=False,copy_X=True,n_jobs=1)

(1)fit\_intercept:是否有截据，如果没有则直线过原点。默认为True.

说明：是否对训练数据进行中心化。如果该变量为false，则表明输入的数据已经进行了中心化，在下面的过程里不进行中心化处理；否则，对输入的训练数据进行中心化处理。

(2)normalize:是否将数据归一化。

(3)copy\_X:默认为True，当为True时，X会被copied,否则X将会被覆写.。（即经过中心化，标准化后，是否把新数据覆盖到原数据上）。

(4)n\_jobs:默认值为1。计算时使用的核数。

[20190228192202317.png]: /images/20220315/02ae79f7615448a8afa2431f7315daa2.png
[https_blog.csdn.net_T7SFOKzorD1JAYMSFk4_article_details_80997489]: https://blog.csdn.net/T7SFOKzorD1JAYMSFk4/article/details/80997489
[20190228192109479.png]: /images/20220315/80968a92f9714f938a434e813ccfedee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70]: /images/20220315/a7bb2392079c449b8d8d4dcf01acc009.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 1]: /images/20220315/e641227b4b9c4241ba6a53c0d137c4f1.png
[20190410100140620.png]: /images/20220315/22ee602b6d494b8f9a8cd9960d794f72.png
[20190410100328467.png]: /images/20220315/2bf0f9f024eb434094b5420ec8ffb2ed.png
[20190410100944813.png]: /images/20220315/07d76d22089d43269ae5f800034d37a1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 2]: /images/20220315/3d9d03904ad7433190c7cf4424e59e1a.png
[20190410104355201.png]: /images/20220315/31c5532b077741cb81601957f2bbf30d.png
[20190410105827213.png]: /images/20220315/5e5a0db6cf884dba82640fd8184c0292.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 3]: /images/20220315/3b0855623cd84be1b34e903401132356.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0d1aWFiYmV5_size_16_color_FFFFFF_t_70 4]: /images/20220315/55929508a58249df9439679593a1cd86.png
[https_blog.csdn.net_qq_39521554_article_details_80453521]: https://blog.csdn.net/qq_39521554/article/details/80453521
[https_scikit-learn.org_stable_modules_generated_sklearn.linear_model.LinearRegression.html_sklearn.linear_model.LinearRegression]: https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LinearRegression.html#sklearn.linear_model.LinearRegression