算法梳理进阶线性回归(一)

叁歲伎倆 2022-03-15 09:20 323阅读 0赞

### 文章目录 ###

*  1. 机器学习的一些概念
 *   *  1.1 机器学习是什么？
     *  1.2 有监督学习
     *  1.3 无监督学习
     *  1.4 半监督学习
     *  1.5 集成学习
     *  1.6 强化学习
     *  1.7 泛化能力
     *  1.8 过拟合
     *  1.9 欠拟合
     *  1.10 欠拟合-过拟合与偏差-方差的关系
     *  1.11 交叉验证
 *  2. 线性回归
 *   *  2.1 线性回归原理
 *  3. 线性回归损失函数、代价函数、目标函数基本概念
 *   *  3.1 基本概念
 *  4. 一元线性回归的参数求解公式推导
 *  5. 多元线性回归的参数求解公式推导
 *  6. 线性回归的评估指标有哪些？原理是什么？
 *  7. 线性回归sklearn参数详解？

# 1. 机器学习的一些概念 #

## 1.1 机器学习是什么？ ##

>   机器学习是一门致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，"经验"通常以"数据"形式存在，因此，机器学习所研究的内容，是关于在计算机上从数据中产生"模型"的算法。有了这些算法，当我们把经验数据提供给它，它就能够基于这些数据产生模型，在面对新的情况时，模型就会提供相应的判断给我们。
> 
> 主要学习任务:
> 
>  *  分类(classification) : 预测的是离散值，例如"好" “坏”，目的是将实列数据划分到已有的合适的类别中去。
>  *  回归(regression)：预测的是连续值，研究连续值中的线性关系。
>  *  聚类(clustering)：将训练集中的样本分成若干个组，并且每个组中的样本对象都很相似。

## 1.2 有监督学习 ##

>    监督学习算法接受输入的训练数据中拥有标记信息，然后训练模型，让模型能够为新输入进来的数据预测标记信息的合理结果。有监督学习的代表是分类和回归。

## 1.3 无监督学习 ##

>    无监督学习算法接受输入的训练数据中不包含标记信息，通过寻找数据中隐藏的概念划分对数据进行分组。无监督学习常用聚类。

## 1.4 半监督学习 ##

>    半监督学习算法中输入的训练数据中部分样本包含标记信息，而有些不包含标记信息，是监督学习与无监督学习相结合的一种学习方法，常用直推学习、归纳式、纯半监督学习、生成式等学习方法。

## 1.5 集成学习 ##

>    集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统。集成学习的主要思路是先通过一定的规则生成多个学习器，再采用某种集成策略进行组合，最后综合判断输出最终结果。

## 1.6 强化学习 ##

>    强化学习(Reinforcement learning)是机器学习中的一个领域，强调如何基于环境而行动，在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。常用于博弈论、控制论、运筹学、信息论、仿真优化等。

## 1.7 泛化能力 ##

>    机器学习(Machine learning)的目标是使学得的模型能很好地适用于"新样本"，而不仅仅是在训练样本上工作得很好；学得模型适用于新样本的能力，称为泛化能力。

## 1.8 过拟合 ##

>    在学习过程中，我们通常实际希望得到的，是在新样本上能表现很好的学习器，为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"普遍规律"，这样才能在遇到新样本时做出正确的判别，然而如果学习能力过于强大，很可能把训练样本自身的一部分特点当作所有潜在样本的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为"过拟合"。  
> 解决方法：
> 
>  *  重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的。
>  *  增大数据的训练量，导致过拟合的原因还有可能是因为我们用于训练的数据量太少导致的，训练数据占总数据的比例过少。
>  *  采用正则化方法，正则化方法包括L0正则、L1正则和L2正则，而正则一般是在目标函数之后加上的范数。在机器学习中一般使用L2正则。

## 1.9 欠拟合 ##

>    与"过拟合"相对的是"欠拟合"，这是因为学习器能力低下，对训练样本的一般性质尚未学好。  
> 解决方法：
> 
>  *  添加其他特征项：有时候我们模型出现欠拟合是因为特征项不够导致的，可以添加其他特征项来很好地解决。
>  *  添加多项式特征：例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。
>  *  减少正则化参数：正则化的目的是防止过拟合的，但现在模型出现了欠拟合，则需要减少正则化参数。

## 1.10 欠拟合-过拟合与偏差-方差的关系 ##

<table> 
 <thead> 
  <tr> 
   <th align="center">名称</th> 
   <th align="center">欠拟合</th> 
   <th align="center">过拟合</th> 
   <th align="center">备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">偏差</td> 
   <td align="center">一定大</td> 
   <td align="center">较大</td> 
   <td align="center">主要针对验证集而言</td> 
  </tr> 
  <tr> 
   <td align="center">方差</td> 
   <td align="center">一定小</td> 
   <td align="center">一定大</td> 
   <td align="center">主要针对验证集而言</td> 
  </tr> 
  <tr> 
   <td align="center">训练集得分</td> 
   <td align="center">低</td> 
   <td align="center">一定高</td> 
   <td align="center">一般指判定系数、准确率等</td> 
  </tr> 
  <tr> 
   <td align="center">验证集得分</td> 
   <td align="center">一定低</td> 
   <td align="center">有高有低，总体较低，方差大</td> 
   <td align="center">一般指判定系数、准确率等</td> 
  </tr> 
  <tr> 
   <td align="center">模型复杂度</td> 
   <td align="center">可能低</td> 
   <td align="center">高</td> 
   <td align="center"></td> 
  </tr> 
  <tr> 
   <td align="center">训练集数据量</td> 
   <td align="center">可能少</td> 
   <td align="center">多</td> 
   <td align="center"></td> 
  </tr> 
 </tbody> 
</table>

## 1.11 交叉验证 ##

>    交叉验证(Cross Validation)是将数据样本切割成较小子集的实用方法。先在一个子集(训练集)上做分析，而其它子集(测试集)则用来做此子集(训练集)训练得到的分类器的验证。一开始的子集被称为训练集。而其它的子集则被称为验证集或测试集。用这个来评价训练集得到的分类器的性能指标。  
> 常见的交叉验证有：简单交叉验证、K折交叉验证、留一法交叉验证。

# 2. 线性回归 #

## 2.1 线性回归原理 ##

>    对于一个数据集，我们不明确其之间的关系，所以需要构造一个函数，进行拟合数据，拟合后便可以实现取任一点进行值的预测。这里我们采用线性的函数进行拟合，求解这个线性函数的参数的过程，以及将参数最优化就是线性回归算法在做的事情。  
> 函数模型：  
>              ![svg.latex_20f_28x_29_20_20w_5E_7BT_7Dx_20_b][]  
>         ，当w和b学得之后，模型就得以确定。

# 3. 线性回归损失函数、代价函数、目标函数基本概念 #

## 3.1 基本概念 ##

>  *  损失函数：计算的是一个样本的误差
>  *  代价函数：计算的是整个训练集上所有样本误差的平均
>  *  目标函数：代价函数 + 正则化项

# 4. 一元线性回归的参数求解公式推导 #

如果X和Y之间存在较强的相关关系，则我们有![svg.latex_20Y_20_5Capprox_20_20_5Calpha_20_20_5Cbeta_7BX_7D][]，如果我们能求 ![20_5Calpha][]和![20_5Cbeta][]的值，根据X的值，就可以得到Y的预测值：  
![20_5Chat_7By_i_7D_20_20_5Calpha_20_20_5Cbeta_7BX_i_7D][]  
如何确定α和β呢？我们确定的α和β可以使得 平方误差和最小，根据最小二乘法：  
![20LR_20_20_5Csum_7Bi_20_201_7D_5En_20_28y_i_20-_20_5Chat_7By_i_7D_29_5E2_20_20_5Csum_7Bi_20_201_7D_5En_20_5By_i_20-_20_28_5Calpha_20_20_5Cbeta_7Bx_i_7D_29_5D][]

上式中：α 和 β 未知，对α 和 β求偏导。  
![20_20_5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_7B_5Calpha_7D_7D_20_20-2_5Csum_7Bi_20_201_7D_5En_20_28y_i_20-_20_5Calpha_20-_20_5Cbeta_7Bx_i_7D_29][] (1)  
![20_20_5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_7B_5Cbeta_7D_7D_20_20-2_5Csum_7Bi_20_201_7D_5En_20_28y_i_20-_20_5Calpha_20-_20_5Cbeta_7Bx_i_7D_29x_i][] (2)

令(1)、(2)为零可得到α 和 β 的最优解。  
![5Cbeta_20_20_5Cfrac_7B_5Csum_7Bi_20_201_7D_5En_28X_i_20-_20_5Coverline_7BX_7D_29_28Y_i_20-_20_5Coverline_7BY_7D_29_7D_7B_5Csum_7Bi_20_201_7D_5En_28X_i_20-_20_5Coverline_7BX_7D_29_5E2_7D][]

![20_5Calpha_20_20_5Coverline_7BY_7D_20-_20_5Cbeta_7B_5Coverline_7BX_7D_7D][]

# 5. 多元线性回归的参数求解公式推导 #

类似于一元线性回归，多元线性回归也可以使用最小二乘法对α 和 β 进行估计。预测模型为：  
![20f_28x_i_29_20_20_5Cbeta_5ET_7Bx_i_7D_20_20_5Calpha][]

![20LR_20_20arg_20min_28y_20-_20X_7B_5Cbeta_7D_29_5ET_28y_20-_20X_5Cbeta_29][]

对![20_5Cbeta][]求导得到

![5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_5Cbeta_7D_20_202_20X_5ET_28X_5Cbeta_20-_20y_29][]  
当![X_5ETX][]为满秩矩阵或正定矩阵时，可以变换为  
![5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_5Cbeta_7D_20_28X_5ETX_29_5E_7B-1_7DX_5ETy][]  
其中![28X_5ETX_29_5E_7B-1_7D][]是矩阵![28X_5ETX_29][]的逆矩阵，最终学得的多元线性回归模型为：  
![f_28X_i_29_20_20X_i_5ET_28X_5ETX_29_5E_7B-1_7DX_5ETy][]

# 6. 线性回归的评估指标有哪些？原理是什么？ #

>  *  R-Squared ：
>  *  Adjusted R-Squared ：
>  *  F Statistics ： 指在零假设成立的情况下，符合F分布的统计量，多用于计量统计学中。
>  *  RMSE / MSE / MAE：
>     
>      *  均方根误差(Root Mean Squared Error,RMSE) 定义如下。  
>         ![svg.latex_RMSE_20_20_5Csqrt_7B_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5EnEi_5E2_7D_20_20_5Csqrt_7B_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_7B_28Yi_20-_20_5Chat_7BYi_7D_29_7D_5E2_7D][]  
>         这是均方误差的平方根，代表了预测值的离散程度，也称为标准误差，最佳拟合情况为RMSE=0。均方根误差也是误差分析的综合指标之一。
>      *  均方误差(Mean Squared Error,MSE) 定义如下。  
>         ![svg.latex_MSE_20_20_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_7BEi_7D_5E2_20_20_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_28Yi_20-_20_5Chat_7BYi_7D_29_5E2][]  
>         在上式中，MSE表示均方差，其他符号同前。  
>         均方误差师预测误差平方之和的平均数，它避免了正负误差不能相加的问题。由于对误差E进行了平方，加强了数值大的误差在指标中的作用，从而提高了这个指标的灵敏性，是一大优点。均方误差师误差分析的综合指标法之一。
>      *  平均绝对误差（MeanAbsolutError,MAE）定义如下。  
>         ![svg.latex_MAE_20_20_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_5Cmid_7BEi_7D_5Cmid_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_5Cmid_7BYi_20-_20_5Chat_7BY_7Di_7D_5Cmid][]

# 7. 线性回归sklearn参数详解？ #

>  *  fit\_intercept：布尔类型，默认为true，如果设置为false，则认为输入模型的数据已经中心化处理过，在计算过程中将不进行居中处理，否则对数据进行中心化处理。
>  *  normalize ：布尔类型，默认为false，当fit\_intercept设置为false时忽略这个参数，如果设置为true，将对回归之前的X变量进行标准化处理，处理方式是减去均值并除以L2范数。
>  *  copy\_X ：布尔类型，默认为true，如果为true会复制X作为训练数据，否则X将被覆盖。
>  *  n\_jobs ： 训练作业时使用的cpu数目，如果为-1使用所有的cpu，cpu数目越多，训练作业越快。

[svg.latex_20f_28x_29_20_20w_5E_7BT_7Dx_20_b]: http://latex.codecogs.com/svg.latex?%20f%28x%29%20=%20w%5E%7BT%7Dx%20+b
[svg.latex_20Y_20_5Capprox_20_20_5Calpha_20_20_5Cbeta_7BX_7D]: http://latex.codecogs.com/svg.latex?%20Y%20%5Capprox%20%20%5Calpha%20+%20%5Cbeta%7BX%7D
[20_5Calpha]: http://latex.codecogs.com/svg.latex/?%20%5Calpha
[20_5Cbeta]: /images/20220315/d87ab532d7c9449fa912c26fb6a21fc7.png
[20_5Chat_7By_i_7D_20_20_5Calpha_20_20_5Cbeta_7BX_i_7D]: http://latex.codecogs.com/svg.latex/?%20%5Chat%7By_i%7D%20=%20%5Calpha%20+%20%5Cbeta%7BX_i%7D
[20LR_20_20_5Csum_7Bi_20_201_7D_5En_20_28y_i_20-_20_5Chat_7By_i_7D_29_5E2_20_20_5Csum_7Bi_20_201_7D_5En_20_5By_i_20-_20_28_5Calpha_20_20_5Cbeta_7Bx_i_7D_29_5D]: http://latex.codecogs.com/svg.latex/?%20LR%20=%20%5Csum_%7Bi%20=%201%7D%5En%20%28y_i%20-%20%5Chat%7By_i%7D%29%5E2%20=%20%5Csum_%7Bi%20=%201%7D%5En%20%5By_i%20-%20%28%5Calpha%20+%20%5Cbeta%7Bx_i%7D%29%5D
[20_20_5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_7B_5Calpha_7D_7D_20_20-2_5Csum_7Bi_20_201_7D_5En_20_28y_i_20-_20_5Calpha_20-_20_5Cbeta_7Bx_i_7D_29]: /images/20220315/7c42ae22f77245b984d2969cd2f3eb3d.png
[20_20_5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_7B_5Cbeta_7D_7D_20_20-2_5Csum_7Bi_20_201_7D_5En_20_28y_i_20-_20_5Calpha_20-_20_5Cbeta_7Bx_i_7D_29x_i]: /images/20220315/33e22a9758f14acd9c00e2a930778e3a.png
[5Cbeta_20_20_5Cfrac_7B_5Csum_7Bi_20_201_7D_5En_28X_i_20-_20_5Coverline_7BX_7D_29_28Y_i_20-_20_5Coverline_7BY_7D_29_7D_7B_5Csum_7Bi_20_201_7D_5En_28X_i_20-_20_5Coverline_7BX_7D_29_5E2_7D]: /images/20220315/018ed642ca76496ba121fe29f3deb124.png
[20_5Calpha_20_20_5Coverline_7BY_7D_20-_20_5Cbeta_7B_5Coverline_7BX_7D_7D]: /images/20220315/f797aff4a60c433bb036c0fb96ad5dad.png
[20f_28x_i_29_20_20_5Cbeta_5ET_7Bx_i_7D_20_20_5Calpha]: http://latex.codecogs.com/svg.latex/?%20f%28x_i%29%20=%20%5Cbeta%5ET%7Bx_i%7D%20+%20%5Calpha
[20LR_20_20arg_20min_28y_20-_20X_7B_5Cbeta_7D_29_5ET_28y_20-_20X_5Cbeta_29]: /images/20220315/f7299a13783a4608b2b980e000282ebe.png
[5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_5Cbeta_7D_20_202_20X_5ET_28X_5Cbeta_20-_20y_29]: /images/20220315/15018e8bdf2d473ba0c7230c3edf7c71.png
[X_5ETX]: /images/20220315/347b113700984f6e822e21e4c96fa63f.png
[5Cfrac_7B_5Cpartial_7BLR_7D_7D_7B_5Cpartial_5Cbeta_7D_20_28X_5ETX_29_5E_7B-1_7DX_5ETy]: /images/20220315/d1e9a5e1e247435694e4f5aba795931c.png
[28X_5ETX_29_5E_7B-1_7D]: /images/20220315/8949a577d70640d29dd859103ca1aa44.png%5E%7B-1%7D
[28X_5ETX_29]: /images/20220315/8949a577d70640d29dd859103ca1aa44.png
[f_28X_i_29_20_20X_i_5ET_28X_5ETX_29_5E_7B-1_7DX_5ETy]: /images/20220315/127d8390f76f4bee990d20d8dd0d2c40.png
[svg.latex_RMSE_20_20_5Csqrt_7B_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5EnEi_5E2_7D_20_20_5Csqrt_7B_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_7B_28Yi_20-_20_5Chat_7BYi_7D_29_7D_5E2_7D]: /images/20220315/0ddfa5bd0fac47d7bcc37c7c8d368692.png
[svg.latex_MSE_20_20_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_7BEi_7D_5E2_20_20_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_28Yi_20-_20_5Chat_7BYi_7D_29_5E2]: /images/20220315/281697d2f2954dbbbfebc80862ed0d20.png
[svg.latex_MAE_20_20_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_5Cmid_7BEi_7D_5Cmid_5Cfrac_7B1_7D_7Bn_7D_5Csum_7Bi_1_7D_5En_5Cmid_7BYi_20-_20_5Chat_7BY_7Di_7D_5Cmid]: /images/20220315/3b0a003b2aee4bce9f901713fcec3ad7.png