一个完整的机器学习项目需要哪些步骤

你的名字 2022-11-22 05:28 218阅读 0赞

本文是对《阿里云天池大赛赛题解析-机器学习篇》中理论的摘取。看完大概能对一个完整的机器许欸项目的流程有个印象，但是其中有很多细节我都略过了，后面有时间再补充。

--------------------

## 02 数据分析 ##

**什么是回归预测模型？**

*  回归预测模型的预测结果是一个连续域上的任意值，回归可以具有实值或离散的输入变量。多个输入变量的回归模型叫多元回归问题，输入变量按时间排序的回归问题成为时间序列预测模型。
 *  回归模型算法包括：线性回归（Linear Regression）、岭回归（Ridge Regression）、LASSO回归（Least Absolute Shrinkage and Selection Operator）回归、决策树回归（Decision Tree Regressor）、梯度提升树回归（Gradient Boosting Decision Tree Regressor）

**什么是分类预测模型？**

*  分类预测模型就是按要求将实例分为两个或多个类中的一个，并具有实值或离散的输入变量。两个类别的叫二元分类问题，多于2的叫做多类别分类问题。

**数据分析**

*  单变量
    
     *  连续型：需要统计数据的中心分布趋势和变量分布。
     *  类别型：类别的频次和频率
 *  双变量
    
     *  连续型与连续型：
        
         *  绘制散点图-能反应变量之间是线性还是非线性的
         *  计算相关性-关系强弱的量化分析，相关性系数公式：，取值范围\[-1,1\]
         *  `import numpy as np`
         *  `np.corrcoef(X,Y)`
     *  类别型与类别型
        
         *  双向表：建立频次、频率的表来表示两个变量之间的关系
         *  堆叠柱状图：直观
         *  卡方检验 ：主要用于两个和两个以上样本率（构成比）以及两个二值型离散变量的关联性分析，即比较理论频次与实际频次的吻合程度或拟合优度
     *  类别型与连续型
        
         *  绘制小提琴图，Seaborn包里的violinplot（）函数

**缺失值处理**

*  缺失值产生的分类：完全随机丢失、随机丢失、不可预测因子导致的丢失、取决于自身的丢失
 *  缺失值的处理方法：
    
     *  删除：成列删除、成对删除
     *  均值、中值、众数填充
     *  预测模型填充

**异常值处理**

*  异常值产生的原因：数据输入的误差、测量误差、实验误差、有意造成的异常值、数据处理误差、采样误差
 *  异常值检测：箱线图，也可以结合散点图看。
 *  异常值处理：删除、转换、填充、区别对待

**变量转换**

*  原因：变量取值分布不均匀，转换后使其分布在合理范围内。
 *  变量转换方法：缩放比例或标准化、非线性关系转换成线性（对数变换）、使倾斜分布对称（取平方根或立方根）、变量分组

**新变量生成**

*  创建派生变量：用一组函数或现有变量创建新变量
 *  创建哑变量：哑变量方法可将类别型变量转换成数值型变量。

**Q-Q图和直方图**

*  Q-Q图是指数据的分位数和正态分布的分位数对比参照的图，如果数据符合正态分布，所有的点都会落在直线上。

**KDE分布图**

*  kernel density Estimation 核密度估计，可以理解为是对直方图的加窗平滑。可以查看并对比训练集和测试集的分布情况，发现两个数据集中分布不一致的特征变量。
 *  因为测试集和训练集的数据分布不一致会导致模型泛化能力变差，所以需要删除此类特征。

**线性回归关系图**

*  线性回归关系图主要用于分析变量之间的线性回归关系。

**查看特征变量的相关性**

1.  计算相关性系数：删除训练集和测试集中分布不一致的特征变量后，计算剩余特征变量的相关性系数。
2.  画出相关性热力图：所有特征变量和target变量之间的相关性系数
3.  根据相关系数筛选特征变量：筛选出与target变量的相关系数大于0.5的特征变量。（相关性选择主要用于判别线性相关，对于target变量如果存在更复杂的函数形式的影响，则建议使用树模型的特征重要性去选择）
4.  Box-Cox变换：先归一化，然后Box-Cox变换。变换之后能让线性回归模型在满足线性、正态性、独立性及方差性的同时，又不丢失信息。（数据量小的时候可以合并数据集然后归一化，如果数据量大，训练集和测试集数据可以分开归一化，数据量大一半分布比较一致。）

## 03 特征工程 ##

**特征处理的一般流程：** 首先，去掉无用特征，接着去除冗余特征，如共线特征，并利用存在的特征、转换特征、内容中的特征以及其他数据源生成新特征，然后对特征进行转换（数值化、类别转换、归一化等），最后对特征进行处理（异常值、最大最小值、缺失值等），以符合模型的使用。

**数据预处理**

1.  数据采集：明确哪些数据对最后的预测结果有帮助
2.  数据清洗：去掉脏数据：简单属性判定（身高3米）；组合或统计属性（号称是在美国，但一直在国内的）；补齐可对应的缺省值
3.  数据采样：数据在采样、清洗过后，正负样本是不均衡的，所以要采样。随机采样、分层抽样。  
    正负样本不平衡：正样本>负样本，且量很大，用下采样（downsampling）；量不大，用上采样（oversampling），比如图像的镜像和旋转，修改损失函数设置样本权重。

**特征处理**

1.  标准化：将特征转换成标准的正态分布，并和整体样本分布有关。标准化需要计算特征的均值和标准差。  
    ![在这里插入图片描述][20201216145143870.png]
2.  区间缩放法：利用最大值最小值缩放  
    ![在这里插入图片描述][20201216145228503.png]
3.  归一化：将样本的特征值转换到同一量纲下，把数据映射到\[0,1\]或者\[a,b\]。归一化会改变数据的原始距离、分布信息，但标准化不会。x/norm  
    ![在这里插入图片描述][20201216145615157.png]  
    【归一化与标准化使用场景】  
    1 对输出结果范围有要求-归一化  
    2 数据较为稳定 不存在极端的最大值最小值-归一化  
    3 数据存在异常值和较多的噪声，用标准化，这样可以通过中心化间接避免异常值和极端值的影响。  
    4 支持向量机svm、k近邻、主成分分析pca等模型都必须进行归一化或标准化操作。
4.  定量特征二值化：核心是设定一个阈值，大于阈值为1，否则为0。
5.  定性特征哑编码：哑变量也叫虚拟变量，比如把“学生”表示为（0，0，1，0）
6.  缺失值处理：均值填充等
7.  数据转换：基于多项式的、指数函数的、对数函数的。

**特征处理的几种方法（sklearn）：**

<table> 
 <thead> 
  <tr> 
   <th>类</th> 
   <th>功能</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>StandardScaler</td> 
   <td>标准化</td> 
   <td>基于特征矩阵的列，将特征值转换为服从标准正态分布</td> 
  </tr> 
  <tr> 
   <td>MinMaxScaler</td> 
   <td>区间缩放</td> 
   <td>基于最大值或最小值，将特征转换到[0,1]区间内</td> 
  </tr> 
  <tr> 
   <td>Normalizer</td> 
   <td>归一化</td> 
   <td>基于特征矩阵的行，将样本向量转化为单位向量</td> 
  </tr> 
  <tr> 
   <td>Binarizer</td> 
   <td>定量特征二值化</td> 
   <td>基于给定阈值，将定量特征按阈值划分</td> 
  </tr> 
  <tr> 
   <td>OneHotEncoder</td> 
   <td>定性特征哑编码</td> 
   <td>将定性特征编码为定量特征</td> 
  </tr> 
  <tr> 
   <td>Imputer</td> 
   <td>缺失值处理</td> 
   <td>计算缺失值，缺失值可以填充为均值等</td> 
  </tr> 
  <tr> 
   <td>PolynomialFeatures</td> 
   <td>多项式数据转换</td> 
   <td>多项式数据转换</td> 
  </tr> 
  <tr> 
   <td>Function Transformer</td> 
   <td>自定义单元数据转换</td> 
   <td>使用单变元函数转换数据</td> 
  </tr> 
 </tbody> 
</table>

**特征降维**

*  将高维向量空间的数据点映射到低维空间特征降维可以减少冗余信息造成的误差,从而提高识别的精度.

**特征选择**

<table> 
 <thead> 
  <tr> 
   <th>特征选择的方法</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>特征是否发散</td> 
   <td>如果一个特征不发散，如方差接近于0，就说明样本在这个特征上基本没有差异，这个特征对样本的区分没有作用</td> 
  </tr> 
  <tr> 
   <td>特征与目标的相关性</td> 
   <td>与目标相关性高的特征应当优先选择</td> 
  </tr> 
 </tbody> 
</table>

*  特征选择的方法：
    
     *  过滤法：按照发散性或者相关性对各个特征进行评分，通过设定阈值或者待选择阈值的个数来选择特征。
     *  包装法：根据目标函数（通常是预测效果评分）每次选择若干特征或者排除若干特征。
     *  嵌入法：使用机器学习的某些算法和模型进行训练，得到各个权值的系数，并根据系数从大到小选择特征。

**线性降维**

*  主成分分析法PCA：通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望所在投影的维度上数据的方差最大，以达到使用较少的数据维度来保留较多的原数据特性的效果。
 *  线性判别分析法：一种有监督的线性降维算法。原始线性数据X，希望找到映射向量a，使得aX后：同类数据点尽可能接近，不同类的尽可能远离。

## 04 模型训练 ##

*  回归模型训练和预测的步骤：
    
     *  导入需要的工具库
     *  对数据预处理，包括导入数据集、处理数据等操作，具体为缺失值处理、连续特征归一化、类别特征转换等。
     *  训练模型。选择合适的机器学习模型，利用训练集对模型进行训练，达到最佳拟合效果。
     *  预测结果。将待预测的数据集输入到训练好的模型中，得到预测结果。

**线性回归模型**

*  一元线性回归
 *  多元线性回归

**k近邻回归模型**

*  k近邻算法不仅可以用于分类，还可以用于回归。通过找出某个样本的k哥最近邻居，将这些邻居的 某些属性的平均值给样本，就可以得到该样本对应属性的值。

**决策树回归模型**

*  决策树回归可以理解为根据一定准则，将一个空间划分为若干个子空间，然后利用子空间内所有点的信息表示这个子空间的值。对于测试数据，我们只要按照特征将其归到某个子空间，便可得到对应子空间的值。

**集成学习回归模型**

*  随机森林回归模型：随机森林就是通过继承学习的思想将多棵树集成一种算法，基本单元是决策树，而它的本质数据机器学习的一个分支——集成学习（Ensemble Learning)
    
     *  随机森林优点：准确率高；有效运行在大数据集上；可处理具有高纬特征的输入样本，且不需要降维；能评估各个特征在分类问题上的重要性；在生成过程中能获得内部生成误差的一种无偏估计；对于缺省值问题也能获得很好的结果。
 *  LightGBM回归模型：是微软开发的一个GBDT算法框架，支持高效率的并行训练，具有更快的训练速度、更低的内存消耗、更好的准确率，分布式支持、可快速处理海量数据等特征。
 *  其他常用的模型：弹性网络、SVR

## 05 模型验证 ##

**模型评估的概念和方法**

*  欠拟合：高偏差，是指算法所训练的模型不能完整地表达数据关系。
    
     *  方法：增加额外特征、增加多项式特征、减小lambda的值等方法来优化模型。
 *  过拟合：高方差，是指算法所训练的模型过多地表达了数据关系，可能表达的是数据间的噪声关系。
    
     *  方法：收集更多的数据、使用更少的特征、增加lambda的值等方法优化模型。
 *  泛化：模型处理新样本的能力。
 *  正则化： 给需要训练的目标函数加上一些规则（限制），目的是为了防止过拟合。

[**线性回归、岭回归、LASSO回归**][LASSO]  
![在这里插入图片描述][20201216140140346.png]![在这里插入图片描述][20201216140739751.png]

*  岭回归加的是L2范数正则化项，LASSO回归加的是L1范数正则化项。
 *  岭回归和LASSO回归的不同之处：
    
     *  岭回归拟合的曲线始终是曲线，而LASSO拟合后能很快变成直线。
 *  线性回归中需要处理的问题：
    
     *  求解损失函数的最小值有两种方法：梯度下降法（\\Theta矩阵满秩）以及正规方程（\\Theta矩阵不满秩）。
     *  特征缩放：即对特征数据进行归一化操作，进行特征缩放的好处有两点，一是能够提升模型的收敛速度，因为如果特征间的数据相差级别较大的话，以两个特征为例，以这两个特征为横纵坐标绘制等高线图，绘制出来是扁平状的椭圆，这时候通过梯度下降法寻找梯度方向最终将走垂直于等高线的之字形路线，迭代速度变慢。但是如果对特征进行归一化操作之后，整个等高线图将呈现圆形，梯度的方向是指向圆心的，迭代速度远远大于前者。二是能够提升模型精度。
     *  学习率α的选取：如果学习率α选取过小，会导致迭代次数变多，收敛速度变慢；学习率α选取过大，有可能会跳过最优解，最终导致根本无法收敛。
     *  解决过拟合的方法：（1）丢弃一些对我们最终预测结果影响不大的特征，可以通过PCA实现。（2）正则化保留所有特征，但是减少特征前面的参数θ的大小，具体就是修改线性回归中的损失函数形式即可，在这里下面所要讲的岭回归和Lasso回归就是对损失函数的变形得出的。

**回归模型的评估指标和调用方法**

1.  平均绝对值误差（MAE）：预测值与真实值之差的绝对值。
2.  均方误差（MSE）：参数估计值与参数真实值之差平方的期望值。越小，模型精度越好。
3.  均方根误差（RMSE）：MSE的平方根
4.  R平方值（R-Squared）：反应模型对观测值的拟合程度如何。

**交叉验证**

1.  简单交叉验证：原始数据随机分成两组，7：3或其他。
2.  K折交叉验证：均分成K组，每个自己分别做一次验证集，剩下的K-1组作为训练集，然后对K个模型的准确率求平均值
3.  留一法交叉验证
4.  留P法交叉验证

**模型调参**

*  调参：对模型的参数进行调整，以找到使模型性能最优的参数。目标是使模型的方差和偏差大和谐。
 *  网格搜索：穷举搜索的调参手段。在所有的候选参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终结果。

**学习曲线**

*  在训练集大小不同时，通过绘制模型训练集和交叉验证集上的准确度来观察模型在新数据上的表现，进而判断模型的方差或偏差是否过高，以及增大训练集是否可以减小过拟合。

**验证曲线**

*  验证曲线的横轴位某个超参数的一系列值，由此比较不同参数设置下（而非不同训练集下）模型的准确率。

## 06 特征优化 ##

*  特征优化的方法有：合成特征、对特征做简单变换、用决策树创造新特征、特征组合等。

**合成特征**

*  将一个特征与其本身或者其他特征相乘（称为特征组合）
 *  两个特征相除
 *  对连续特征进行分桶（分箱），以分为多个区间分箱

**特征的简单变换**

*  数值特征的变换和组合
    
     *  任何针对单独特征列的单调变换（如对数），都不适用于决策树算法
     *  特征的线性组合仅适用于决策树以及基于决策树的集成学习算法（如随机森林），因为树模型不擅长捕获不同特征之间的相关性。
     *  SVM、线性回归、神经网络等模型自身可以线性组合。
     *  常用的数值特征变换和组合：多项式特征、比例特征、绝对值、max、min
 *  类别特征与数值特征的组合

**用决策树创造新特征**

*  在决策树系列（单棵决策树、GBDT、随机森林）的算法中，由于每一个样本都会被映射到决策树的一片叶子上，因此我们可以吧样本经过每一棵决策树映射后的index或one-hot-vector作为一项新的特征加入模型中

**特征组合**

*  对非线性规律进行编码
 *  组合独热矢量
 *  使用分桶特征列训练模型

## 07 模型融合 ##

**模型优化**

*  研究模型学习曲线，判断模型是否过拟合或欠拟合，以做出相应的调整。
 *  对模型权重参数进行分析，对于权重绝对值高或低的特征可以进行特征组合
 *  进行Bad-Case分析，针对错误的例子确定是否还有地方可以修改挖掘
 *  进行模型融合

**模型融合提升技术**

*  个体学习器间不存在强依赖关系可同时生成的并行化方法，代表是Bagging方法和随机森林
    
     *  Bagging方法：从训练集中抽样得到每个基模型所需要的子训练集，然后对所有基模型预测的结果进行综合，产生最终的预测结果。
        
         *  Bagging方法采用的是自助采样法，即对于m个样本的原始训练集，每次先随机采样一个样本放入采样集，接着把该样本放回，这样得到多个不同的弱学习器。
     *  随机森林是对Bagging的改进：
        
         *  基本学习器限定为决策树
         *  除了在Bagging的样本上增加扰动，在属性上也增加扰动，相当于在决策树学习的过程中引入了随机属性的选择
         *  对于基决策树的每个结点，先从该结点的属性集合中随机选择一个包含k个属性的子集，然后从这个子集中选择一个最优属性进行划分。
 *  个体学习器间存在强依赖关系必须串行生成的序列化方法，代表是Boosting方法
    
     *  Boosting方法的训练过程为阶梯状，即基模型按次序一一训练（实现上可以做到并行），基模型的训练集按照某种策略每次进行一定的转换，然后对所有基模型预测的结果进行线性综合，产生最终的预测结果。Boosting中比较著名的算法是：AdaBoost和提升树。
        
         *  AdaBoost算法：是加法模型、损失函数为指数函数、学习算法为前向分布算法时的二分类算法。
         *  提升树算法：是加法模型、学习算法为前向分布算法时的算法，基本学习器限定为决策树。对于二分类问题，损失函数为指数函数，就是把AdaBoost算法中的基本学习器限定为二叉决策树；对于回归问题，损失函数为平方误差。
         *  梯度提升树算法：是对提升树算法的该井。提升树算法只适合于误差函数为指数函数和平方误差，对于一般的损失函数，梯度提升树算法可以将损失函数的负梯度在当前模型的值作为残差的近似值。

**预测结果融合策略**

*  voting
    
     *  硬投票：对多个模型直接进行投票，最终票数多的类为最终被预测的类
     *  软投票：相比硬投票多了权重机制。
 *  Averaging和Ranking
 *  Blending
 *  Stacking

[20201216145143870.png]: /images/20221120/585dfed2ceaa4b6db2c1a18a2007a352.png
[20201216145228503.png]: https://img-blog.csdnimg.cn/20201216145228503.png
[20201216145615157.png]: https://img-blog.csdnimg.cn/20201216145615157.png
[LASSO]: https://blog.csdn.net/jodie123456/article/details/88526528?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522160809775219195265145147%252522%25252C%252522scm%252522%25253A%25252220140713.130102334..%252522%25257D&request_id=160809775219195265145147&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-88526528.nonecase&utm_term=%E4%BB%80%E4%B9%88%E6%98%AF%E5%B2%AD%E5%9B%9E%E5%BD%92
[20201216140140346.png]: https://img-blog.csdnimg.cn/20201216140140346.png
[20201216140739751.png]: https://img-blog.csdnimg.cn/20201216140739751.png