如何处理过拟合？

缺乏、安全感 2022-03-10 11:45 215阅读 0赞

# 过拟合概念 #

过拟合是指学习的模型包含的参数太对，以至于出现对已知数据预测的很好，但对未知数据预测的很差的现象；模型过拟合等价于模型泛化能力差。

# 如何处理过拟合？ #

## 1. L1/L2正则化 ##

### 1.1 L1/L2概念 ###

L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。

*  **L1正则化：** 是指权值向量w中各个元素的绝对值之和，通常表示为 ∣ ∣ w ∣ ∣ 1 ||w||\_1 ∣∣w∣∣1；L1正则化经常被称作**Lasso回归**。
 *  **L2正则化：** 是指权值向量w中各个元素的平方和然后再求平方根，通常表示为 ∣ ∣ w ∣ ∣ 2 ||w||\_2 ∣∣w∣∣2；L2正则化经常被称作**权重衰减**（weight decay）和**岭回归**。

并且，我们一般都会在L1/L2正则化项之前添加一个系数。

### 1.2 L1/L2作用 ###

*  L1正则化的解**具有稀疏性**，可用于**特征选择**。
 *  L2正则化的**解都比较小**，**抗扰动能力强**。

##### 实现参数的稀疏有什么好处？ #####

因为参数的稀疏，在一定程度上实现了特征的选择。一般而言，大部分特征对模型是没有贡献的。这些没有用的特征虽然可以减少训练集上的误差，但是对测试集的样本，反而会产生干扰。稀疏参数的引入，可以将那些无用的特征的权重置为0。

##### 抗扰动能力强是什么意思？ #####

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

### 1.3 L1/L2为什么可以避免过拟合？ ###

### （为什么加入L1正则化可以实现参数的稀疏？为什么L2的抗扰动能力强？） ###

*这里结合《百变机器学习》P164*  
加入正则化项就是在原来目标函数的基础上加入了约束。当目标函数的等高线和L1,L2正则化损失函数第一次相交时，得到最优解。

#### 1.3.1 L1正则化 ####

L1正则化项约束后的解空间是多边形，这些多边形的角和目标函数的接触机会远大于其他部分。就会造成最优值出现在坐标轴上，因此就会导致某一维的权重为0 ，产生稀疏权重矩阵，进而防止过拟合。

#### 1.3.2 L2正则化 ####

L2正则化项约束后的解空间是圆形，图像上的棱角圆滑了很多。一般最优值不会在坐标轴上出现。在最小化正则项时，参数不断趋向于0，最后得到的就是很小的参数。

## 2. 数据增强 ##

数据增强就是获取和使用更多的数据集。对于解决过拟合的办法就是给与足够多的数据集，让模型在更可能多的数据上进行“观察”和拟合，从而不断修正自己。然而事实上，收集无限多的数据集几乎是不可能的，因此一个常用的办法就是调整已有的数据，添加大量的“噪音”，或者对图像进行锐化、旋转、明暗度调整等优化。

## 3. dropout ##

### 3.1 dropout原理 ###

L1、L2正则化是通过修改loss function来实现的，而dropout则是通过修改神经网络本身来实现的，它是在训练网络时用的一种技巧（trike）。它的流程例如以下：  
![在这里插入图片描述][70]

假设我们要训练一个如上图BP神经网络，在训练开始时，我们随机地“删除”一部分的隐层单元，视它们为不存在，得到例如以下的网络：  
![在这里插入图片描述][70 1]  
保持输入输出层不变，依照BP算法更新上图神经网络中的权值（虚线连接的单元不更新，由于它们被“暂时删除”了）。  
以上就是一次迭代的过程，在第二次迭代中，也用相同的方法，仅仅只是这次删除的那一部分隐层单元，跟上一次删除掉的肯定是不一样的。由于我们每一次迭代都是“随机”地去删掉一部分。  
第三次、第四次……都是这样，直至训练结束。  
以上就是Dropout，它为什么有助于防止过拟合呢？能够简单地这样解释，**运用了dropout的训练过程，相当于训练了非常多个仅仅有部分隐层单元的神经网络，每个这种半数网络，都能够给出一个分类结果，这些结果有的是正确的，有的是错误的。随着训练的进行，大部分半数网络都能够给出正确的分类结果。那么少数的错误分类结果就不会对最终结果造成大的影响。并且dropout通过减少神经元之间复杂的共适应关系，从而提高了模型的泛化能力**。

## 4. early stopping ##

在每一个Epoch结束时（一个Epoch集为对所有的训练数据的一轮遍历）计算validation data的accuracy，当accuracy不再提高时，就停止训练。那么该做法的一个重点便是怎样才认为validation accurary不再提高了呢？并不是说validation accuracy一降下来便认为不再提高了，因为可能经过这个Epoch后，accuracy降低了，但是随后的Epoch又让accuracy又上去了，所以不能根据一两次的连续降低就判断不再提高。一般的做法是，**在训练的过程中，记录到目前为止最好的validation accuracy，当连续10次Epoch（或者更多次）没达到最佳accuracy时，则可以认为accuracy不再提高了**。此时便可以停止迭代了（Early Stopping）。

[70]: /images/20220310/fee4820b28494130b5de631b9b9f888b.png
[70 1]: /images/20220310/8ee122e95fbc47499eb95f4cb32eb62b.png