过拟合的含义、出现原因及解决方案

痛定思痛。 2022-12-29 09:59 157阅读 0赞

# 含义 #

在训练数据上模型表现良好，但是在测试集上不能很好拟合数据。

# 出现原因 #

## 对于数据挖掘模型： ##

1、**建模时的样本抽取错误**：训练数据少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景；  
2、**建模时的“逻辑假设”到了模型应用时已经不能成立了**：任何预测模型都是在假设的基础上才可以搭建和应用的，常用的假设包括：假设业务环节没有发生显著变化，假设建模数据与后来的应用数据的分布是相似的，等等。如果上述假设违反了业务场景的话，根据这些假设搭建的模型当然是无法有效应用的。  
3、**样本里的噪音数据干扰过大**，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；  
4、**决策树模型没有合理的限制和修剪**：如果我们对于决策树的生长没有合理的限制和修剪的话，决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据（no event），可以想象，这种决策树当然可以完美匹配（拟合）训练数据，但是一旦应用到新的业务真实数据时，效果是一塌糊涂。  
5、参数太多、**模型复杂度高**

## 对于深度学习模型： ##

1、**训练数据少**  
2、**模型训练过度**，拟合了训练数据中的噪声和训练样例中没有代表性的特征.  
3、训练数据和测试数据**分布不一致**

# 解决方案 #

## 对于数据挖掘模型： ##

1、增加样本的全面性和数量  
2、特征工程，根据业务多多提取特征，当然也不是特征越多越好，要提的准  
3、正则化  
4、交叉验证 [【机器学习】Cross-Validation（交叉验证）详解][Cross-Validation]  
5、对模型进行剪枝  
6、控制模型的复杂度；  
7、模型融合本质上也是一种提高泛化能力的方法

## 对于深度学习模型： ##

1、加数据  
2、改数据：有些训练数据是造的假数据，将训练数据换成真实数据  
3、加正则化  
4、用bn层  
5、加dropout  
6、不要过度训练

参考:  
[过拟合（原因、解决方案、原理）][Link 1]

[Cross-Validation]: https://zhuanlan.zhihu.com/p/24825503?refer=rdatamining
[Link 1]: https://blog.csdn.net/a819825294/article/details/51239686