sklearn模型过拟合、欠拟合分析,learning_curve绘制学习曲线

你的名字 2023-07-15 15:18 89阅读 0赞

以iris数据集合SVM分类器为例,使用sklearn的learning_curve函数绘制分类器的学习曲线,并根据学习曲线判断模型的状态,是欠拟合还是过拟合。


1、加载iris数据集

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70

2、划分训练集和测试集

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1


3、设置超参数C=0.05, gamme=0.1训练SVM模型

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2

交叉验证结果准确率0.86,结果好像还不错!!!

4、使用learning_curve绘制分类器学习曲线

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 3

上图中训练准确率和验证准确率同步变化,且准确率没有太大差距,但是在训练集上的准确率只有75%左右,表明模型现在可能处于欠拟合的状态。


5、增加超参数C=10, gamma=1,降低对模型的约束,训练SVM分类器

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 4

修改超参数后,交叉验证结果95%,说明模型的学习能力变强了,但是现在有可能已经发生了过拟合!!!

6、使用learning_curve绘制分类器学习曲线

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 5

学习曲线显示,随着训练集的增大,训练集上的准确率一直是100%,验证集的准确率最终稳定在93%左右,模型在训练集合验证集上的结果相差较大,可能已经发生了过拟合。


7、设置超参数C=5, gamma=0.1,增强对模型的约束,训练SVM分类器

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 6

现在交叉验证的结果显示,在验证集上的分类准确率为98%,和第5步一样,现在也可能发生了过拟合的情况,绘制学习曲线看一下!!!

8、使用learning_curve绘制分类器学习曲线

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 7

学习曲线看上去还不错,分类器在训练集和验证集上的准确率最终都稳定到了相当的数值,且和前一步交叉验证得到的准确率也相当,使用现在这个模型在测试集上试试看!!!


9、模型在测试集上的表现

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 8

模型在测试集上的预测准确率在96%,与之前交叉验证的结果以及学习曲线的最终收敛结果相当,说明模型在未知数据上的泛化效果还不错!!!

发表评论

表情:
评论列表 (有 0 条评论,89人围观)

还没有评论,来说两句吧...

相关阅读

    相关 模型

    近期项目中使用了分类器和回归器。 用以回归目标边界点并判断目标值。 epoch结束了,精度还有上升趋势,loss还有下降趋势。 首先,先自己手写了一个回归网络和分类网络。

    相关

    开始我是很难弄懂什么是过拟合,什么是欠拟合以及造成两者的各自原因以及相应的解决办法,学习了一段时间机器学习和深度学习后,分享下自己的观点,方便初学者能很好很形象地理解上面的问题