训练过程曲线分析：acc/loss/val_acc/val_loss

布满荆棘的人生 2022-11-28 15:13 181阅读 0赞

文章目录  
前言

1.  验证集曲线震荡  
    分析原因：训练的batch\_size太小  
    总结  
    前言  
    本文：训练过程的可视化包括训练集和验证集的acc和loss曲线，根据曲线的不同特点进行超参数调节，可以不断优化网络，总结以下一些曲线特点。  
    开发环境：TensorFlow + Keras + Python  
    问题类型：二分类问题  
    数据集：训练集7170个样本 正负各一半 分类为1/0，验证集划分0.15  
    独立测试集共600个样本 正负各一半
2.  验证集曲线震荡  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70_pic_center]

分析原因：训练的batch\_size太小  
目前batch\_size = 64，改成128：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70_pic_center 1]

改成200：  
![在这里插入图片描述在这里插入图片描述在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70_pic_center 2]

可见，增大batch\_size 变大，震荡逐渐消失，同时在测试集的acc也提高了。batch\_size为200时，训练集acc小于测试集，模型欠拟合，需要继续增大epoch。

总结  
增大batchsize的好处有三点：  
1）内存的利用率提高了，大矩阵乘法的并行化效率提高。  
2）跑完一次epoch(全数据集)所需迭代次数减少，对于相同的数据量的处理速度进一步加快，但是达到相同精度所需要的epoch数量也越来越多。由于这两种因素的矛盾， batch\_Size 增大到某个时候，达到时间上的最优。  
3）一定范围内，batchsize越大，其确定的下降方向就越准，引起训练震荡越小。  
盲目增大的坏处：  
1）当数据集太大时，内存撑不住。  
2）过大的batchsize的结果是网络很容易收敛到一些不好的局部最优点。  
3）batchsize增大到一定的程度，其确定的下降方向已经基本不再变化。  
4）太小的batch也存在一些问题，比如训练速度很慢，训练不容易收敛等。  
5）具体的batch size的选取和训练集的样本数目相关。  
参考：[loss曲线震荡分析][loss]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/fcef506bb854490283c34a4ebc305162.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/fb55c98fef4a473f962978f9f9c76251.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0hlbGxvV29ybGRZYW5nU29uZw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/ca8fd25beb03423b836e43a8f8e1d515.png
[loss]: https://blog.csdn.net/yuanlunxi/article/details/79378301