finetune/迁移学习问题

古城微笑少年丶 2022-05-13 05:20 228阅读 0赞

主网络：VGG19  
参数： imagenet  
finetune最后一层，动作分类，10类,10类的cross entrophy初始化精度-ln0.1 =2.3

<table> 
 <thead> 
  <tr> 
   <th>最大精度</th> 
   <th align="center">loss</th> 
   <th align="right">最小loss</th> 
   <th>精度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0.59</td> 
   <td align="center">2.1</td> 
   <td align="right">1.47</td> 
   <td>0.55</td> 
  </tr> 
 </tbody> 
</table>

###### 1. 最开始，精度上升，loss下降，到某一个点之后，精度上升，loss上升 ######

问题分析：过拟合  
解决方法  
加dropout、从loss上升那一步重新开始，学习率减半

<table> 
 <thead> 
  <tr> 
   <th>-</th> 
   <th>最大精度</th> 
   <th align="center">loss</th> 
   <th align="right">最小loss</th> 
   <th>精度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>处理前</td> 
   <td>0.602</td> 
   <td align="center">2.741</td> 
   <td align="right">1.412</td> 
   <td>0.509</td> 
  </tr> 
  <tr> 
   <td>处理后</td> 
   <td>0.62</td> 
   <td align="center">1.213</td> 
   <td align="right">1.197</td> 
   <td>0.610</td> 
  </tr> 
 </tbody> 
</table>

解决方法2 加正则化项  
l1 正则化，模型更加稀疏，可用于特征选择

解决方法3  
减小模型复杂度,  
用xception代替VGG，输入变成299 xception只有两千万参数，结果还是到60%就过拟合了  
用ZF net从头开始训练，结果40%就过拟合了

###### 2. 精度不高 ######

问题分析：  
**新的数据库较小，并且和pre-trained model所使用的训练数据库差异很大**  
前面的层所提取的特征比较local，后面的卷积层的特征比较固定。  
由于数据库较小，不适合进行finetune，由于数据库差异大，应该在单独训练网络结构中较高的层，前面几层local的就不用训练了，直接固定权值。在实际中，这种问题下较好的解决方案一般是从网络的某层开始取出特征，然后训练SVM分类器。  
解决方法  
1.固定前3个block的值,11层  
收敛非常快，最高精度0.58，loss2.12 跟以上的情况基本一样  
2.数据增强  
镜像，截取

#### 其他 ####

learning rate  
一般在finetune时学习率一般设置在1e-5，从头开始训练的话可以设置的大一点：1e-3.  
batchsize  
cifar10的loss 曲线有一些上下跳动，不稳定，这和随机梯度下降时候设定的batch size有关系。batch size非常小的情况下，会出现很大程度的不稳定，如果batch size设定大一些，会相对稳定一点

参考博客  
[CS231N 解析博客][CS231N]  
[解析博客2][2]

[CS231N]: https://blog.csdn.net/u014381600/article/details/71511794
[2]: https://www.zybuluo.com/hanxiaoyang/note/442863