迁移学习&domain adaption

分手后的思念是犯贱 2022-09-24 10:17 131阅读 0赞

一 概念：  
  
  
（1）learning from scratch  即学一个CNN网络with random initialization  
  
  
  (2)  在新的学习任务中，可以利用现有训练好的imagenet网络提取特征，去掉最后一个分类的全连接层，在classifier层之前提取4096维的特征，这些特征称为CNN code  
  
  
（3）在CNN网络结构中，前面的卷积层保留更多的普遍特征 generic features（edge detectors 或者corlor blob detectors)，后面的卷积层包含更多的 task specific 特征  
  
  
二 迁移学习的两种方法：  
  
  
 （1）利用已有的model提取特征，后面再训练分类器，比如linear svm或者softmax classifier。  
  
  
 （2）finetune 已有的model： 即在已训练好参数的CNN结构上，利用自己的数据进行back propagation, finetune网络已有的weights.  
  
  
      (可以finetune 整个CNN ,也可以保持前面的一些层的参数不变，只finetune网络的高层部分，这样做可以防止过拟合）  
  
  
三  迁移学习方法的选择：  
  
  
    主要取决于数据集的大小，以及与之前预训练数据集的相关性  
  
  
（1）数据集很小，与预训练数据集相似: 直接提特征，提最后一层的CNN code, 训练linear 分类器  
  
  
 (2) 数据集很小，与预训练数据集不同： 在前面的网络层中提feature,训练线性分类器  
  
  
（3）数据集很大，与预训练数据相似：finetune 整个网络层  
  
  
（4）数据集很大，与预训练数据不同：可以learning from scratch，也可以在预训练的model上finetune  
  
  
四 一些实用的建议：  
  
  
（1）finetune的时候输入图片的大小不受限制，因为forward function的与输入的spatial 大小无关，只要stride能fit  
  
  
（2）把需要finetune的网络层的学习率设低一点： 因为我们默认预训练的model的参数已经很好了，因此在finetune优化的时候采取小的学习率

[迁移学习][Link 1]

[CNN for Visual Rcognition --- Stanford 2015 （二）][CNN for Visual Rcognition --- Stanford 2015]

[迁移学习的相关概念][Link 2]

[迁移学习论文杂读（门外汉级）][Link 3]

Sinno Jialin Pan, Qiang Yang, A Survey on Transfer Learning, IEEE Transactions on Knowledge and Data Engineering (IEEE TKDE)  
  
  
  
  
此外在下面的这个链接中还有一些开源的软件和数据库：  
  
  
http://www.cse.ust.hk/TL/index.html

[迁移学习（ Transfer Learning ）][Transfer Learning]

https://kwotsin.github.io/tech/2017/02/11/transfer-learning.html

[Link 1]: http://www.cnblogs.com/wentingtu/archive/2012/06/12/2546376.html
[CNN for Visual Rcognition --- Stanford 2015]: http://blog.csdn.net/meanme/article/details/47418107
[Link 2]: http://blog.csdn.net/jwh_bupt/article/details/9276165
[Link 3]: https://blog.csdn.net/PeaceInMind/article/details/79794125
[Transfer Learning]: http://blog.csdn.net/losteng/article/details/51672076