【台大李宏毅ML课程】Lecture 19 Transfer Learning迁移学习笔记

朴灿烈づ我的快乐病毒、 2022-05-29 09:12 177阅读 0赞

本节课主要讲了迁移学习的一些基本概念和算法的主要思想~~  
图片来源与李宏毅老师ppt  
如有错误，请务必指正！！

## **1.Transfer Learning基本概念** ##

target data：相关的数据，很少  
source data：不直接相关的，很多

有很多与target data不直接相关的source data  
比如说target data是一些小猫小狗，任务是给小猫小狗分类，  
但source data是一些大象和老虎，这属于similar domain，different task；  
source data是一些卡通的猫和狗，这属于different domain，similar task。

## **2.算法概览** ##

按照target data和source data有无label，可分为如下几种算法：  
（自己用Xmind画的~~）  
![这里写图片描述][Image 1]

## **3.target和source都有label** ##

**3.1 Model Fine-tuning**  
Idea: training a model by source data, then fine-tune the model by target data  
但这样容易过拟合。因此采取**Conservative Training**的方式，即每次参数更新之后都与上一次参数接近（小心翼翼调参）  
![这里写图片描述][Image 1]

或者采用**Layer Transfer**的方式，即target data只train部分layers，除非足够多~  
![这里写图片描述][Image 1]

Which layer can be transferred (copied)?  
Speech: usually copy the last few layers  
Image: usually copy the first few layers，可能图像在NN前几层提取的特征都长得差不多，在后几层才出现差别，所以复制前几层。

**3.2 Multitask Learning**  
共用一些layer  
![这里写图片描述][Image 1]  
应用：多语言识别

## **4.target没有label，source有label** ##

**4.1 Domain-Adversial training**  
将target看成test data，source看成train data~  
有点类似于GAN网络，通过训练feature extractor网络从而“骗过”Domain classifier，从而用来消除target与source之间的差别，同时又能让label predictor分辨出label~~（好厉害~~） 可用反向传播来求解~  
![这里写图片描述][Image 1]

**4.2 Zerp-shot Learning**  
将target看成test data，source看成train data~  
先把每个有label的样本（train data）的多维属性列出来（attribute embedding），然后在这个空间里找与test data最像的类别（test data）  
![这里写图片描述][Image 1]

## **5.target有label，source没有label** ##

Self-training：没细讲

## **6.target和source都没有label** ##

Self- Clustering：也没细讲，可能是参考一些无监督学习的方式~

[Image 1]: