『NLP学习笔记』Few-shot Learning技术介绍！

不念不忘少年蓝@ 2022-08-28 04:42 282阅读 0赞

<table> 
 <tbody> 
  <tr> 
   <td><font>Few-shot Learning技术介绍！ </font></td> 
  </tr> 
 </tbody> 
</table>

### 文章目录 ###

*  一. Few-shot Learning介绍
 *   *  1.1. 例子引出
     *  1.2. 和传统监督学习的区别
 *  二. Few-Shot Learning和Meta Learning
 *   *  2.1. 之间关系
     *  2.2. 常用术语
     *  2.3. Learn a Similarity Function
 *  三. 常用数据集
 *   *  3.1. Omniglot
     *  3.2. Mini-ImageNet
 *  四. 参考文章

# 一. Few-shot Learning介绍 #

## 1.1. 例子引出 ##

>  *  给定下面左边的图片，**左边2个Armadillo(犰狳 qiú yú)，右边2个Pangolin(穿山甲)**，你不知道这两种动物没关系，只要你能区分它们两个就行了，你可以暂停一下，仔细看清楚它们的区别，现在给定右边一张query图片，你能判断它是Armadillo还是Pangolin吗？
>  *  为什么举这个例子呢？大多数人分不清犰狳和穿山甲，但是只要看一下这4个图片，正常人都能看出query图片是属于哪个类别。**既然人能做到正确的分类，那计算机能不能做到正确的分类呢？** 如果每一类都只有1到2个样本，计算机能不能做到像人一样进行分类呢？这个例子有2类，每个类别有2个样本，一共是4个训练样本，靠这4个样本不可能训练一个深度神经网络。对于这种小样本问题不能拿传统的方法做分类。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16][]

>  *  **注意：注意图中的两个术语，Support Set和Query** 。**Support Set**指的是一个很小的数据集，比如有两类，每类有2个样本，这么少的样本不足以训练一个大的神经网络，这个集合只能提供一些参考信息，下面要讲解的**few-shot learning就是要解决这种小样本问题**。

## 1.2. 和传统监督学习的区别 ##

>  *  Few-shot learning和传统的监督学习有所不同，**Few-shot Learning的目标不是让机器识别训练集里面的图片，并且泛化到测试集。Few-shot Learning的目标是让机器自己学会学习**。**可以这么理解：** 我拿一个很大的数据来训练神经网络，学习的目的不是让模型知道什么是大象，什么是老虎等等，学习的目的是模型理解事物的异同，区别不同的事物，给两张图片不是让模型识别图片是什么，而是让模型知道两个图片是相同的东西，还是不同的东西。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

>  *  **训练完模型之后，你可以问模型这样的问题？** 这两张图片是不是同一种东西呢？这时候模型已经学会了区分事物的异同，所以模型知道这2张图片是相同的东西。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

>  *  再来看一下刚才的训练数据，这个数据里有**哈士奇、大象、老虎、鹦鹉、汽车**这5类，其中并没有上一张图片中松鼠这个类别，所以模型不会识别松鼠。模型看到这2张图片，并不知道它们是松鼠，但是模型会判断事物之间的异同，模型知道这2个动物长的很像，所以模型告诉你两张图片很大可能是相同的东西。

>  *  同样的道理，模型并不是下面的兔子，因为训练集里没有兔子，但是模型知道怎么判断事物的异同，模型可以看出来这2张图像内容很像，应该是相同的东西。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 3][]

>  *  再给模型看下面的东西，虽然模型没有见过**穿山甲和斗牛犬**，但是模型觉得这2个动物长的不像，应该不是同一种动物。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 4][]

>  *  **现在换一种问法，我有1张query图片，我问神经网络这是什么东西？** 神经网络肯定一脸懵逼，训练的时候没有见过这个玩意呀？那再多给神经网络一些信息，我给神经网络6张图片(每类1张)，告诉神经网络这6张图片分别是**狐狸、松鼠、兔子、仓鼠、水獭、海狸**。现在神经网络不再懵逼了，神经网络拿query依次和这6张图片对比，找出最相似的，神经网络发现query和水獭最相似，随意判断query应该是水獭。这里的Support Set是meta learning的术语。把 **这些带标签的图片称为support set**。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 5][]

>  *  **注意Support Set和训练集的区别：** 训练集规模很大，每个类别下面都有很多图片，由于训练集足够大，所以可以训练一个深度神经网络。相比之下，Support Set很小，每一类下面之后1张或者几张图片，根本不足以训练一个很大的神经网络，**Support Set只能在做预测的时候提供一些额外的信息**。用足够的训练集来学习一个大模型，比如深度神经网络，训练的目的不是模型识别训练集中大象、老虎。而是让模型知道事物的异同。现在靠Support Set提供的一点点信息，模型就能判断出Query图片是水獭，尽管训练集里面没有水獭这个类别。

# 二. Few-Shot Learning和Meta Learning #

## 2.1. 之间关系 ##

>  *  刚才说的Few-Shot Learning就是Meta Learning的一种，Meta Learning和传统的监督学习不一样，**传统的监督学习要求模型识别训练数据，并且泛化到测试数据。Meta Learning的目标是让模型Learn to learn(自己学会学习)。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 6][]

>  *  **举例说明：** 你带小朋友去动物园，小朋友看到一只小动物，非常喜欢，他从来没有见过这样的动物，所以他想知道这种动物是什么，虽然小朋友没有见过这个动物，但是它学过怎么区分动物，它有自主学习的能力。现在给小朋友一些卡片，卡片上有动物的名字，但是小朋友很聪明，他把卡片看一遍，就知道自己看到的动物是水獭了。去动物园之前小朋友就已经有了自主学习的能力，它知道怎么判断动物之间的异同，**培养小朋友学会自主学习就是meta learning**。
>  *  小朋友想知道这个没见过的动物是什么？meta learning把这个专业术语叫query，你给小朋友一堆卡片，让小朋友自己学习，这堆卡片就叫Support Set。
>  *  **完成Meta learning之后可以做预测**，在动物园里，小朋友的学习资料只有这堆卡片，靠每个类别一张卡片识别这张query水獭，叫 **one-shot learning**。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 7][]

>  *  **来看看传统的监督学习和Few-shot Learning的区别：**

>  *  **传统的监督学习：** 拿训练集学习一个模型，模型学习好之后，可以拿模型用来做预测，给模型看这张测试图片，让模型做预测。**这张测试图片没有出现在训练集里面，但是测试图片的类别包含在训练集里面**。这个测试图片十个哈士奇，训练集里第一列就是哈士奇(训练集包含上百张哈士奇，虽然模型没有见过测试这张图片，但是模型已经见过上百张哈士奇的图片，模型很容易判断出来这就是哈士奇)。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 8][]

>  *  **Few-shot Learning：** Few-shot Learning是个不同的问题，**模型不但没有见过这张Query图片，而且还没见过兔子这个类别**。这就是Few-shot Learning和传统监督学习的主要区别。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 9][]

>  *  Few-shot Learning比传统的监督学习更难，**原因就在于训练集中没有兔子这个类别，训练集中没有兔子图片，所以模型不认识兔子图片，我们需要给模型提供更多的信息，给模型看这些小卡片，每张小卡片有一个图片和一个名字，这些小卡片就叫Support Set**。通过对比Query和这些小卡片的相似度，模型发小Query和这张图片的相似度最高，于是模型就知道Query图片是一个兔子。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 10][]

## 2.2. 常用术语 ##

>  *  **K-way的意思：Support Set集合里有K个类别。** 图中例子有**狐狸、松鼠、兔子、仓鼠、水獭、海狸**6个类别，所以K=6。
>  *  **n-shot的意思：Support Set集合里每个类别有n个样本。** 图中例子每个例子只有1个样本，所以n=1。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 11][]![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 12][]

>  *  **假如做Few-shot分类，预测准确率随着K-way的增大而降低。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 13][]

>  *  **三选一比六选一更简单。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 14][]

>  *  **预测准确率随着n-shots的增大而增加。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 15][]

>  *  **2-shot比1-shot更容易，参考信息更多。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 16][]

## 2.3. Learn a Similarity Function ##

>  *  **Few-shot**最基本的一个想法就是学习一个函数判断相似度。相似度函数记为sim，比较两张图片  x \\mathbf x x 与  x ′ \\mathbf\{x\}^\{\\prime\} x′ 的相似度。两个图片越相似，分值就越高，如下例子：斗牛犬、斗牛犬、狐狸。它们之间最理想的情况下的分数是下图中：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 17][]

>  *  **具体实现：先从一个很大的训练集里学习一个相似度函数，它可以判断两张图片的相似度有多高。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 18][]

>  *  **然后用学到的相似度函数做预测，给一个Query图片，拿它与Support Set集里的图片逐一对比，计算相似度，然后找出相似度最高的作为预测结果。**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 19][]

>  *  **例子**：拿Query分别与Support计算相似度，找出相似度最大的，发先Query与水獭的相似度最高，所以可以判定为水獭。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 20][]

# 三. 常用数据集 #

## 3.1. Omniglot ##

>  *  有点类似MNIST，也是个手写字体数据集(但类别很多，每个类的样本很好，1600多类，每个类只有20个样本，数据集不大，只有几兆)，数据集有50种字母表，比如希腊字母，拉丁字母等。每个字母表有很多字符，比如下图中的希腊语： α , β \\bf \\alpha, \\beta α,β 等等，每个字母都相当于一个类别，每个字母20个不同的人手写，所以每个类别有20个样本。
>  *  Official website: [https://github.com/brendenlake/omniglot/][https_github.com_brendenlake_omniglot]
>  *  TensorFlow: [https://www.tensorflow.org/datasets/catalog/omniglot][https_www.tensorflow.org_datasets_catalog_omniglot]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 21][]![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 22][]

>  *  **Omniglot数据集总结：**

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 23][]

## 3.2. Mini-ImageNet ##

>  *  **Mini-ImageNet** 有100类，比如蘑菇、橙子、玉米等100个类别，每个类别有600个样本，所以数据集一共有6万张样本，样本都是  84 × 84 84 \\times 84 84×84 的小图片。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 24][]

# 四. 参考文章 #

>  *  [https://github.com/wangshusen/DeepLearning][https_github.com_wangshusen_DeepLearning]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/c987ce556c5f46d8a1fce5a95e475705.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/c179576e7a6e442a8384e46e09107c09.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/38477d15fb0c438d9ba1eea49215317a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/f56d00985a2a4f8292c2d96dbcbeb5c3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 4]: /images/20220828/efdb5351573a4887af1652e06d610f14.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 5]: /images/20220828/d75e2af861dd4bef97308d32cb1b2b99.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 6]: /images/20220828/69b1974170034eddb7739f1de8ad144d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 7]: /images/20220828/e5eed9ff0a874785807cdeeb9803ff68.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 8]: /images/20220828/ac1e42806ef94aa4a07f79fcbadf16ae.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 9]: /images/20220828/cce5843e00ed4e8ca6fde4c0643a6668.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 10]: /images/20220828/5b08f77435b24545bf934305dd5134f5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/5b1695d8673740f6a274a0e6f88210d4.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5biD6KGj5bCP5byg,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 12]: /images/20220828/787834830b3c4a92a0ecd7091da78ead.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 13]: /images/20220828/bd66fe9c0ce241229c3d37d0042b0a8e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 14]: /images/20220828/88b46bac89464832a334e656b95ef671.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 15]: /images/20220828/5f192f02c131452ba654e921e0c465f3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 16]: /images/20220828/9132e4d35c4b4e4d8dfccabbf2f4585f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 17]: /images/20220828/c504914505b646bebcc4942d0386c1c8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 18]: /images/20220828/cecc9b7ce3584e8a9bf3badf13e726d5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 19]: /images/20220828/4a14df55ed3b4406903871d7d533a6e8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 20]: /images/20220828/7ddd3d5724724c79823fd8a301312611.png
[https_github.com_brendenlake_omniglot]: https://github.com/brendenlake/omniglot/
[https_www.tensorflow.org_datasets_catalog_omniglot]: https://www.tensorflow.org/datasets/catalog/omniglot
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 21]: https://img-blog.csdnimg.cn/e8e45e049c2d4ef3b2be944dc7729054.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5biD6KGj5bCP5byg,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 22]: /images/20220828/7021a3c7be6b48d4bca36f39c30b157f.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 23]: /images/20220828/e39654957d4f41638e391a002a302887.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5biD6KGj5bCP5byg_size_20_color_FFFFFF_t_70_g_se_x_16 24]: /images/20220828/e6107c0626a841a88792d2fd761bbb19.png
[https_github.com_wangshusen_DeepLearning]: https://github.com/wangshusen/DeepLearning