深度学习：蒸馏Distill

我会带着你远行 2022-10-15 13:53 222阅读 0赞

# Distilling the knowledge in a neural network #

Hinton 在论文中提出方法很简单，就是让学生模型的预测分布，来拟合老师模型（可以是集成模型）的预测分布，其中可通过用 logits 除以 temperature 来调节分布平滑程度，还避免一些极端情况影响。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70][]

### 蒸馏时的softmax ###

对于一个分类问题，定义soft label为模型的输出(即不同label的概率)， hard label为最终正确的label(也就是ground truth)，通常是通过最大化正确label的概率来进行学习的，但是不正确趋近于0的label也是有大有小的，这被称为"暗知识(Dark Knowledge)", 这也反应了模型的泛化能力。但因为过于趋紧0不利于student模型学习，为了让student也容易学习tearcher的输出，引入了带温度T的softmax概率为

![20210525153652590.png][]

比之前的softmax多了一个参数T（temperature），T越大产生的概率分布越平滑。  
\[[Distilling the knowledge in a neural network][]\]

蒸馏自由度还是很大的，并不需要一定按照 Hinton 最初论文里一样只对最后输出进行拟合，只要能让学生模型从老师模型中学习到东西就行。

# DistilBert #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 1][]

DistillBert的做法相比bert-pkd就比较简单直接，还是保证模型的宽度不变，模型深度减为一半。主要在初始化和损失函数上下了功夫：

*  损失函数：采用知识蒸馏损失、Masked Language Model损失和cosine embedding损失加起来的值。
 *  初始化：用Teacher模型的参数进行初始化，不过是从每两层中找一层出来。

**Student architecture**

和BERT类似，只是layer的数量减半  
**Student initialization**

因为Student模型和Teacher模型每层的layer一样，因此每两层保留一层，利用相关的参数  
**Distillation**

采用了RoBERTa的优化策略，动态mask，增大batch size，取消NSP任务的损失函数，  
**Training Loss**

The final training objective is a linear combination of the distillation loss L\_\{ce\}  with the supervised training loss, in our case the masked language modeling loss L\_\{mlm\}  We found it beneficial to add a cosine embedding loss ( L\_\{cos\} ) which will tend to align the directions of the student and teacher hidden states vectors.

最终的loss由三部分构成

1 蒸馏损失，即 L\_ce = ∑ t i ∗ log ( s\_i ), 其中 s\_i 是student输出的概率， t\_i 是teacher输出的概率，当BERT预测的 t\_i越高，而DistilBERT预测s\_i越低，得到的Loss就会越高  
    2 Mask language model loss，参考BERT，这部分也就是为hard loss  
    3 Cosine Embedding Loss，利于让student学习和teacher一样的hidden state vector

\[[DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter][DistilBERT_ a distilled version of BERT_ smaller_faster_ cheaper and lighter]\]

\[[DistilBert解读][DistilBert]\]

\[[模型训练损失值不变\_Bert与模型蒸馏: PKD和DistillBert][Bert_ PKD_DistillBert]\]

# **BERT-PKD (Patient Knowledge Distillation)** #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 2][]

在hinton提到两个损失之上，再加上一个loss：L\_PT。

![20210525155440965.png][]

![20210526105050874.png][]

PKD论文中做了对比，减少模型宽度和减少模型深度，得到的结论是减少宽度带来的efficiency提高不如减少深度来的更大。

论文所提出的多层蒸馏，即Student模型除了学习Teacher模型的概率输出之外，还要学习一些中间层的输出。论文提出了两种方法，第一种是Skip模式，即每隔几层去学习一个中间层，第二种是Last模式，即学习teacher模型的最后几层。如果是完全的去学习中间层的话，那么计算量很大。为了避免这个问题，我们注意到Bert模型中有个特殊字段\[CLS\]，因为其在 BERT 分类任务中的重要性，在蒸馏过程中，让student模型去学习\[CLS\]的中间的输出，计算过程是先归一化，然后直接 均方差MSE 求损失。

Note:

1 至于学生模型中间层如何与老师模型中间层对应，论文中发现最佳策略是直接按倍数取老师模型对应层就行，比如1对2，2对4这样。

2 初始化的话就采用Teacher模型的前几层来做初始化。

3 更好的teacher模型会带来增长么？答案是不会的，可以看上图，把12层的Bert模型换成了24层的Bert模型，反而导致效果变差。究其原因，可能是因为在实验中，我们使用Teacher模型的前N层来初始化Student模型，对于24层模型来说，前N层更容易导致不匹配。而更好的方法则是Student模型先训练好，再去学Teacher模型。

\[[Patient Knowledge Distillation for BERT Model Compression][]\]

# TinyBERT #

华为的 TinyBERT，比起上面的 PKD 只是对中间层 \[CLS\] 进行拟合，它更深入了一步。对 BERT 全范围进行拟合，词向量层，中间隐层，中间注意力矩阵，最后预测层。

在BERT 预训练阶段 和 Fine-tune阶段 分别做蒸馏，如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 3][]

其中Transformer Distillation 在预训练和 fine-tune 阶段都是一样的，分为三个部分：

![2021052516451713.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 4][]

Note: 式11分别是所有token的 embedding、hidden layer outputs 和 attention matrix的MSE loss，L\_pred 是 hinton 的dark knowledge。

在 预训练阶段 和 Fine-tune阶段 都仅使用了蒸馏的loss，而没有使用 MLM loss 和 分类 CE loss。

\[[TinyBERT][]：模型小7倍，速度快8倍，华中科大、华为出品\]

\[[TinyBERT: Distilling BERT for Natural Language Understanding][TinyBERT_ Distilling BERT for Natural Language Understanding], Xiaoqi Jiao et al.  EMNLP(findings), 2020 [\[code\]][code]\]

from: [\-柚子皮-][-_-]

ref: \[[BERT 瘦身之路：Distillation，Quantization，Pruning][BERT _Distillation_Quantization_Pruning]\]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70]: /images/20221014/1287eaceb14e466ea3a90cf287cfff03.png
[20210525153652590.png]: /images/20221014/4fecd9e926db46d99bd0554ec75c77e6.png
[Distilling the knowledge in a neural network]: https://arxiv.org/abs/1503.02531
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 1]: /images/20221014/715196d7acaa48f0985ca7f8206cdfd6.png
[DistilBERT_ a distilled version of BERT_ smaller_faster_ cheaper and lighter]: https://arxiv.org/pdf/1910.01108.pdf
[DistilBert]: https://blog.csdn.net/fengzhou_/article/details/107211090
[Bert_ PKD_DistillBert]: https://blog.csdn.net/weixin_39906878/article/details/111291923?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-5.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-5.control
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 2]: /images/20221014/9e74c13a722c45229a76219a11d068b6.png
[20210525155440965.png]: /images/20221014/4bb367b67ff34a3cb47daa06e9253a27.png
[20210526105050874.png]: /images/20221014/2824ab70224e40a6980b2f1af49ea8dd.png
[Patient Knowledge Distillation for BERT Model Compression]: https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1908.09355.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 3]: /images/20221014/c0cb4093f5d040bf9037bdd46bc0f43d.png
[2021052516451713.png]: /images/20221014/2f49bb7b2c5f4579aa7fcda795a36eee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BpcGlzb3JyeQ_size_16_color_FFFFFF_t_70 4]: /images/20221014/9779d22d93e64209bf253a793929936a.png
[TinyBERT]: https://www.jiqizhixin.com/articles/2019-09-30-5
[TinyBERT_ Distilling BERT for Natural Language Understanding]: https://arxiv.org/abs/1909.10351
[code]: https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT
[-_-]: https://me.csdn.net/pipisorry
[BERT _Distillation_Quantization_Pruning]: https://zhuanlan.zhihu.com/p/86900556