NLP-模型压缩-知识蒸馏：TextBrewer工具包

小咪咪 2023-10-12 23:21 10阅读 0赞

**TextBrewer**是一个基于PyTorch的、为实现NLP中的**知识蒸馏**任务而设计的工具包， 融合并改进了NLP和CV中的多种知识蒸馏技术，提供便捷快速的知识蒸馏框架， 用于以较低的性能损失压缩神经网络模型的大小，提升模型的推理速度，减少内存占用。

可以通过[ACL Anthology][]或[arXiv pre-print][]查看我们的论文。

#### [TextBrewer完整文档][TextBrewer] ####

### 新闻 ###

**Dec 17, 2021**

*  **哈工大讯飞联合实验室全新推出模型裁剪工具包TextPruner。查看：[GitHub - airaria/TextPruner: A PyTorch-based model pruning toolkit for pre-trained language models][GitHub - airaria_TextPruner_ A PyTorch-based model pruning toolkit for pre-trained language models]**

**Oct 24, 2021**

*  **哈工大讯飞联合实验室发布面向少数民族语言的预训练模型CINO。查看：[GitHub - iflytek/cino: CINO: Pre-trained Language Models for Chinese Minority (少数民族语言预训练模型)][GitHub - iflytek_cino_ CINO_ Pre-trained Language Models for Chinese Minority]**

**Jul 8, 2021**

*  **新增Transformers 4示例**
    
     *  目前已有示例基于较早版本的Transformers，使用习惯与当前的Transformers不同。为了减少使用中的困惑与bugs，我们添加了基于Transformers 4的notebook示例，更易学习与使用。
     *  新示例位于[examples/notebook\_examples][examples_notebook_examples]。详情参见[蒸馏任务示例][Link 1]。

**Mar 1, 2021**

*  **BERT-EMD示例与自定义distiller**
    
     *  在[MNLI示例][MNLI]中增加了[BERT-EMD][]算法的实现。BERT-EMD通过优化中间层之间的Earth Mvoer's Distance以自适应地调整教师与学生之间中间层匹配，而无需人工指定。
     *  BERT-EMD以自定义distiller的方式([EMDDistiller][])实现，可作为自定义distiller的参考。
 *  **MNLI示例更新**
    
     *  更新了MNLI任务上的蒸馏示例，新代码不再依赖pytorch\_pretrained\_bert而使用transofrmers。

点击查看往期新闻

### 目录 ###

<table> 
 <thead> 
  <tr> 
   <th>章节</th> 
   <th>内容</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E7%AE%80%E4%BB%8B" title="简介" rel="nofollow">简介</a></td> 
   <td>TextBrewer简介</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E5%AE%89%E8%A3%85" title="安装" rel="nofollow">安装</a></td> 
   <td>安装方法介绍</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E5%B7%A5%E4%BD%9C%E6%B5%81%E7%A8%8B" title="工作流程" rel="nofollow">工作流程</a></td> 
   <td>TextBrewer整体工作流程</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B" title="快速开始" rel="nofollow">快速开始</a></td> 
   <td>举例展示TextBrewer用法：BERT-base蒸馏至3层BERT</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E8%92%B8%E9%A6%8F%E6%95%88%E6%9E%9C" title="蒸馏效果" rel="nofollow">蒸馏效果</a></td> 
   <td>中文、英文典型数据集上的蒸馏效果展示</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E6%A0%B8%E5%BF%83%E6%A6%82%E5%BF%B5" title="核心概念" rel="nofollow">核心概念</a></td> 
   <td>TextBrewer中的核心概念介绍</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#faq" title="FAQ" rel="nofollow">FAQ</a></td> 
   <td>常见问题解答</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E5%BC%95%E7%94%A8" title="引用" rel="nofollow">引用</a></td> 
   <td>TextBrewer参考引用</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E5%B7%B2%E7%9F%A5%E9%97%AE%E9%A2%98" title="已知问题" rel="nofollow">已知问题</a></td> 
   <td>尚未解决的问题</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E5%85%B3%E6%B3%A8%E6%88%91%E4%BB%AC" title="关注我们" rel="nofollow">关注我们</a></td> 
   <td>-</td> 
  </tr> 
 </tbody> 
</table>

### 简介 ###

**TextBrewer** 为NLP中的知识蒸馏任务设计，融合了多种知识蒸馏技术，提供方便快捷的知识蒸馏框架。

主要特点：

*  模型无关：适用于多种模型结构（主要面向**Transfomer**结构）
 *  方便灵活：可自由组合多种蒸馏方法；可方便增加自定义损失等模块
 *  非侵入式：无需对教师与学生模型本身结构进行修改
 *  支持典型的NLP任务：文本分类、阅读理解、序列标注等

**TextBrewer**目前支持的知识蒸馏技术有：

*  软标签与硬标签混合训练
 *  动态损失权重调整与蒸馏温度调整
 *  多种蒸馏损失函数: hidden states MSE, attention-based loss, neuron selectivity transfer, ...
 *  任意构建中间层特征匹配方案
 *  多教师知识蒸馏
 *  ...

**TextBrewer**的主要功能与模块分为3块：

1.  **Distillers**：进行蒸馏的核心部件，不同的distiller提供不同的蒸馏模式。目前包含GeneralDistiller, MultiTeacherDistiller, MultiTaskDistiller等
2.  **Configurations and Presets**：训练与蒸馏方法的配置，并提供预定义的蒸馏策略以及多种知识蒸馏损失函数
3.  **Utilities**：模型参数分析显示等辅助工具

用户需要准备：

1.  已训练好的**教师**模型, 待蒸馏的**学生**模型
2.  训练数据与必要的实验配置， 即可开始蒸馏

在多个典型NLP任务上，TextBrewer都能取得较好的压缩效果。相关实验见[蒸馏效果][Link 2]。

详细的API可参见 [完整文档][TextBrewer]。

#### TextBrewer结构 ####

![8421c5bded134bbf879d7779357de31f.png][]

### 安装 ###

#### 安装要求 ####

*  Python >= 3.6
 *  PyTorch >= 1.1.0
 *  TensorboardX or Tensorboard
 *  NumPy
 *  tqdm
 *  Transformers >= 2.0 (可选, Transformer相关示例需要用到)
 *  Apex == 0.1.0 (可选，用于混合精度训练)

#### 安装方式 ####

*  从PyPI自动下载安装包安装:

pip install textbrewer

*  从源码文件夹安装:

git clone https://github.com/airaria/TextBrewer.git
    pip install ./textbrewer

### 工作流程 ###

![f731188717594c8c867f9583667072b7.png][]

![adba61e7ae7c46a78be6b9c0a951e5f1.png][]

*  **Stage 1 :** 蒸馏之前的准备工作:
    
    1.  训练**教师**模型
    2.  定义与初始化**学生**模型（随机初始化，或载入预训练权重）
    3.  构造蒸馏用数据集的dataloader，训练**学生**模型用的optimizer和learning rate scheduler
 *  **Stage 2 :** 使用TextBrewer蒸馏：
    
    1.  构造训练配置(`TrainingConfig`)和蒸馏配置(`DistillationConfig`),初始化**distiller**
    2.  定义**adaptor** 和 **callback** ，分别用于适配模型输入输出和训练过程中的回调
    3.  调用**distiller**的**train**方法开始蒸馏

### 快速开始 ###

以蒸馏BERT-base到3层BERT为例展示TextBrewer用法。

在开始蒸馏之前准备：

*  训练好的教师模型`teacher_model` (BERT-base)，待训练学生模型`student_model` (3-layer BERT)
 *  数据集`dataloader`，优化器`optimizer`，学习率调节器类或者构造函数`scheduler_class` 和构造用的参数字典 `scheduler_args`

使用TextBrewer蒸馏:

import textbrewer
    from textbrewer import GeneralDistiller
    from textbrewer import TrainingConfig, DistillationConfig
    
    # 展示模型参数量的统计
    print("\nteacher_model's parametrers:")
    result, _ = textbrewer.utils.display_parameters(teacher_model,max_level=3)
    print (result)
    
    print("student_model's parametrers:")
    result, _ = textbrewer.utils.display_parameters(student_model,max_level=3)
    print (result)
    
    # 定义adaptor用于解释模型的输出
    def simple_adaptor(batch, model_outputs):
        # model输出的第二、三个元素分别是logits和hidden states
        return {'logits': model_outputs[1], 'hidden': model_outputs[2]}
    
    # 蒸馏与训练配置
    # 匹配教师和学生的embedding层；同时匹配教师的第8层和学生的第2层
    distill_config = DistillationConfig(
        intermediate_matches=[    
         {'layer_T':0, 'layer_S':0, 'feature':'hidden', 'loss': 'hidden_mse','weight' : 1},
         {'layer_T':8, 'layer_S':2, 'feature':'hidden', 'loss': 'hidden_mse','weight' : 1}])
    train_config = TrainingConfig()
    
    #初始化distiller
    distiller = GeneralDistiller(
        train_config=train_config, distill_config = distill_config,
        model_T = teacher_model, model_S = student_model, 
        adaptor_T = simple_adaptor, adaptor_S = simple_adaptor)
    
    # 开始蒸馏
    with distiller:
        distiller.train(optimizer, dataloader, num_epochs=1, scheduler_class=scheduler_class, scheduler_args = scheduler_args, callback=None)

#### **蒸馏任务示例** ####

*  **Transformers 4示例**
    
     *  [examples/notebook\_examples/sst2.ipynb][examples_notebook_examples_sst2.ipynb] (英文): SST-2文本分类任务上的BERT模型训练与蒸馏。
     *  [examples/notebook\_examples/msra\_ner.ipynb][examples_notebook_examples_msra_ner.ipynb] (中文): MSRA NER中文命名实体识别任务上的BERT模型训练与蒸馏。
     *  [examples/notebook\_examples/sqaudv1.1.ipynb][examples_notebook_examples_sqaudv1.1.ipynb] (英文): SQuAD 1.1英文阅读理解任务上的BERT模型训练与蒸馏。
 *  [examples/random\_token\_example][examples_random_token_example]: 一个可运行的简单示例，在文本分类任务上以随机文本为输入，演示TextBrewer用法。
 *  [examples/cmrc2018\_example][examples_cmrc2018_example] (中文): CMRC 2018上的中文阅读理解任务蒸馏，并使用DRCD数据集做数据增强。
 *  [examples/mnli\_example][MNLI] (英文): MNLI任务上的英文句对分类任务蒸馏，并展示如何使用多教师蒸馏。
 *  [examples/conll2003\_example][examples_conll2003_example] (英文): CoNLL-2003英文实体识别任务上的序列标注任务蒸馏。
 *  [examples/msra\_ner\_example][examples_msra_ner_example] (中文): MSRA NER(中文命名实体识别)任务上，使用分布式数据并行训练的Chinese-ELECTRA-base模型蒸馏。

### 蒸馏效果 ###

我们在多个中英文文本分类、阅读理解、序列标注数据集上进行了蒸馏实验。实验的配置和效果如下。

#### 模型 ####

*  对于英文任务，教师模型为[BERT-base-cased][]
 *  对于中文任务，教师模型为HFL发布的[RoBERTa-wwm-ext][] 与 [Electra-base][]

我们测试了不同的学生模型，为了与已有公开结果相比较，除了BiGRU都是和BERT一样的多层Transformer结构。模型的参数如下表所示。需要注意的是，参数量的统计包括了embedding层，但不包括最终适配各个任务的输出层。

##### 英文模型 #####

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>#Layers</th> 
   <th>Hidden size</th> 
   <th>Feed-forward size</th> 
   <th>#Params</th> 
   <th>Relative size</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BERT-base-cased (教师)</td> 
   <td>12</td> 
   <td>768</td> 
   <td>3072</td> 
   <td>108M</td> 
   <td>100%</td> 
  </tr> 
  <tr> 
   <td>T6 (学生)</td> 
   <td>6</td> 
   <td>768</td> 
   <td>3072</td> 
   <td>65M</td> 
   <td>60%</td> 
  </tr> 
  <tr> 
   <td>T3 (学生)</td> 
   <td>3</td> 
   <td>768</td> 
   <td>3072</td> 
   <td>44M</td> 
   <td>41%</td> 
  </tr> 
  <tr> 
   <td>T3-small (学生)</td> 
   <td>3</td> 
   <td>384</td> 
   <td>1536</td> 
   <td>17M</td> 
   <td>16%</td> 
  </tr> 
  <tr> 
   <td>T4-Tiny (学生)</td> 
   <td>4</td> 
   <td>312</td> 
   <td>1200</td> 
   <td>14M</td> 
   <td>13%</td> 
  </tr> 
  <tr> 
   <td>T12-nano (学生)</td> 
   <td>12</td> 
   <td>256</td> 
   <td>1024</td> 
   <td>17M</td> 
   <td>16%</td> 
  </tr> 
  <tr> 
   <td>BiGRU (学生)</td> 
   <td>-</td> 
   <td>768</td> 
   <td>-</td> 
   <td>31M</td> 
   <td>29%</td> 
  </tr> 
 </tbody> 
</table>

##### 中文模型 #####

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>#Layers</th> 
   <th>Hidden size</th> 
   <th>Feed-forward size</th> 
   <th>#Params</th> 
   <th>Relative size</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>RoBERTa-wwm-ext (教师)</td> 
   <td>12</td> 
   <td>768</td> 
   <td>3072</td> 
   <td>102M</td> 
   <td>100%</td> 
  </tr> 
  <tr> 
   <td>Electra-base (教师)</td> 
   <td>12</td> 
   <td>768</td> 
   <td>3072</td> 
   <td>102M</td> 
   <td>100%</td> 
  </tr> 
  <tr> 
   <td>T3 (学生)</td> 
   <td>3</td> 
   <td>768</td> 
   <td>3072</td> 
   <td>38M</td> 
   <td>37%</td> 
  </tr> 
  <tr> 
   <td>T3-small (学生)</td> 
   <td>3</td> 
   <td>384</td> 
   <td>1536</td> 
   <td>14M</td> 
   <td>14%</td> 
  </tr> 
  <tr> 
   <td>T4-Tiny (学生)</td> 
   <td>4</td> 
   <td>312</td> 
   <td>1200</td> 
   <td>11M</td> 
   <td>11%</td> 
  </tr> 
  <tr> 
   <td>Electra-small (学生)</td> 
   <td>12</td> 
   <td>256</td> 
   <td>1024</td> 
   <td>12M</td> 
   <td>12%</td> 
  </tr> 
 </tbody> 
</table>

*  T6的结构与[DistilBERT\[1\]][DistilBERT_1], [BERT6-PKD\[2\]][BERT6-PKD_2], [BERT-of-Theseus\[3\]][BERT-of-Theseus_3] 相同。
 *  T4-tiny的结构与 [TinyBERT\[4\]][TinyBERT_4] 相同。
 *  T3的结构与[BERT3-PKD\[2\]][BERT6-PKD_2] 相同。

##### 蒸馏配置 #####

distill_config = DistillationConfig(temperature = 8, intermediate_matches = matches)
    # 其他参数为默认值

不同的模型用的`matches`我们采用了以下配置：

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>matches</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>BiGRU</td> 
   <td>None</td> 
  </tr> 
  <tr> 
   <td>T6</td> 
   <td>L6_hidden_mse + L6_hidden_smmd</td> 
  </tr> 
  <tr> 
   <td>T3</td> 
   <td>L3_hidden_mse + L3_hidden_smmd</td> 
  </tr> 
  <tr> 
   <td>T3-small</td> 
   <td>L3n_hidden_mse + L3_hidden_smmd</td> 
  </tr> 
  <tr> 
   <td>T4-Tiny</td> 
   <td>L4t_hidden_mse + L4_hidden_smmd</td> 
  </tr> 
  <tr> 
   <td>T12-nano</td> 
   <td>small_hidden_mse + small_hidden_smmd</td> 
  </tr> 
  <tr> 
   <td>Electra-small</td> 
   <td>small_hidden_mse + small_hidden_smmd</td> 
  </tr> 
 </tbody> 
</table>

各种matches的定义在[examples/matches/matches.py][examples_matches_matches.py]中。均使用GeneralDistiller进行蒸馏。

##### 训练配置 #####

蒸馏用的学习率 lr=1e-4(除非特殊说明)。训练30~60轮。

#### 英文实验结果 ####

在英文实验中，我们使用了如下三个典型数据集。

我们在下面两表中列出了[DistilBERT][DistilBERT_1], [BERT-PKD][BERT6-PKD_2], [BERT-of-Theseus][BERT-of-Theseus_3], [TinyBERT][TinyBERT_4] 等公开的蒸馏结果，并与我们的结果做对比。

Public results:

<table> 
 <thead> 
  <tr> 
   <th>Model (public)</th> 
   <th>MNLI</th> 
   <th>SQuAD</th> 
   <th>CoNLL-2003</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>DistilBERT (T6)</td> 
   <td>81.6 / 81.1</td> 
   <td>78.1 / 86.2</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>BERT6-PKD (T6)</td> 
   <td>81.5 / 81.0</td> 
   <td>77.1 / 85.3</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>BERT-of-Theseus (T6)</td> 
   <td>82.4/ 82.1</td> 
   <td>-</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>BERT3-PKD (T3)</td> 
   <td>76.7 / 76.3</td> 
   <td>-</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>TinyBERT (T4-tiny)</td> 
   <td>82.8 / 82.9</td> 
   <td>72.7 / 82.1</td> 
   <td>-</td> 
  </tr> 
 </tbody> 
</table>

Our results:

<table> 
 <thead> 
  <tr> 
   <th>Model (ours)</th> 
   <th>MNLI</th> 
   <th>SQuAD</th> 
   <th>CoNLL-2003</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>BERT-base-cased</strong>&nbsp;(教师)</td> 
   <td>83.7 / 84.0</td> 
   <td>81.5 / 88.6</td> 
   <td>91.1</td> 
  </tr> 
  <tr> 
   <td>BiGRU</td> 
   <td>-</td> 
   <td>-</td> 
   <td>85.3</td> 
  </tr> 
  <tr> 
   <td>T6</td> 
   <td>83.5 / 84.0</td> 
   <td>80.8 / 88.1</td> 
   <td>90.7</td> 
  </tr> 
  <tr> 
   <td>T3</td> 
   <td>81.8 / 82.7</td> 
   <td>76.4 / 84.9</td> 
   <td>87.5</td> 
  </tr> 
  <tr> 
   <td>T3-small</td> 
   <td>81.3 / 81.7</td> 
   <td>72.3 / 81.4</td> 
   <td>78.6</td> 
  </tr> 
  <tr> 
   <td>T4-tiny</td> 
   <td>82.0 / 82.6</td> 
   <td>75.2 / 84.0</td> 
   <td>89.1</td> 
  </tr> 
  <tr> 
   <td>T12-nano</td> 
   <td>83.2 / 83.9</td> 
   <td>79.0 / 86.6</td> 
   <td>89.6</td> 
  </tr> 
 </tbody> 
</table>

说明：

1.  公开模型的名称后括号内是其等价的模型结构
2.  蒸馏到T4-tiny的实验中，SQuAD任务上使用了NewsQA作为增强数据；CoNLL-2003上使用了HotpotQA的篇章作为增强数据
3.  蒸馏到T12-nano的实验中，CoNLL-2003上使用了HotpotQA的篇章作为增强数据

#### 中文实验结果 ####

在中文实验中，我们使用了如下典型数据集。

<table> 
 <thead> 
  <tr> 
   <th>Dataset</th> 
   <th>Task type</th> 
   <th>Metrics</th> 
   <th>#Train</th> 
   <th>#Dev</th> 
   <th>Note</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><a href="https://github.com/google-research/bert/blob/master/multilingual.md" title="XNLI" rel="nofollow">XNLI</a></td> 
   <td>文本分类</td> 
   <td>Acc</td> 
   <td>393K</td> 
   <td>2.5K</td> 
   <td>MNLI的中文翻译版本，3分类任务</td> 
  </tr> 
  <tr> 
   <td><a href="http://icrc.hitsz.edu.cn/info/1037/1146.htm" title="LCQMC" rel="nofollow">LCQMC</a></td> 
   <td>文本分类</td> 
   <td>Acc</td> 
   <td>239K</td> 
   <td>8.8K</td> 
   <td>句对二分类任务，判断两个句子的语义是否相同</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/ymcui/cmrc2018" title="CMRC 2018" rel="nofollow">CMRC 2018</a></td> 
   <td>阅读理解</td> 
   <td>EM/F1</td> 
   <td>10K</td> 
   <td>3.4K</td> 
   <td>篇章片段抽取型阅读理解</td> 
  </tr> 
  <tr> 
   <td><a href="https://github.com/DRCKnowledgeTeam/DRCD" title="DRCD" rel="nofollow">DRCD</a></td> 
   <td>阅读理解</td> 
   <td>EM/F1</td> 
   <td>27K</td> 
   <td>3.5K</td> 
   <td>繁体中文篇章片段抽取型阅读理解</td> 
  </tr> 
  <tr> 
   <td><a href="https://faculty.washington.edu/levow/papers/sighan06.pdf" title="MSRA NER" rel="nofollow">MSRA NER</a></td> 
   <td>序列标注</td> 
   <td>F1</td> 
   <td>45K</td> 
   <td>3.4K (测试集)</td> 
   <td>中文命名实体识别</td> 
  </tr> 
 </tbody> 
</table>

实验结果如下表所示。

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>XNLI</th> 
   <th>LCQMC</th> 
   <th>CMRC 2018</th> 
   <th>DRCD</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>RoBERTa-wwm-ext</strong>&nbsp;(教师)</td> 
   <td>79.9</td> 
   <td>89.4</td> 
   <td>68.8 / 86.4</td> 
   <td>86.5 / 92.5</td> 
  </tr> 
  <tr> 
   <td>T3</td> 
   <td>78.4</td> 
   <td>89.0</td> 
   <td>66.4 / 84.2</td> 
   <td>78.2 / 86.4</td> 
  </tr> 
  <tr> 
   <td>T3-small</td> 
   <td>76.0</td> 
   <td>88.1</td> 
   <td>58.0 / 79.3</td> 
   <td>75.8 / 84.8</td> 
  </tr> 
  <tr> 
   <td>T4-tiny</td> 
   <td>76.2</td> 
   <td>88.4</td> 
   <td>61.8 / 81.8</td> 
   <td>77.3 / 86.1</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>Model</th> 
   <th>XNLI</th> 
   <th>LCQMC</th> 
   <th>CMRC 2018</th> 
   <th>DRCD</th> 
   <th>MSRA NER</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>Electra-base</strong>&nbsp;(教师)</td> 
   <td>77.8</td> 
   <td>89.8</td> 
   <td>65.6 / 84.7</td> 
   <td>86.9 / 92.3</td> 
   <td>95.14</td> 
  </tr> 
  <tr> 
   <td>Electra-small</td> 
   <td>77.7</td> 
   <td>89.3</td> 
   <td>66.5 / 84.9</td> 
   <td>85.5 / 91.3</td> 
   <td>93.48</td> 
  </tr> 
 </tbody> 
</table>

说明：

1.  以RoBERTa-wwm-ext为教师模型蒸馏CMRC 2018和DRCD时，不采用学习率衰减
2.  CMRC 2018和DRCD两个任务上蒸馏时他们互作为增强数据
3.  Electra-base的教师模型训练设置参考自[Chinese-ELECTRA][Electra-base]
4.  Electra-small学生模型采用[预训练权重][Electra-base]初始化

### 核心概念 ###

#### Configurations ####

*  `TrainingConfig` 和 `DistillationConfig`：训练和蒸馏相关的配置。

#### Distillers ####

Distiller负责执行实际的蒸馏过程。目前实现了以下的distillers:

*  `BasicDistiller`: 提供**单模型单任务**蒸馏方式。可用作测试或简单实验。
 *  `GeneralDistiller` (常用): 提供**单模型单任务**蒸馏方式，并且支持**中间层特征匹配**，一般情况下**推荐使用**。
 *  `MultiTeacherDistiller`: 多教师蒸馏。将多个（同任务）教师模型蒸馏到一个学生模型上。**暂不支持中间层特征匹配**。
 *  `MultiTaskDistiller`：多任务蒸馏。将多个（不同任务）单任务教师模型蒸馏到一个多任务学生模型。
 *  `BasicTrainer`：用于单个模型的有监督训练，而非蒸馏。**可用于训练教师模型**。

#### 用户定义函数 ####

蒸馏实验中，有两个组件需要由用户提供，分别是**callback** 和 **adaptor** :

##### Callback #####

回调函数。在每个checkpoint，保存模型后会被`distiller`调用，并传入当前模型。可以借由回调函数在每个checkpoint评测模型效果。

##### Adaptor #####

将模型的输入和输出转换为指定的格式，向`distiller`解释模型的输入和输出，以便`distiller`根据不同的策略进行不同的计算。在每个训练步，`batch`和模型的输出`model_outputs`会作为参数传递给`adaptor`，`adaptor`负责重新组织这些数据，返回一个字典。

更多细节可参见[完整文档][TextBrewer]中的说明。

### FAQ ###

**Q**: 学生模型该如何初始化？

**A**: 知识蒸馏本质上是“老师教学生”的过程。在初始化学生模型时，可以采用随机初始化的形式（即完全不包含任何先验知识），也可以载入已训练好的模型权重。例如，从BERT-base模型蒸馏到3层BERT时，可以预先载入RBT3模型权重(中文任务)或BERT的前三层权重(英文任务)，然后进一步进行蒸馏，避免了蒸馏过程的“冷启动”问题。我们建议用户在使用时尽量采用已预训练过的学生模型，以充分利用大规模数据预训练所带来的优势。

**Q**: 如何设置蒸馏的训练参数以达到一个较好的效果？

**A**: 知识蒸馏的比有标签数据上的训练需要更多的训练轮数与更大的学习率。比如，BERT-base上训练SQuAD一般以lr=3e-5训练3轮左右即可达到较好的效果；而蒸馏时需要以lr=1e-4训练30~50轮。当然具体到各个任务上肯定还有区别，**我们的建议仅是基于我们的经验得出的，仅供参考**。

**Q**: 我的教师模型和学生模型的输入不同（比如词表不同导致input\_ids不兼容），该如何进行蒸馏？

**A**: 需要分别为教师模型和学生模型提供不同的batch，参见完整文档中的 [Feed Different batches to Student and Teacher, Feed Cached Values][Feed Different batches to Student and Teacher_ Feed Cached Values] 章节。

**Q**: 我缓存了教师模型的输出，它们可以用于加速蒸馏吗？

**A**: 可以, 参见完整文档中的 [Feed Different batches to Student and Teacher, Feed Cached Values][Feed Different batches to Student and Teacher_ Feed Cached Values] 章节。

--------------------

[https://github.com/airaria/TextBrewer/blob/master/README\_ZH.md][https_github.com_airaria_TextBrewer_blob_master_README_ZH.md]

[ACL Anthology]: https://www.aclweb.org/anthology/2020.acl-demos.2/
[arXiv pre-print]: https://arxiv.org/abs/2002.12620
[TextBrewer]: https://textbrewer.readthedocs.io/
[GitHub - airaria_TextPruner_ A PyTorch-based model pruning toolkit for pre-trained language models]: https://github.com/airaria/TextPruner
[GitHub - iflytek_cino_ CINO_ Pre-trained Language Models for Chinese Minority]: https://github.com/ymcui/Chinese-Minority-PLM
[examples_notebook_examples]: https://github.com/airaria/TextBrewer/blob/master/examples/notebook_examples
[Link 1]: https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E8%92%B8%E9%A6%8F%E4%BB%BB%E5%8A%A1%E7%A4%BA%E4%BE%8B
[MNLI]: https://github.com/airaria/TextBrewer/blob/master/examples/mnli_example
[BERT-EMD]: https://www.aclweb.org/anthology/2020.emnlp-main.242/
[EMDDistiller]: https://github.com/airaria/TextBrewer/blob/master/examples/mnli_example/distiller_emd.py
[Link 2]: https://github.com/airaria/TextBrewer/blob/master/README_ZH.md#%E8%92%B8%E9%A6%8F%E6%95%88%E6%9E%9C
[8421c5bded134bbf879d7779357de31f.png]: https://img-blog.csdnimg.cn/8421c5bded134bbf879d7779357de31f.png
[f731188717594c8c867f9583667072b7.png]: https://img-blog.csdnimg.cn/f731188717594c8c867f9583667072b7.png
[adba61e7ae7c46a78be6b9c0a951e5f1.png]: https://img-blog.csdnimg.cn/adba61e7ae7c46a78be6b9c0a951e5f1.png
[examples_notebook_examples_sst2.ipynb]: https://github.com/airaria/TextBrewer/blob/master/examples/notebook_examples/sst2.ipynb
[examples_notebook_examples_msra_ner.ipynb]: https://github.com/airaria/TextBrewer/blob/master/examples/notebook_examples/msra_ner.ipynb
[examples_notebook_examples_sqaudv1.1.ipynb]: https://github.com/airaria/TextBrewer/blob/master/examples/notebook_examples/sqaudv1.1.ipynb
[examples_random_token_example]: https://github.com/airaria/TextBrewer/blob/master/examples/random_token_example
[examples_cmrc2018_example]: https://github.com/airaria/TextBrewer/blob/master/examples/cmrc2018_example
[examples_conll2003_example]: https://github.com/airaria/TextBrewer/blob/master/examples/conll2003_example
[examples_msra_ner_example]: https://github.com/airaria/TextBrewer/blob/master/examples/msra_ner_example
[BERT-base-cased]: https://github.com/google-research/bert
[RoBERTa-wwm-ext]: https://github.com/ymcui/Chinese-BERT-wwm
[Electra-base]: https://github.com/ymcui/Chinese-ELECTRA
[DistilBERT_1]: https://arxiv.org/abs/1910.01108
[BERT6-PKD_2]: https://arxiv.org/abs/1908.09355
[BERT-of-Theseus_3]: https://arxiv.org/abs/2002.02925
[TinyBERT_4]: https://arxiv.org/abs/1909.10351
[examples_matches_matches.py]: https://github.com/airaria/TextBrewer/blob/master/examples/matches/matches.py
[Feed Different batches to Student and Teacher_ Feed Cached Values]: https://textbrewer.readthedocs.io/en/latest/Concepts.html#feed-different-batches-to-student-and-teacher-feed-cached-values
[https_github.com_airaria_TextBrewer_blob_master_README_ZH.md]: https://github.com/airaria/TextBrewer/blob/master/README_ZH.md