NLP（四十六）对抗训练的一次尝试

忘是亡心i 2022-11-19 06:26 389阅读 0赞

初次听说对抗训练是在一次实体识别比赛的赛后分享中，当时的一些概念，比如Focal Loss、对抗训练、模型融合、数据增强等都让我感到新奇，之后笔者自己也做了很多这方面的尝试。本文将分享笔者对于对抗训练（FGM）的一次尝试。

### 什么是对抗训练？ ###

提到“对抗”，相信大多数人的第一反应都是CV中的对抗生成网络 (GAN)，殊不知，其实对抗也可以作为一种防御机制，并且经过简单的修改，便能用在NLP任务上，提高模型的泛化能力。GAN之父Ian Goodfellow在15年的ICLR论文《Explaining and Harnessing Adversarial Examples》中第一次提出了对抗训练这个概念，简而言之，就是在原始输入样本`x`上加一个扰动`radv`，得到对抗样本后，用其进行训练。这在CV领域比较好理解，部分图片本身就是自带噪声的，比如手抖、光线不佳等，这就是天然的对抗样本，它们在模型训练的时候就是负样本，这些样本的加入能提升模型的鲁棒性。比如下面的经典例子：

![对抗训练的经典例子][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center]  
从上面的例子中，我们可以看到一张置信度为55.7%的panda图片在加入了很小的随机扰动后，模型竟然识别为了gibbon。  
  对抗训练的一般原理可以用下面的最大最小化公式来体现：

![最大最小化公式][20210414211335542.png]  
其中D代表训练集，x代表输入，y代表标签，θ是模型参数，L(x,y;θ)是单个样本的loss，Δx是对抗扰动，Ω是扰动空间。Ω是扰动空间，Δx是对抗扰动，一般扰动空间都比较小，避免对原来样本的破坏。在训练集合D，选择合适的对抗扰动来使得当个样本的loss达到最大，同时，外层（`E(x,y)`）就是对神经网络的模型参数θ进行优化，使其最小化。这颇有一点攻与守的味道，有了随机扰动的加入，样本的loss要尽可能大，而训练的模型loss要尽可能小，从而使得模型有了更强的鲁棒性，避免样本的小扰动就造成模型推理的结果偏差。

### FGM ###

FGM（Fast Gradient Method）是对抗学习的一种实现方式，可以与FGSM（Fast Gradient Sign Method）一起谈论。对于随机扰动Δx，FGM与FGSM的实现公式如下：

F G S M : Δ x = ϵ ⋅ S i g n ( g ) F G M : Δ x = ϵ ⋅ ( g / ∣ ∣ g ∣ ∣ 2 ) 其 中 S i g n 为 数 学 函 数 ， ∣ ∣ g ∣ ∣ 2 为 g 的 L 2 范 数 ， g = ∇ x L ( x ; y ; θ ) . FGSM: \\Delta\{x\}=\\epsilon\\cdot Sign(g) \\\\ FGM: \\Delta\{x\}=\\epsilon\\cdot (g/||g||\_\{2\}) \\\\ 其中Sign为数学函数，||g||\_\{2\}为g的L\_\{2\}范数， g=\\nabla\_\{x\}L(x;y;\\theta). FGSM:Δx=ϵ⋅Sign(g)FGM:Δx=ϵ⋅(g/∣∣g∣∣2)其中Sign为数学函数，∣∣g∣∣2为g的L2范数，g=∇xL(x;y;θ).

从上面的公式上可以看出，其增大样本loss的办法是使得样本x在梯度方向变大。  
  CV领域中，上面的FGM公式比较容易实现，因为图片的向量表示我们可以认为是连续的实数，而在NLP中，一般字或词的表示为One-hot向量，不好直接进行样本扰动。一种简单的想法是在word Embedding向量的时候进行扰动。Embedding层的输出是直接取自于Embedding参数矩阵的，因此我们可以直接对Embedding参数矩阵进行扰动。这样得到的对抗样本的多样性会少一些（因为不同样本的同一个token共用了相同的扰动），但仍然能起到正则化的作用，而且这样实现起来容易得多。  
  我们不必自己动手去实现上述的FGM，苏建林在bert4keras工具中已经实现了FGM的脚本，可以参考：[https://github.com/bojone/keras\_adversarial\_training][https_github.com_bojone_keras_adversarial_training]，这是Keras框架下的实现。而瓦特兰蒂斯在博客[【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现][NLP_ _ PyTorch]中给出了Torch框架下的FGM实现。两者使用起来都非常方便。  
  下面将介绍笔者使用FGM在keras-bert模块中的实验。

### 实验结果 ###

笔者使用keras-bert模块实现了命名实体识别、文本多分类、文本多标签分类任务，如下：

*  [NLP（三十四）使用keras-bert实现序列标注任务][NLP_keras-bert]
 *  [NLP（三十五）使用keras-bert实现文本多分类任务][NLP_keras-bert 1]
 *  [NLP（三十六）使用keras-bert实现文本多标签分类任务][NLP_keras-bert 2]

我们将对比在同样的模型参数下，相同数据集在使用FGM前后的模型评估指标的对比：

*  人民日报实体识别任务（评估指标为micro avg f1-score）

<table> 
 <thead> 
  <tr> 
   <th>-</th> 
   <th>训练1</th> 
   <th>训练2</th> 
   <th>训练3</th> 
   <th>avg</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>使用FGM前</td> 
   <td>0.9276</td> 
   <td>0.9217</td> 
   <td>0.9252</td> 
   <td>0.9248</td> 
  </tr> 
  <tr> 
   <td>使用FGM后</td> 
   <td>0.9287</td> 
   <td>0.9273</td> 
   <td>0.9294</td> 
   <td>0.9285</td> 
  </tr> 
 </tbody> 
</table>

*  时间识别任务（评估指标为micro avg f1-score）

<table> 
 <thead> 
  <tr> 
   <th>-</th> 
   <th>训练1</th> 
   <th>训练2</th> 
   <th>训练3</th> 
   <th>avg</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>使用FGM前</td> 
   <td>0.8926</td> 
   <td>0.8934</td> 
   <td>0.8820</td> 
   <td>0.8893</td> 
  </tr> 
  <tr> 
   <td>使用FGM后</td> 
   <td>0.9037</td> 
   <td>0.8798</td> 
   <td>0.8911</td> 
   <td>0.8915</td> 
  </tr> 
 </tbody> 
</table>

*  搜狗数据集文本多分类模型（评估指标为micro avg f1-score）

<table> 
 <thead> 
  <tr> 
   <th>-</th> 
   <th>训练1</th> 
   <th>训练2</th> 
   <th>训练3</th> 
   <th>avg</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>使用FGM前</td> 
   <td>0.9778</td> 
   <td>0.9697</td> 
   <td>0.9657</td> 
   <td>0.9711</td> 
  </tr> 
  <tr> 
   <td>使用FGM后</td> 
   <td>0.9778</td> 
   <td>0.9838</td> 
   <td>0.9838</td> 
   <td>0.9818</td> 
  </tr> 
 </tbody> 
</table>

*  THUCNews数据集文本多分类模型（评估指标为micro avg f1-score）

<table> 
 <thead> 
  <tr> 
   <th>-</th> 
   <th>训练1</th> 
   <th>训练2</th> 
   <th>训练3</th> 
   <th>avg</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>使用FGM前</td> 
   <td>0.9524</td> 
   <td>0.9621</td> 
   <td>0.9685</td> 
   <td>0.961</td> 
  </tr> 
  <tr> 
   <td>使用FGM后</td> 
   <td>0.9689</td> 
   <td>0.9723</td> 
   <td>0.9712</td> 
   <td>0.9708</td> 
  </tr> 
 </tbody> 
</table>

*  事件类型文本多标签模型（评估指标为accuracy）

<table> 
 <thead> 
  <tr> 
   <th>-</th> 
   <th>训练1</th> 
   <th>训练2</th> 
   <th>训练3</th> 
   <th>avg</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>使用FGM前</td> 
   <td>0.8985</td> 
   <td>-</td> 
   <td>-</td> 
   <td>-</td> 
  </tr> 
  <tr> 
   <td>使用FGM后</td> 
   <td>0.9159</td> 
   <td>0.9192</td> 
   <td>0.9186</td> 
   <td>0.9179</td> 
  </tr> 
 </tbody> 
</table>

以上对比结果已经上传至Github，网址如下：

*  命名实体识别：[https://github.com/percent4/keras\_bert\_sequence\_labeling][https_github.com_percent4_keras_bert_sequence_labeling]
 *  文本多分类：[https://github.com/percent4/keras\_bert\_text\_classification][https_github.com_percent4_keras_bert_text_classification]
 *  文本多标签文本：[https://github.com/percent4/keras\_bert\_multi\_label\_cls][https_github.com_percent4_keras_bert_multi_label_cls]

总结经验为：

1.  对抗训练FGM在很多NLP任务中可以有效提升模型效果，但代价是训练时间变长，一般是原来的1.5~2倍。
2.  FGM一般在小样本数据集上的提升效果较为明显。
3.  FGM并不一定总是能提升模型效果，比如笔者使用R-BERT在人物关系分类数据集上，使用FGM的效果反而变差了。

### 总结 ###

本文主要介绍了对抗训练的概念，以及FGM实现方式和它在不同NLP任务上的模型效果对比。  
  最近笔者在使用keras bert实现多项选择阅读理解任务，但keras bert比较吃显存，而且模型结构写起来比较麻烦且效果有点儿出入。而用PyTorch实现的transformers模块，使用方便而且效果也好，不得不说，Torch真香！这并不是说Keras不行，而是Torch确实使用起来很方便。这只是我现在的体会，不必过于较真。  
  感谢大家阅读~  
  2021年4月14日深夜于上海浦东，此日上海天色阴沉~

### 参考文献 ###

1.  对抗训练浅谈：意义、方法和思考（附Keras实现）: [https://spaces.ac.cn/archives/7234][https_spaces.ac.cn_archives_7234]
2.  【炼丹技巧】功守道：NLP中的对抗训练 + PyTorch实现: [https://fyubang.com/2019/10/15/adversarial-train/][NLP_ _ PyTorch]
3.  论文阅读：对抗训练（adversarial training）: [https://zhuanlan.zhihu.com/p/104040055][https_zhuanlan.zhihu.com_p_104040055]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pjbGlhbjkx_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/fb2963c3893048789a96cd9e4a827778.png
[20210414211335542.png]: /images/20221022/e89cc60c14484da989b01199eac520d1.png
[https_github.com_bojone_keras_adversarial_training]: https://github.com/bojone/keras_adversarial_training
[NLP_ _ PyTorch]: https://fyubang.com/2019/10/15/adversarial-train/
[NLP_keras-bert]: https://blog.csdn.net/jclian91/article/details/111728692
[NLP_keras-bert 1]: https://blog.csdn.net/jclian91/article/details/111742576
[NLP_keras-bert 2]: https://blog.csdn.net/jclian91/article/details/111783250
[https_github.com_percent4_keras_bert_sequence_labeling]: https://github.com/percent4/keras_bert_sequence_labeling
[https_github.com_percent4_keras_bert_text_classification]: https://github.com/percent4/keras_bert_text_classification
[https_github.com_percent4_keras_bert_multi_label_cls]: https://github.com/percent4/keras_bert_multi_label_cls
[https_spaces.ac.cn_archives_7234]: https://spaces.ac.cn/archives/7234
[https_zhuanlan.zhihu.com_p_104040055]: https://zhuanlan.zhihu.com/p/104040055