BERT and its family

喜欢ヅ旅行 2022-11-20 03:58 39阅读 0赞

![b92c6d07d9278bb38aea2431e9f5dc1f.png_shadow][]

#### 大名鼎鼎的芝麻街 ####

![3daaa6cab52a5405477657b99a85667d.png_shadow][]

预训练语言模型的缩写大多是芝麻街的人物。这显然是起名艺术大师们的有意为之。他们甚至都可以抛弃用首字母缩写的原则去硬凑出芝麻街人名

上图所示的模型（除了Big Bird，因为没有这个模型）他们之间都有一些共同点，就是能通过一个句子的上下文来给一个词进行Embedding，而能达到这种目的的网络架构有很多，例如LSTM，Self-attention layers，Tree-based model（注重文法，一般表现不佳，只有在文法结构非常严谨的情况下表现好）等等

#### Smaller Model ####

预训练语言模型比来比去，变得越来越巨大，越来越臃肿，越来越玩不起。然而，让模型变小，就好比我们去到非洲，可以让人民币在一线城市的购买力变得更多。这就是穷人用的 BERT。在[Distill BERT][]，[Tiny BERT][]，[Mobile BERT][]，[Q8BERT][]，[ALBERT][]

授人以鱼不如授人以渔，究竟有哪些方法可以使Model变小呢？可以参考[李宏毅老师模型压缩][Link 1]的视频讲解，以及[All The Ways You Can Compress BERT][]这篇文章。常见的方法有以下几种

*  Network Pruning 剪枝
 *  Knowledge Distillation 知识蒸馏
 *  Parameter Quantization 参数量化
 *  Architecture Design 结构设计

#### Network Architecture Improvements ####

![9b5ba6216fa7593a3b15d9233cf24031.png_shadow][]

除了模型压缩以外，近年来比较火的尝试还有模型架构的设计。比方说[Transfomer-XL][]通过理解跨片段的内容，可以处理非常长的序列；[Reformer][]和[Longformer][]可以使得自注意力的复杂度变小，从 O ( N 2 ) O(N^2) O(N2)到 O ( N l o g N ) O(NlogN) O(NlogN)甚至更低

#### How to Fine-tune ####

这一部分李宏毅老师讲了非常多，但我个人感觉有很多都是比较简单的内容。比方说输入一个句子如何进行分类，这个大家其实做的都比较多了，常见的做法就是利用`[CLS]`的输出后面跟一个线性分类层，又或者是将所有token的输出求一个Average，再送入线性分类层。上述两种方法的目的都是要做分类，但是它们的本质区别在于究竟用什么东西来代表一个句子的Embedding比较好，关于这个可以看一下[Sentence-BERT][]的论文，或者是[Sentence-BERT详解][Sentence-BERT 1]这篇文章，里面有一些实验证明了用哪些东西代表一个句子的向量比较好

##### Extraction-based QA #####

可能大家见的不多的是如何利用预训练模型做Extraction-based QA (Question Answering)任务

![7e5310f4f995f47c0ab726b1b4c5b7b3.png_shadow][]

比方说现在将一篇文档和一个问题丢入QA Model，模型会输出两个整数 s s s和 e e e，这两个整数代表这个问题的答案就是文档中第 s s s个词到第 e e e个词，即 \{ d s , . . . , d e \} \\\{d\_s,...,d\_e\\\} \{ ds,...,de\}

![3023427add39956951af533d5908ec13.png_shadow][]

得到这两个整数的方式也很有意思。首先我们生成两个向量（上图中橙色和蓝色），用其中一个（橙色）向量去和document所有位置的输出做一个dot product，之后再经过一个Softmax得到一系列概率值，我们取最大概率值所在的下标（其实就是argmax）就得到了答案的开始位置 s = 2 s=2 s=2

![176b123078e99e924ff96a5cf2a5683e.png_shadow][]

答案的结束位置 e e e得到的方式也差不多，就是用另一个（蓝色）向量去和document所有位置的输出做一个dot product，同样经过Softmax之后得到概率最大值所在的下标。那么最终答案就是 \[ s , e \] \[s,e\] \[s,e\]这个区间内的单词

![99bf01e191d6a65fc85e61c52fc16e28.png_shadow][]

回到主题，预训练语言模型要如何进行微调呢？一种方法是固定预训练的模型，让它作为一个特征提取器，训练的时候，只更新后面接的Task-specific模型的参数；另一种方法是不固定预训练语言模型的参数，所有参数在训练过程中都进行更新。不过就我本人做过的很多实验来看，后者效果是比前者好的，但是问题在于，很多预训练模型特别大，经常11G的显存都不够，所以不得不采用前一种方法

#### Combination of Features ####

我们知道BERT有很多Encoder Layer，大家常规的做法都是提取最后一层的输出来做下游任务，但实际上这是最优解吗？其实就有人在NER任务上做过一个实验，将不同层的输出进行各种组合，得到的效果如下

![d6e1aefa1ebccc08b4040739eef4d640.png_shadow][]

肖涵在 Github 上创建了一个名为 [bert-as-service][] 的开源项目，该项目旨在使用 BERT 为您的文本创建单词嵌入。他尝试了各种方法来组合这些嵌入，并在项目的 [FAQ][] 页面上分享了一些结论和基本原理

肖涵的观点认为：

1.  第一层是嵌入层，由于它没有上下文信息，因此同一个词在不同语境下的向量是相同的
2.  随着进入网络的更深层次，单词嵌入从每一层中获得了越来越多的上下文信息
3.  但是，当您接近最后一层时，词嵌入将开始获取 BERT 特定预训练任务的信息（MLM 和 NSP）
4.  使用倒数第二层比较合理

#### Why Pre-train Models? ####

为什么我们要使用这些预训练的模型？一个很明显的道理是，我们没那么多钱去从头训练一个比较大的模型，所以直接拿别人训练好的来用就行了

![9b9bf4dd1f3e4e61f184afe8b8b9d9f9.png_shadow][]

当然，EMNLP 2019的一篇文章[Visualizing and Understanding the Effectiveness of BERT][]从学术角度仔细分析了为什么要使用预训练模型，文章表明，预训练模型可以大大加速损失的收敛，而不使用预训练模型，损失比较难下降。可以理解为，预训练模型提供了一种比随机初始化更好的初始化

![cc8d74d3928e16bfe77012d06215da55.png_shadow][]

另一个结论是，预训练模型可以大大增加模型的泛化能力。上图表示给模型不同参数时，模型训练后结束点的损失会抵达一个local minima的位置。这个local minima的位置越陡峭，则泛化能力越差，因为输入稍微变化，它的损失就会有很大的变动；反之，这个local minima越平缓，则泛化能力越强

#### [ELMo][] ####

![40562ad33d9b7f98b21be4f80b5afa92.png_shadow][]

ELM是时目前来说比较知名的双向网络。传统的LSTM只是从左往右过一遍句子，那预测下一个token所依赖的信息就只能取决于它左边的内容，为了能真正利用这个token的上下文，我们可以从右到左再过一遍句子，即BiLSTM。但实际上还不够，因为当模型在encode  w 1 , w 2 , w 3 , w 4 w\_1,w\_2,w\_3,w\_4 w1,w2,w3,w4的时候，它没看到句子后面的部分；而在encode  w 5 , w 6 , w 7 w\_5,w\_6,w\_7 w5,w6,w7的时候，也没考虑到句子前面的部分，所以ELMo在底层进行编码的时候并不是真正的双向。而在上层，由于两边的embedding进行了concat，此时它才同时看到了双向的信息

#### [BERT][] ####

![021b48d7d32505a148bfc55ef3a342d1.png_shadow][]

对于Transformer类模型（典型代表就是BERT），自注意力机制使得它能够同时看到上下文，每一个token两两之间都能交互，唯一要做的只是随机地把某个token用`[MASK]`遮住就可以了

![47cfda018bad1f8f5cac7efb4720b368.png_shadow][]

如果你回溯历史，回到[Word2vec][]刚刚掀起NLP革命的时候，你会发现CBOW的训练方式和BERT几乎一样，它们的主要区别在于，BERT能关注的范围长度是可变的，而CBOW的范围是固定的

#### [Whole Word Masking (WWM)][Whole Word Masking _WWM] ####

![f5c992fd808dd1820294fd127aeedff4.png_shadow][]

随机地mask掉某个token效果是否真的好呢？对于中文来说，词是由多个字组成的，一个字就是一个token。如果我们随机mask掉某个token，模型可能不需要学到很多语义依赖，就可以很容易地通过前面的字或后面的字来预测这个token。为此我们需要把难度提升一点，盖住的不是某个token，而是某个词（span），模型需要学到更多语义去把遮住的span预测出来，这便是BERT-wwm。同理，我们可以把词的span再延长一些，拓展成短语级别、实体级别（ERNIE）

#### [SpanBERT][] ####

![aff39ae1150ea942ec15fbcf37e94b6c.png_shadow][]

还有一种BERT的改进叫SpanBERT。它每次会盖住 n n n个token，其中 n n n是根据上图所示的概率得到的。实验结果发现，这种基于概率选择盖住多少个token的方式在某些任务上要更好一些

![e46e0525397cf07e407fee15b5c7040d.png_shadow][]

SpanBERT还提出了一种名为Span Boundary Objective (SBO)的训练方法。一般我们训练只是把masked的tokens给训练出来。而SBO希望通过被盖住范围的左右两边的输出，去预测被盖住的范围内有什么样的东西。如上图所示，将 w 3 w\_3 w3和 w 8 w\_8 w8的输出以及一个索引送入后续的网络中，其中这个索引表示我们希望预测的是span中哪个位置的词

#### [XLNet][] ####

![30a6eafe95afa35c429020e843b3ffdd.png_shadow][]

![e98a52296db7dc413894ab7fea975c38.png_shadow][]

关于XLNet更详细的讲解可以看这篇[博客][Link 2]。简单来说，XLNet认为BERT类模型训练和测试阶段不统一（训练阶段有`[MASK]`token，测试阶段没有），因此可能会存在某些问题。如果从Autoregressive的角度去看XLNet，其实就是将输入打乱顺序作为输入，然后从左往右预测下一个token。如果以AutoEncoder (BERT)的角度去看XLNet，我们希望根据`[MASK]`左边或者右边的信息去预测`[MASK]`位置的词。与BERT不同的地方在于，XLNet的输入没有`[MASK]`的存在

#### [MASS][] / [BART][] ####

![f39327d1713827eedcf8b7a79e56c3df.png_shadow][]

BERT类模型缺乏生成句子的能力，所以它不太适合做Seq2Seq的任务，而MASS和BART这两个模型就解决了BERT不擅长生成的问题。我们首先把一个句子输入到Encoder，我们希望Decoder的output就是Encoder的input，但有一点要注意的是，我们必须将Encoder的input做一定程度的破坏，因为如果没有任何破坏，Decoder直接将Encoder的输入copy过来就行了，它可能学不到什么有用的东西

MASS的做法是，把输入的一些部分随机用`[MASK]`token遮住。输出不一定要还原完整的句子序列，只要能把`[MASK]`的部分预测正确就可以了

![6397edaee74463bf0aadc1e3f103b921.png_shadow][]

在BART的论文中，它又提出了各式各样的方法，除了给输入序列随机mask以外，还可以直接删除某个token，或者随机排列组合等。关于BART更详细的讲解可以看这篇[文章][Link 3]

#### [UniLM][] ####

![e5121104989dfdec8422bdf5977ed023.png_shadow][]

还有一个模型叫UniLM，它既可以是编码器，也可以是解码器，还可以是Seq2Seq。UniLM由很多Transformer堆叠，它同时进行三种训练，包括BERT那样作为编码器的方式、GPT那样作为解码器的方式、MASS/BART那样作为Seq2Seq的方式。它作为Seq2Seq使用时，输入被分为两个片段，输入第一个片段的时候，该片段上的token之间可以互相注意，但第二个片段，都只能看左边token

#### [ELECTRA][] ####

![46a74c107171e6ee88e143374bb8faaf.png_shadow][]

预测一个东西需要的训练强度是很大的，ELECTRA想要简化这件事情，转为二分类问题，判断输入的某个词是否被随机替换了

![2ce3b62afaecf8cdbce710b068001d5b.png_shadow][]

但问题来了，怎样把一些词进行替换，同时保证文法没错，语义也不是那么奇怪的句子呢？因为如果token被替换成了一些奇怪的东西，模型很容易就能发现，ELECTRA就学不到什么厉害的东西了。论文用了另一个比较小的BERT去输出被mask的单词，这里不需要用很好的BERT，因为如果BERT效果太好，直接就输出了和原来一摸一样的单词，这也不是我们期望的。这个架构看上去有点像GAN，但实际上它并不是GAN，因为GAN的Generator在训练的时候，要骗过Discriminator。而这里的small BERT是自己训练自己的，只要把被mask的位置预测出来就好了，至于后面的模型预测的对不对和它没有关系

![c69a31dab8fd94c983453c05b3e7fc78.png_shadow][]

ELECTRA训练效果很惊人，在相同的预训练量下，GLUE上的分数比BERT要好很多，而且它只需要1/4的运算量就可以达到XLNet的效果

#### [T5][] ####

![a38c8fb34e13ad57129f91008e5cc101.png_shadow][]

预训练语言模型需要的资源太多，不是普通人随便就可以做的。谷歌有篇论文叫T5，它展现了谷歌庞大的财力和运算资源，这篇文论把各式各样的预训练方法都尝试了一次，然后得到了一些结论，让别人没有研究可做

#### Reference ####

*  [Notes | Bert系列的预训练模型][Notes _ Bert]
 *  [李宏毅 人类语言处理][Link 4]
 *  [BERT and its family][]

[b92c6d07d9278bb38aea2431e9f5dc1f.png_shadow]: /images/20221120/d789b761f4144431bf95920331887420.png
[3daaa6cab52a5405477657b99a85667d.png_shadow]: /images/20221120/077dedbe1a4e44b4b1980fae6d4827f1.png
[Distill BERT]: https://arxiv.org/pdf/1910.01108.pdf
[Tiny BERT]: https://arxiv.org/pdf/1909.10351.pdf
[Mobile BERT]: https://arxiv.org/pdf/2004.02984.pdf
[Q8BERT]: https://arxiv.org/pdf/1910.06188.pdf
[ALBERT]: https://arxiv.org/pdf/1909.11942.pdf
[Link 1]: https://www.bilibili.com/video/BV1yy4y1B7ny/
[All The Ways You Can Compress BERT]: http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html
[9b5ba6216fa7593a3b15d9233cf24031.png_shadow]: /images/20221120/07cc57cea38b4fd1b602909dbe7f0081.png
[Transfomer-XL]: https://arxiv.org/pdf/1901.02860.pdf
[Reformer]: https://arxiv.org/pdf/2001.04451.pdf
[Longformer]: https://arxiv.org/pdf/2004.05150.pdf
[Sentence-BERT]: https://arxiv.org/pdf/1908.10084.pdf
[Sentence-BERT 1]: https://wmathor.com/index.php/archives/1496/
[7e5310f4f995f47c0ab726b1b4c5b7b3.png_shadow]: /images/20221120/f78e509f47464509b006b9792de7d9f8.png
[3023427add39956951af533d5908ec13.png_shadow]: /images/20221120/5343ae4da2484138a6cc5ed437d24951.png
[176b123078e99e924ff96a5cf2a5683e.png_shadow]: /images/20221120/f36a14433780431d8dc843b37b01ee07.png
[99bf01e191d6a65fc85e61c52fc16e28.png_shadow]: /images/20221120/cf16fce2a41841c3bc8f44692b72cf1a.png
[d6e1aefa1ebccc08b4040739eef4d640.png_shadow]: /images/20221120/f24213085aa54957aad167aba132d5d8.png
[bert-as-service]: https://github.com/hanxiao/bert-as-service
[FAQ]: https://github.com/hanxiao/bert-as-service#speech_balloon-faq
[9b9bf4dd1f3e4e61f184afe8b8b9d9f9.png_shadow]: /images/20221120/a4a6f2e9e8374415946d331680867888.png
[Visualizing and Understanding the Effectiveness of BERT]: https://arxiv.org/pdf/1908.05620.pdf
[cc8d74d3928e16bfe77012d06215da55.png_shadow]: /images/20221120/b68bb76f7132436190aa156c7a34fb2f.png
[ELMo]: https://arxiv.org/pdf/1802.05365.pdf
[40562ad33d9b7f98b21be4f80b5afa92.png_shadow]: /images/20221120/e17296e893f74a3e9e6ded6c99240c0a.png
[BERT]: https://arxiv.org/pdf/1810.04805.pdf
[021b48d7d32505a148bfc55ef3a342d1.png_shadow]: /images/20221120/80c78dfb84bf4ce29f1b010b34d0d36a.png
[47cfda018bad1f8f5cac7efb4720b368.png_shadow]: /images/20221120/5dc0fd22f5a344608e1b35b5f4f5d7d1.png
[Word2vec]: https://wmathor.com/index.php/archives/1430/
[Whole Word Masking _WWM]: https://arxiv.org/pdf/1906.08101.pdf
[f5c992fd808dd1820294fd127aeedff4.png_shadow]: /images/20221120/8357e11d912549e6a2bc448173c05540.png
[SpanBERT]: https://arxiv.org/pdf/1907.10529.pdf
[aff39ae1150ea942ec15fbcf37e94b6c.png_shadow]: /images/20221120/4059f09549254e8991a32716b9c8c7ed.png
[e46e0525397cf07e407fee15b5c7040d.png_shadow]: /images/20221120/565dc4cba8dd462f86ac11a8eb3e3744.png
[XLNet]: https://arxiv.org/pdf/1906.08237.pdf
[30a6eafe95afa35c429020e843b3ffdd.png_shadow]: /images/20221120/e1fd826bcad14cbb82e121e1515a4b7a.png
[e98a52296db7dc413894ab7fea975c38.png_shadow]: /images/20221120/8d8947c55fc3451aaaf5f5d902a76d5c.png
[Link 2]: https://wmathor.com/index.php/archives/1475/
[MASS]: https://arxiv.org/abs/1905.02450
[BART]: https://arxiv.org/pdf/1910.13461.pdf
[f39327d1713827eedcf8b7a79e56c3df.png_shadow]: /images/20221120/13ba552b7d2f4be4bf8f1fd4f718c6cb.png
[6397edaee74463bf0aadc1e3f103b921.png_shadow]: /images/20221120/1caa173bb367457bb58a7355887c6303.png
[Link 3]: https://wmathor.com/index.php/archives/1505/
[UniLM]: https://arxiv.org/pdf/1905.03197.pdf
[e5121104989dfdec8422bdf5977ed023.png_shadow]: /images/20221120/c25b2d5480f343a9a5cc383419171dd8.png
[ELECTRA]: https://arxiv.org/pdf/2003.10555.pdf
[46a74c107171e6ee88e143374bb8faaf.png_shadow]: /images/20221120/ef440b8407154af3a19c7c8c5d0788f6.png
[2ce3b62afaecf8cdbce710b068001d5b.png_shadow]: /images/20221120/f7c574c0b53542e9b2a8daab973697d2.png
[c69a31dab8fd94c983453c05b3e7fc78.png_shadow]: /images/20221120/72599c1ffd5a4db18751a72d511c4afc.png
[T5]: https://arxiv.org/pdf/1910.10683.pdf
[a38c8fb34e13ad57129f91008e5cc101.png_shadow]: /images/20221120/34a7d810584b43be9976a974445770da.png
[Notes _ Bert]: https://www.cnblogs.com/shona/p/13786691.html
[Link 4]: https://zhuanlan.zhihu.com/p/146193549
[BERT and its family]: https://www.youtube.com/watch?v=Bywo7m6ySlk