超细节的BERT/Transformer知识点

矫情吗；* 2022-11-25 13:14 263阅读 0赞

随着NLP的不断发展，对BERT/Transformer相关知识的研(mian)究(shi)应(ti)用(wen)，也越来越细节，下面尝试用QA的形式深入不浅出BERT/Transformer。

> 1、Transformer在哪里做了权重共享，为什么可以做权重共享？
> 
> 2、Self-Attention 的时间复杂度是怎么计算的？
> 
> 3、不考虑多头的原因，self-attention中词向量不乘QKV参数矩阵，会有什么问题？
> 
> 4、为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？
> 
> 5、为什么BERT最多只能输入512个词，最多只能两个句子合成？
> 
> 6、为什么BERT在第一句前会加一个\[CLS\]标志?

**1、Transformer在哪里做了权重共享，为什么可以做权重共享？**

Transformer在两个地方进行了权重共享：

（1）Encoder和Decoder间的Embedding层权重共享；

（2）Decoder中Embedding层和FC层权重共享。

对于（1），《Attention is all you need》中Transformer被应用在机器翻译任务中，源语言和目标语言是不一样的，但它们可以共用一张大词表，对于两种语言中共同出现的词（比如：数字，标点等等）可以得到更好的表示，而且对于Encoder和Decoder，嵌入时都只有对应语言的embedding会被激活，因此是可以共用一张词表做权重共享的。

论文中，Transformer词表用了bpe来处理，所以最小的单元是subword。英语和德语同属日耳曼语族，有很多相同的subword，可以共享类似的语义。而像中英这样相差较大的语系，语义共享作用可能不会很大。

但是，共用词表会使得词表数量增大，增加softmax的计算时间，因此实际使用中是否共享可能要根据情况权衡。[该点参考][Link 1]

对于（2），Embedding层可以说是通过onehot去取到对应的embedding向量，FC层可以说是相反的，通过向量（定义为 v）去得到它可能是某个词的softmax概率，取概率最大（贪婪情况下）的作为预测值。

那哪一个会是概率最大的呢？在FC层的每一行量级相同的前提下，理论上和 v 相同的那一行对应的点积和softmax概率会是最大的（可类比本文问题1）。

因此，Embedding层和FC层权重共享，Embedding层中和向量 v 最接近的那一行对应的词，会获得更大的预测概率。实际上，Embedding层和FC层有点像互为逆过程。

通过这样的权重共享可以减少参数的数量，加快收敛。

但开始我有一个困惑是：Embedding层参数维度是：(v,d)，FC层参数维度是：(d,v)，可以直接共享嘛，还是要转置？其中v是词表大小，d是embedding维度。

查看 pytorch 源码发现真的可以直接共享：

fc = nn.Linear(d, v, bias=False)	# Decoder FC层定义
    
    weight = Parameter(torch.Tensor(out_features, in_features))	  # Linear层权重定义

Linear 层的权重定义中，是按照 (out\_features, in\_features) 顺序来的，实际计算会先将 weight 转置在乘以输入矩阵。所以 FC层 对应的 Linear 权重维度也是 (v,d)，可以直接共享。

**2、Self-Attention 的时间复杂度是怎么计算的？**

Self-Attention时间复杂度： O ( n 2 ⋅ d ) O(n^2 \\cdot d) O(n2⋅d)，这里，n是序列的长度，d是embedding的维度。

Self-Attention包括**三个步骤：相似度计算，softmax和加权平均**，它们分别的时间复杂度是：

相似度计算可以看作大小为 ( n , d ) (n,d) (n,d)和 ( d , n ) (d,n) (d,n)的两个矩阵相乘： ( n , d ) ∗ ( d , n ) = O ( n 2 ⋅ d ) (n,d)\*(d,n)=O(n^2 \\cdot d) (n,d)∗(d,n)=O(n2⋅d)，得到一个 ( n , n ) (n,n) (n,n)的矩阵

softmax就是直接计算了，时间复杂度为 O ( n 2 ) O(n^2) O(n2)

加权平均可以看作大小为 ( n , n ) (n,n) (n,n)和 ( n , d ) (n,d) (n,d)的两个矩阵相乘： ( n , n ) ∗ ( n , d ) = O ( n 2 ⋅ d ) (n,n)\*(n,d)=O(n^2 \\cdot d) (n,n)∗(n,d)=O(n2⋅d)，得到一个 ( n , d ) (n,d) (n,d)的矩阵

因此，Self-Attention的时间复杂度是 O ( n 2 ⋅ d ) O(n^2 \\cdot d) O(n2⋅d)。

这里再分析一下Multi-Head Attention，它的作用类似于CNN中的多核。

多头的实现不是循环的计算每个头，而是通过 transposes and reshapes，用矩阵乘法来完成的。

> In practice, the multi-headed attention are done with transposes and reshapes rather than actual separate tensors. —— 来自 google BERT 源码

Transformer/BERT中把 \*\*d ，\*\*也就是hidden\_size/embedding\_size这个维度做了reshape拆分，可以去看Google的TF[源码][Link 2]或者上面的pytorch源码：

> hidden\_size (d) = num\_attention\_heads (m) \* attention\_head\_size (a)，也即 d=m\*a

并将 num\_attention\_heads 维度transpose到前面，使得Q和K的维度都是(m,n,a)，这里不考虑batch维度。

这样点积可以看作大小为(m,n,a)和(m,a,n)的两个张量相乘，得到一个(m,n,n)的矩阵，其实就相当于m个头，时间复杂度是 O ( n 2 ⋅ m 2 ⋅ a ) = O ( n 2 ⋅ d ⋅ m ) O(n^2 \\cdot m^2 \\cdot a)=O(n^2 \\cdot d \\cdot m) O(n2⋅m2⋅a)=O(n2⋅d⋅m) 。

张量乘法时间复杂度分析参见：[矩阵、张量乘法的时间复杂度分析][Link 3]

因此Multi-Head Attention时间复杂度就是 O ( n 2 ⋅ d ⋅ m ) O(n^2 \\cdot d \\cdot m) O(n2⋅d⋅m) ，而实际上，张量乘法可以加速，因此实际复杂度会更低一些。

不过，对于做 transposes and reshapes 的逻辑，个人没有理的很明白，希望大佬看到能留言解答一下，感谢。

**3、不考虑多头的原因，self-attention中词向量不乘QKV参数矩阵，会有什么问题？**

Self-Attention的核心是**用文本中的其它词来增强目标词的语义表示**，从而更好的利用上下文的信息。

self-attention中，sequence中的每个词都会和sequence中的每个词做点积去计算相似度，也包括这个词本身。

如果不乘QKV参数矩阵，那这个词对应的q,k,v就是完全一样的。

在相同量级的情况下，qi与ki点积的值会是最大的（可以从“两数和相同的情况下，两数相等对应的积最大”类比过来）。

那在softmax后的加权平均中，该词本身所占的比重将会是最大的，使得其他词的比重很少，无法有效利用上下文信息来增强当前词的语义表示。

而乘以QKV参数矩阵，会使得每个词的q,k,v都不一样，能很大程度上减轻上述的影响。

当然，QKV参数矩阵也使得多头，类似于CNN中的多核，去捕捉更丰富的特征/信息成为可能。

**4、为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？**

BERT采用的Masked LM，会选取语料中所有词的15%进行随机mask，论文中表示是受到完形填空任务的启发，但其实**与CBOW也有异曲同工之妙**。

从CBOW的角度，这里  p = 15 % p=15\\% p=15% 有一个比较好的解释是：在一个大小为  1 / p = 100 / 15 ≈ 7 1/p=100/15\\approx7 1/p=100/15≈7 的窗口中随机选一个词，类似CBOW中滑动窗口的中心词，区别是这里的滑动窗口是非重叠的。

上述非官方解释，是来自我的一位朋友。那从CBOW的滑动窗口角度，10%~20%都是还ok的比例。

**5、BERT输入为什么最多只能输入512个词，最多只能两个句子合成一句？**

这是BERT的初始设置的原因，前者对应Position Embeddings，后者对应Segment Embeddings

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iDquzfE9-1596956299094)(F:\\OneDrive\\markdown\\自然语言处理\\bert\_embedding.png)\]

在BERT中，Token，Position，Segment Embeddings **都是通过学习来得到的**，pytorch代码中它们是这样的

self.word_embeddings = Embedding(config.vocab_size, config.hidden_size)
    self.position_embeddings = Embedding(config.max_position_embeddings, config.hidden_size)
    self.token_type_embeddings = Embedding(config.type_vocab_size, config.hidden_size)

而在BERT config中

"max_position_embeddings": 512
    "type_vocab_size": 2

因此，在直接使用Google 的BERT预训练模型时，输入最多512个词（还要除掉\[CLS\]和\[SEP\]），最多两个句子合成一句。这之外的词和句子会没有对应的embedding。

当然，如果有足够的硬件资源自己重新训练BERT，可以更改 BERT config，设置更大max\_position\_embeddings 和 type\_vocab\_size值去满足自己的需求。

**6、为什么BERT在第一句前会加一个\[CLS\]标志?**

BERT在第一句前会加一个\[CLS\]标志，最后一层该位对应向量可以作为整句话的语义表示，从而用于下游的分类任务等。

为什么选它呢，因为与文本中已有的其它词相比，这个无明显语义信息的符号会**更“公平”地融合文本中各个词的语义信息**，从而更好的表示整句话的语义。

这里补充一下bert的输出，有两种：

一种是get\_pooled\_out()，就是上述\[CLS\]的表示，输出shape是\[batch size,hidden size\]。

一种是get\_sequence\_out()，获取的是整个句子每一个token的向量表示，输出shape是\[batch\_size, seq\_length, hidden\_size\]，也包括\[CLS\]。

[Link 1]: https://www.zhihu.com/question/333419099/answer/743341017
[Link 2]: https://link.zhihu.com/?target=https%3A//github.com/google-research/bert
[Link 3]: https://link.zhihu.com/?target=https%3A//liwt31.github.io/2018/10/12/mul-complexity/