从Jay Alammar的博文看Transformer

我会带着你远行 2022-11-29 11:54 114阅读 0赞

# 0.总结 #

*  本篇文章是结合 Jay Alammar 关于[The Illustrated Transformer][]文章 做出的一个小总结。下面的博文二字指的都是这篇文章、下面的引用都是原博文的一部分，而我自己的见解和看法会以正文的形式出现。
 *  本文适合初入门（稍有基础）的小白阅读（如果没有基础，可能会因为我文章火候不足而误导你），但是欢迎各位大佬降维打击&拍砖。若有疑问请留在评论区，我会第一时间回复~
 *  小白心声：我央求那些大佬们能不能多写一点儿nlp相关文章，救救我这种看英语文章成痴呆，却又尚未入门的菜鸟？
 *  本博文中英混杂，不习惯的直接逃吧~

--------------------

# 1.Transformer 是什么？ #

Jay Alammar 给出的描述是：

> In this post, we will look at The Transformer – a model that uses attention to boost the speed with which these models can be trained.

[Google blog][] 给出的描述是：

> Transformer: A Novel Neural Network Architecture based on self-attention mechanism for Language Understanding

简洁点儿就是： `transformer` 是由 `attention` 构成的。所以在弄懂 `transformer` 之前必须搞懂 `attention`。

# 2.为什么提出来？& 哪里提出来的？ #

## 2.1 为什么提出来？ ##

因为RNN的缺点【什么缺点？为什么有？】而提出了Transformer。  
背景：seq2seq （常见的应用场景就是翻译）

*  RNN在做Encoder的时候很难做长程依赖，所以其编码的信息质量就不是很好 => 衍化出attention
 *  在使用context 向量作为解码输入的时候，会因为这个embedding固化不动而导致无法更好的利用上下文 => 再次使用attention  
    见下图所示：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]

## 2.2 哪里提出来的？ ##

> The Transformer was proposed in the paper 《Attention is all your Need》

# 3.基础结构 #

从上到下、由里到外的顺序来谈谈 Transformer 的结构问题，

> Tansformers is consit of encoding component, a decoding component, and connections between them.  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]

> The encoding component is a stack of encoders (the paper stacks six of them on top of each other – there’s nothing magical about the number six, one can definitely experiment with other arrangements). The decoding component is a stack of decoders of the same number.  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 1]

> The encoders are all identical in structure (yet they do not share weights). Each one is broken down into two sub-layers: self-Attention + Feed Forward Neural Network  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 2]

那么Self-Attention 主要是什么样的？ 由 FFNN 可以猜测 self-attention也是一种神经网络 ，只不过是结构上存在一些变化而已。 我认为：说self-attention 是神经网络是不正确的，里面没有很多的神经元，因此算不上。

## 3.1 self-attention ##

### 3.1.1 是什么？ ###

首先应该先谈谈什么是`self-attention`，再看 self-attention 层的作用。

> Self-attention is the method the Transformer uses to bake the “understanding” of other relevant words into the one we’re currently processing.

### 3.1.2 长什么样？ ###

这里以 `scaled dot-product Attention` 为例：  
![scaled dot-product attention][]  
处理过程：

*  step1. create three vectors from each of the encoder’s input vectors【因为我们拿的是第一层encoder做例子，所以这里的输入vector 就是三个单词的embedding】
 *  setp2. for each word, we create a Query vector, a Key vector, a Value vector.These vectors are created by multiplying the embedding by three matrices that we trained during the training process. 【刚开始学习Attention的时候，看了网上很多博文，根本不知道`q,k,v`这些vector是怎么来的，心里真是mmp，写的什么文章 现在知道了，我们需要先创建 W Q , W K , W V W^Q , W^K, W^V WQ,WK,WV三个矩阵，可以随意初始化，后面会给训练好，然后将每个词的 embedding 与其相乘，那么就得到了各个词对应的`query/key/value vector`~】  
    需要注意的是：这些向量在维度上都比 `embedding vector`要小。

就如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 3]上图中的 W Q , W K , W V W^Q,W^K,W^V WQ,WK,WV就是我们需要初始化的三个权值矩阵，这个也是需要学习的。

*  step3. calculate a score.

> We need to score each word of the input sentence against this word. The score determines how much focus to place on other parts of the input sentence as we encode a word at a certain position.

> The score is calculated by taking the dot product of the query vector with the key vector of the respective word we’re scoring.

*  step4. divide the scores by some value, then pass the result through a softmax operation  
    这里的`some value` 大概率上都默认是the square root of the dimension of the key vectors. 原因就是：This leads to having more stable gradients. There could be other possible values here.

> This softmax score determines how much each word will be expressed at this position.

*  step5. multiply each value vector by the softmax score  
    这么做的目的显而易见： 就是为了关注权重高的词，忽略权重小的词。也就是博文中说的： keep intact the values of the word(s) we want to focus on, and drown-out irrelevant words.
 *  step6.sum up the weighted value vectors. This produces the output of the self-attention layer at this position (for the first word).

实际处理时，因为想加快运行速度，所以采用的是矩阵乘法。下面就来来看看如何在矩阵基础上完成词的计算。

### 3.1.3 并行化 => Matrix Calculation of Self-Attention ###

矩阵相对向量来说，最大的好处即是可以并行化，加快数据处理速度。

*  step1. calculate the Query ,Key, Value matrices  
    We do that by packing our embeddings into a matrix X, and multiplying it by the weight matrices we’ve trained ( W Q , W K , W V W^Q, W^K, W^V WQ,WK,WV).  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 4]>Every row in the  X X X matrix corresponds to a word in the input sentence.
 *  step2. dealing with matrices  
    将上面各个步骤【q和k的点积 => 除以平方根 => 取softmax => 乘以 v，最后得到z。因为这里讲的是matrix计算，所以将各个vector 合并则得到一个matrix】压缩到一起合成一个步骤，便得到如下的图示：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 5]  
    作用

> a layer that helps the encoder look at other words in the input sentence as it encodes a specific word.

也就是文中说的另一句话：

> self attention allows it to look at other positions in the input sequence for clues that can help lead to a better encoding for this word.

### 3.1.4 升级 => mulit-head Attention ###

> The paper further refined the self-attention layer by adding a mechanism called “multi-headed” attention.

优点：

*  expands the model’s ability to focus on different positions.  
    扩展模型聚焦在不同位置的能力，下面谈谈为什么能扩展？
 *  gives the attention layer multiple “representation subspaces”. As we’ll see next, with multi-headed attention we have not only one, but multiple sets of Query/Key/Value weight matrices (the Transformer uses eight attention heads, so we end up with eight sets for each encoder/decoder). Each of these sets is randomly initialized. Then, after training, each set is used to project the input embeddings (or vectors from lower encoders/decoders) into a different representation subspace.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 6]照单个 attention 的流程来做的话，那么如果有n（这里取的是8）套 n = 8 n=8 n=8，就会得到8个结果，如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 7]  
将这8个z（ z 0 − z 7 z\_0 - z\_7 z0−z7）拼接起来，就得到了最后要的输出。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 8]把上面所有的矩阵放到一起，区分一下就是如下这张图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 9]

### 3.1.5 再升级 => `sum of embedding` ###

思想：使用各种embedding 弥补&完善模型（在处理语义信息，位置方面）。

> One thing that’s missing from the model as we have described it so far is a way to account for the order of the words in the input sequence.

> To address this, the transformer adds a vector to each input embedding. These vectors follow a specific pattern that the model learns, which helps it determine the position of each word, or the distance between different words in the sequence. The intuition here is that adding these values to the embeddings provides meaningful distances between the embedding vectors once they’re projected into Q/K/V vectors and during dot-product attention.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 10]

## 3.2 The Residuals ##

> One detail in the architecture of the encoder that we need to mention before moving on, is that each sub-layer (self-attention, ffnn) in each encoder has a residual connection around it, and is followed by a layer-normalization step.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 11]  
这里的虚线就是所谓的**残差网络**，其实它不是 transformer 的重点，只能算是一个小trick而已~ 如果想要彻底的可视化这个过程，也就是像下面这样：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 12]

## 3.3 The Deocder Side ##

## 3.4 The Final Linear and softmax Layer ##

> The decoder stack outputs a vector of floats. How do we turn that into a word? That’s the job of the final Linear layer which is followed by a Softmax Layer.

上面这个方法是通常的tensor 转 word的方法。

> The Linear layer is a simple fully connected neural network that projects the vector produced by the stack of decoders, into a much, much larger vector called a logits vector.  
> Let’s assume that our model knows 10,000 unique English words (our model’s “output vocabulary”) that it’s learned from its training dataset. This would make the logits vector 10,000 cells wide – each cell corresponding to the score of a unique word. That is how we interpret the output of the model followed by the Linear layer.  
> The softmax layer then turns those scores into probabilities (all positive, all add up to 1.0). The cell with the highest probability is chosen, and the word associated with it is produced as the output for this time step.

## 3.5 The Loss Function ##

*  模型一次产生一个输出，并且这个输出是最高概率的那个。这种方法叫做贪心法。
 *  另外一种方法是：保留两个最高概率的词，然后比较这两个词在模型中的损失大小，取较小的那个。这种方法叫做 beam search。  
    疑问：模型指的是什么？损失怎么计算？怎么比较损失？

# 4.运作流程【实例展示数据处理过程】 #

这里先总结一下博文中的内容：

*  step 1.使用embedding 技术将 word 变成了 vector。 维度大小都是512维
 *  step 2.这些embedding只会出现在最底层的 encoder 中。但是每个 encoder 都是接收 a list of vectors，且它们的大小都是 512。 这个list 的大小是一个超参数，我们可以自己设置，通常情况，就是训练数据中最长句子的长度。【这个原因是：每个单词对应一个embedding，一个 sentence 会有多个word，所以就会有多个 word embedding，所以就会出现每个sentence 的 list不同，这里取最长的为标准。那么不够的是不是就是补0？？？】  
    这么说 输入的数据就会组成一个矩阵了吗？ **比如说下图中的输入是什么？是把这三个向量组合起来成一个矩阵？还是依次输入？**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 13]我个人的理解是：这里是数据的同时输入，也就是把`Je suis étudiant` 中每个词的embedding 组成一个矩阵，然后同时输入到self-attention 中。

# 5.模型特点 #

## 5.1 parallelize ##

> The biggest benefit, however, comes from how The Transformer lends itself to parallelization.

下面就解释为什么这里会有一个并行操作？

> … to see one key property of the Transformer, which is that the word in each position flows through its own path in the encoder. There are dependencies between these paths in the self-attention layer.The feed-forward layer does not have those dependencies, however, and thus the various paths can be executed in parallel while flowing through the feed-forward layer.

# 6.应用方面 #

Jay 的博客中的介绍的方向是翻译（seq2seq），但是问题是，为什么会选择这个方向作为示例讲解？ Transformer就是根据这个提出来的吗？其源点来自何处？  
是的，其实Transformer 就是`seq2seq model with self-attention` 这一点，也可以很好的在李宏毅老师的课程中找到相关印证。所以Jay的博文里使用`seq2seq`做介绍，再合适不过了

# 7.疑问 #

读到这儿了，也要开始打开自己的脑子，问一些问题。

## 7.1 为什博文中用的是翻译的seq2seq 做引子，你可以看之前的图片+例子，都是用翻译做的例子？ ##

上面已经说过了，这里不再提了。

## 7.2 transformer 的encoder layer 和 decoder layer部分都是线性的吗？为什么效果好？ ##

之前说过，线性的网络不如神经网络，但是为什么这里的线性就这么管用？

## 7.3 并行到底是怎么并行的？ ##

> Transformer 和 LSTM 的最大区别，就是 LSTM 的训练是迭代的、串行的，必须要等当前字处理完，才可以处理下一个字。而 Transformer 的训练时并行的，即所有字是同时训练的，这样就大大增加了计算效率。Transformer 使用了位置嵌入 (Positional Encoding) 来理解语言的顺序，使用自注意力机制（Self Attention Mechanism）和全连接层进行计算。

我认为`Transformer`中的并行体现在如下几个方面（主要是从encoder 和 decoder 部分来谈）：

*  矩阵的并行计算，从而可以同时计算一条句子的多个单词，甚至是多条句子！这样Encoder就可以同时编码
 *  在模型训练的时候，decoder中的mask attention中也是得到一个矩阵，然后并行计算。

## 7.4 为什么叫self-attention？ ##

这个定义可以在论文《Attention is all your need》中查找到，它是这么说的：

> Self-attention, sometimes called intra-attention is an attention mechanism relating different positions of a single sequence in order to compute a representation of the sequence. Self-attention has been used successfully in a variety of tasks including reading comprehension, abstractive summarization, textual entailment and learning task-independent sentence representations

简单说一下：因为是一个句子中的某个位置的词同该句子中其它位置的词的attention操作，这里体现了一种自我的特点，故称之为`self-attention`

## 7.5 What are the “query”, “key”, and “value” vectors? & 又有什么用？ ##

这三个其实都是向量，针对不同的 x i x\_i xi 都有一个 q i , k i , v i q\_i,k\_i,v\_i qi,ki,vi ，然后n个 x 1 , x 2 , . . . x n x\_1,x\_2,...x\_n x1,x2,...xn 对应的q,k,v 得到的就是一个矩阵Q,K,V，这样就可以做并行化操作了。

# 参考资料 #

*  https://jalammar.github.io/illustrated-transformer/
 *  https://wmathor.com/index.php/archives/1438/ 【该文有很好的动态演示】
 *  https://mp.weixin.qq.com/s/RLxWevVWHXgX-UcoxDS70w

[The Illustrated Transformer]: https://jalammar.github.io/illustrated-transformer/
[Google blog]: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221124/abeece8b5834412595a77353361c3743.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/af38ffd3c0e6463e87fcbc17594d4d56.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/3f5d6e02c7e04188aefd89cd6cda6c76.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/b7021afd02ca41d3a908bd553e4d8a35.png
[scaled dot-product attention]: /images/20221124/01b1e8e3e3ca447aaca8fa00ae0c9b43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/be127210d30c4bfe87f031f8c651515c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/f3ba7760298142eabb903f2db344ab80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/507075f9e97848258bc410bb863529aa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/eca9279e200546d887141167cabe9bf3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/221d43cb370b4cb188a3410c424eae70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/521b9089cab1432395f35d5b404b4f44.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/1aaac8bb05774d71a4d102eab8e5e853.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221124/154ba7cc064149208ff2e047da0e2093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221124/ba6dd8a6671f44708f73699dd5ed7aef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221124/bdf40b1b22ca4b13867e6062dcfaed54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221124/cee77ad1dbc743fbb8a5f85a2216a3c3.png