Multi- Head self-Attention 机制详解

深藏阁楼爱情的钟 2022-09-11 06:13 109阅读 0赞

原文链接：[https://www.jianshu.com/p/e647d3a10d9c][https_www.jianshu.com_p_e647d3a10d9c]

在「[拆 Transformer 系列一：Encoder-Decoder 模型架构详解][Transformer _Encoder-Decoder]」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。

现在，我还要打算继续详细讲解 Attention，主要讲解 Transformer 中的 Multi-Head Attention 如何实现？通过图解加说明来讲解。

### Self-Attention ###

上一节我们讲到，Self-Attention 的 Query=Key=Value，即 Q，K，V 三个矩阵都来自同一个输入，而 Attention 计算过程如何呢？

![Image 1][]

image

Attention 机制实质上就是一个寻址过程，通过给定一个任和务相关的查询 Query 向量 Q，通过计算与 Key 的注意力分布并附加在 Value 上，从而计算 Attention Value，这个过程实际上是 Attention 缓解神经网络复杂度的体现，不需要将所有的 N 个输入都输入到神经网络进行计算，而是选择一些与任务相关的信息输入神经网络，与 RNN 中的门控机制思想类似。

Attention 机制计算过程大致可以分成三步：

> ① 信息输入：将 Q，K，V 输入模型
> 
>  *  用 ![X=\[x\_1,x\_2,...x\_n\]][X_x_1_x_2_...x_n] 表示输入权重向量
> 
> ② 计算注意力分布 α：通过计算 Q 和 K 进行点积计算相关度，并通过 softmax 计算分数
> 
>  *  另 ![Q=K=V=X][Q_K_V_X]，通过 softmax 计算注意力权重，![α\_i=softmax(s(k\_i,q))=softmax(s(x\_i, q))][i_softmax_s_k_i_q_softmax_s_x_i_ q]
>  *  我们将 ![α\_i][i] 称之为注意力概率分布，![s(x\_i, q)][s_x_i_ q] 为注意力打分机制，常见的有如下几种：
>     
>      *  加性模型：![s(x\_i,q)=v^Ttanh(Wx\_i+Uq)][s_x_i_q_v_Ttanh_Wx_i_Uq]
>      *  点积模型：![s(x\_i,q)=x\_i^Tq][s_x_i_q_x_i_Tq]
>      *  缩放点积模型：![s(x\_i,q)=\{x\_i^Tq\}/\\sqrt\{d\_k\}][s_x_i_q_x_i_Tq_sqrt_d_k]
>      *  双线性模型：![s(x\_i,q)=x\_i^TWq][s_x_i_q_x_i_TWq]
> 
> ③ 信息加权平均：注意力分布 ![α\_i][i] 来解释在上下文查询 ![q\_i][q_i] 时，第 ![i][i 1] 个信息受关注程度。
> 
> ![att(q,X)=\\sum\_\{i=1\}^N\{α\_iX\_i\}][att_q_X_sum_i_1_N_iX_i]

上面讲述了 Attention 的通用计算过程，也讲述了注意力分数计算的多种选择，那么在 Transformer 中，采用哪种呢？答案就是：**Scaled Dot-Product Attention**

![Image 1][]

image

上图所示就是 Scaled Dot-Product Attention 的简图，可以看到输入的 Q，K，V 都相同。

![Image 1][]

image

可以看到 Scaled Dot-Product Attention 有个缩放因子 ![\\sqrt\{d\_k\}][sqrt_d_k]，为什么要加这个缩放因子呢？

> 如果 ![d\_k][d_k] 很小， additive attention 和 dot-product attention 相差不大。
> 
> 但是如果 ![d\_k][d_k] 很大，点乘的值很大，如果不做 scaling，结果就没有 additive attention 好。
> 
> 另外，点乘结果过大，使得经过 softmax 之后的梯度很小，不利于反向传播，所以对结果进行 scaling。

我们在上一节中简单提到 Self-Attention 能够捕获长距离依赖，并且能够学习到句子内部结构及语法，那么 Self-Attention 的计算流程又是如何呢？

##### Step 1 #####

首先给出信息输入：用 ![X=\[x\_1,x\_2,...x\_n\]][X_x_1_x_2_...x_n] 表示 ![N][] 个输入信息，通过线性变换得到 Q，K，V 三个向量的初始表示：

> ![Q=W\_qX][Q_W_qX]
> 
> ![K=W\_kX][K_W_kX]
> 
> ![V=W\_vX][V_W_vX]

![Image 1][]

image

##### Step 2 #####

计算自注意力得分，假设我们正在计算下图中的第一个单词 “ Thinking” 的自注意力，则我们需要计算 “Thinking” 这个单词对句子中每个单词的评分。分数决定了当我们在某个位置对单词进行编码时，要在输入句子的其他部分上投入多少注意力。

通过将 Q 和 各个单词的关键字向量 K 进行点积计算分数，因此，如果我们正在处理位置 \#1 上的单词的自我注意，则第一个分数将是 ![q\_1][q_1] 和 ![k\_1][k_1] 的点积。第二个分数是 ![q\_1][q_1] 和 ![k\_2][k_2] 的点积。

![q\_1.k\_1=112,q\_1.k2=96][q_1.k_1_112_q_1.k2_96]

![Image 1][]

image

##### Step 3 #####

对 Step 2 中计算的分数进行 Scale，这里通过除以 8 ( 论文中 ![d\_k=64][d_k_64]，这可以让模型有更稳定的梯度，默认值是 64，也可以是其它值 )，将结果进行softmax 归一化。

![z\_1=q\_1.k\_1/\\sqrt\{d\_k\}=112/\\sqrt\{64\}=112/8=14,z\_2=q\_1.k\_2/\\sqrt\{d\_k\}=96/\\sqrt\{64\}=96/8=12][z_1_q_1.k_1_sqrt_d_k_112_sqrt_64_112_8_14_z_2_q_1.k_2_sqrt_d_k_96_sqrt_64_96_8_12]

![softmax(z\_1)=exp(z\_1)/\\sum\_\{i=1\}^2(exp(z\_i))=0.88,softmax(z\_2)=exp(z\_2)/\\sum\_\{i=1\}^2(exp(z\_i))0.12][softmax_z_1_exp_z_1_sum_i_1_2_exp_z_i_0.88_softmax_z_2_exp_z_2_sum_i_1_2_exp_z_i_0.12]

![Image 1][]

image

##### Step 4 #####

利用得分分别乘以 ![v\_1,v\_2][v_1_v_2] 后得到一个加权后的值，将这些值加起来得到 ![z\_1][z_1]。这就是这一层的输出，仔细感受一下，用 ![Q,K][Q_K] 去计算一个 ![thinking][] 对 ![thinking，machine][thinking_machine] 的权重，用权重乘以 ![thinking,machine][thinking_machine 1] 的 ![V][] 得到加权后的 ![thinking,machine][thinking_machine 1] 的 ![V][]，最后求和得到针对各个单词的输出 ![z][]。

![Image 1][]

image

### 多头注意力机制 ###

![Image 1][]

image

论文中表明，将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息。上图中Multi-Head Attention 就是将 Scaled Dot-Product Attention 过程做 H 次，再把输出合并起来。

多头注意力机制的公式如下：

![Q\_i=QW\_i^Q,K\_i=KW\_i^K,V\_i=VW\_i^V,i=1,...,8][Q_i_QW_i_Q_K_i_KW_i_K_V_i_VW_i_V_i_1_..._8]

![head\_i=Attention(Q\_i,K\_i,V\_i),i=1,...,8][head_i_Attention_Q_i_K_i_V_i_i_1_..._8]

![MultiHead(Q,K,V)=Concact(head\_1,...,head\_8)W^O][MultiHead_Q_K_V_Concact_head_1_..._head_8_W_O]

这里，我们假设 ![Q,K,V∈R^\{512\},W\_i^Q,W\_i^K,W\_i^V∈R^\{512\\times64\},W^O∈R^\{512\\times512\},head\_i∈R^\{64\}][Q_K_V_R_512_W_i_Q_W_i_K_W_i_V_R_512_times64_W_O_R_512_times512_head_i_R_64]

> ① 输入句子 “tinking machine”
> 
> ② 将句子进行 Tokenize 转换成 Word Embedding X
> 
> ③ 将 X 切分成 8 份，并与权重 ![W\_i][W_i] 相乘，构成输入向量 ![W\_iX][W_iX]，形成 ![Q\_i,K\_i,V\_i,i=1,...,8][Q_i_K_i_V_i_i_1_..._8]
> 
> ④ 计算 Attention 权重矩阵，![z\_i=softmax(Q\_iK\_i^T/\\sqrt\{d\_k\})V\_i][z_i_softmax_Q_iK_i_T_sqrt_d_k_V_i]，最后将每个 ![z\_i][z_i] 合并形成 ![Z\_i][Z_i]
> 
> ⑤ 最后将 8 个头的结果 ![Z\_i,i=1,...8][Z_i_i_1_...8] 合并 ![Z^C=concact(Z\_1,...Z\_8),i=1,...,8][Z_C_concact_Z_1_...Z_8_i_1_..._8]，点乘权重 ![W\_O][W_O]，形成 ![Z=Z^CW\_O][Z_Z_CW_O]
> 
> 如下面可以看到将 X 有很多的矩阵 ![W\_0^Q][W_0_Q]，

![Image 1][]

image

在 Transformer 中，Encoder 的输出会作为 Decoder 的输入，Encoder 的输出是 K，V，Decoder 的上一层输入的 Q。

![Image 1][]

image

### 总结 ###

Transformer 用 自注意力机制的原因在上文有提到过，注意力机制的 Transformer 模型在机器翻译任务中优于 RNN。利用多头注意力扩展了模型集中于不同位置的能力，因此也赋予 Attention 多种子表达方式。

欢迎关注个人公众号学习，交流

![Image 1][]

随时学丫

[https_www.jianshu.com_p_e647d3a10d9c]: https://www.jianshu.com/p/e647d3a10d9c
[Transformer _Encoder-Decoder]: https://links.jianshu.com/go?to=https%3A%2F%2Fmp.weixin.qq.com%2Fs%2FLi0nQZy8KQB5AsF0ehEqlw
[Image 1]: 
[X_x_1_x_2_...x_n]: https://math.jianshu.com/math?formula=X%3D%5Bx_1%2Cx_2%2C...x_n%5D
[Q_K_V_X]: https://math.jianshu.com/math?formula=Q%3DK%3DV%3DX
[i_softmax_s_k_i_q_softmax_s_x_i_ q]: https://math.jianshu.com/math?formula=%CE%B1_i%3Dsoftmax%28s%28k_i%2Cq%29%29%3Dsoftmax%28s%28x_i%2C%20q%29%29
[i]: https://math.jianshu.com/math?formula=%CE%B1_i
[s_x_i_ q]: https://math.jianshu.com/math?formula=s%28x_i%2C%20q%29
[s_x_i_q_v_Ttanh_Wx_i_Uq]: https://math.jianshu.com/math?formula=s%28x_i%2Cq%29%3Dv%5ETtanh%28Wx_i%2BUq%29
[s_x_i_q_x_i_Tq]: https://math.jianshu.com/math?formula=s%28x_i%2Cq%29%3Dx_i%5ETq
[s_x_i_q_x_i_Tq_sqrt_d_k]: https://math.jianshu.com/math?formula=s%28x_i%2Cq%29%3D%7Bx_i%5ETq%7D%2F%5Csqrt%7Bd_k%7D
[s_x_i_q_x_i_TWq]: https://math.jianshu.com/math?formula=s%28x_i%2Cq%29%3Dx_i%5ETWq
[q_i]: https://math.jianshu.com/math?formula=q_i
[i 1]: https://math.jianshu.com/math?formula=i
[att_q_X_sum_i_1_N_iX_i]: https://math.jianshu.com/math?formula=att%28q%2CX%29%3D%5Csum_%7Bi%3D1%7D%5EN%7B%CE%B1_iX_i%7D
[sqrt_d_k]: https://math.jianshu.com/math?formula=%5Csqrt%7Bd_k%7D
[d_k]: https://math.jianshu.com/math?formula=d_k
[N]: https://math.jianshu.com/math?formula=N
[Q_W_qX]: https://math.jianshu.com/math?formula=Q%3DW_qX
[K_W_kX]: https://math.jianshu.com/math?formula=K%3DW_kX
[V_W_vX]: https://math.jianshu.com/math?formula=V%3DW_vX
[q_1]: https://math.jianshu.com/math?formula=q_1
[k_1]: https://math.jianshu.com/math?formula=k_1
[k_2]: https://math.jianshu.com/math?formula=k_2
[q_1.k_1_112_q_1.k2_96]: https://math.jianshu.com/math?formula=q_1.k_1%3D112%2Cq_1.k2%3D96
[d_k_64]: https://math.jianshu.com/math?formula=d_k%3D64
[z_1_q_1.k_1_sqrt_d_k_112_sqrt_64_112_8_14_z_2_q_1.k_2_sqrt_d_k_96_sqrt_64_96_8_12]: https://math.jianshu.com/math?formula=z_1%3Dq_1.k_1%2F%5Csqrt%7Bd_k%7D%3D112%2F%5Csqrt%7B64%7D%3D112%2F8%3D14%2Cz_2%3Dq_1.k_2%2F%5Csqrt%7Bd_k%7D%3D96%2F%5Csqrt%7B64%7D%3D96%2F8%3D12
[softmax_z_1_exp_z_1_sum_i_1_2_exp_z_i_0.88_softmax_z_2_exp_z_2_sum_i_1_2_exp_z_i_0.12]: https://math.jianshu.com/math?formula=softmax%28z_1%29%3Dexp%28z_1%29%2F%5Csum_%7Bi%3D1%7D%5E2%28exp%28z_i%29%29%3D0.88%2Csoftmax%28z_2%29%3Dexp%28z_2%29%2F%5Csum_%7Bi%3D1%7D%5E2%28exp%28z_i%29%290.12
[v_1_v_2]: https://math.jianshu.com/math?formula=v_1%2Cv_2
[z_1]: https://math.jianshu.com/math?formula=z_1
[Q_K]: https://math.jianshu.com/math?formula=Q%2CK
[thinking]: https://math.jianshu.com/math?formula=thinking
[thinking_machine]: https://math.jianshu.com/math?formula=thinking%EF%BC%8Cmachine
[thinking_machine 1]: https://math.jianshu.com/math?formula=thinking%2Cmachine
[V]: https://math.jianshu.com/math?formula=V
[z]: https://math.jianshu.com/math?formula=z
[Q_i_QW_i_Q_K_i_KW_i_K_V_i_VW_i_V_i_1_..._8]: https://math.jianshu.com/math?formula=Q_i%3DQW_i%5EQ%2CK_i%3DKW_i%5EK%2CV_i%3DVW_i%5EV%2Ci%3D1%2C...%2C8
[head_i_Attention_Q_i_K_i_V_i_i_1_..._8]: https://math.jianshu.com/math?formula=head_i%3DAttention%28Q_i%2CK_i%2CV_i%29%2Ci%3D1%2C...%2C8
[MultiHead_Q_K_V_Concact_head_1_..._head_8_W_O]: https://math.jianshu.com/math?formula=MultiHead%28Q%2CK%2CV%29%3DConcact%28head_1%2C...%2Chead_8%29W%5EO
[Q_K_V_R_512_W_i_Q_W_i_K_W_i_V_R_512_times64_W_O_R_512_times512_head_i_R_64]: https://math.jianshu.com/math?formula=Q%2CK%2CV%E2%88%88R%5E%7B512%7D%2CW_i%5EQ%2CW_i%5EK%2CW_i%5EV%E2%88%88R%5E%7B512%5Ctimes64%7D%2CW%5EO%E2%88%88R%5E%7B512%5Ctimes512%7D%2Chead_i%E2%88%88R%5E%7B64%7D
[W_i]: https://math.jianshu.com/math?formula=W_i
[W_iX]: https://math.jianshu.com/math?formula=W_iX
[Q_i_K_i_V_i_i_1_..._8]: https://math.jianshu.com/math?formula=Q_i%2CK_i%2CV_i%2Ci%3D1%2C...%2C8
[z_i_softmax_Q_iK_i_T_sqrt_d_k_V_i]: https://math.jianshu.com/math?formula=z_i%3Dsoftmax%28Q_iK_i%5ET%2F%5Csqrt%7Bd_k%7D%29V_i
[z_i]: https://math.jianshu.com/math?formula=z_i
[Z_i]: https://math.jianshu.com/math?formula=Z_i
[Z_i_i_1_...8]: https://math.jianshu.com/math?formula=Z_i%2Ci%3D1%2C...8
[Z_C_concact_Z_1_...Z_8_i_1_..._8]: https://math.jianshu.com/math?formula=Z%5EC%3Dconcact%28Z_1%2C...Z_8%29%2Ci%3D1%2C...%2C8
[W_O]: https://math.jianshu.com/math?formula=W_O
[Z_Z_CW_O]: https://math.jianshu.com/math?formula=Z%3DZ%5ECW_O
[W_0_Q]: https://math.jianshu.com/math?formula=W_0%5EQ