transformer

桃扇骨 2022-08-28 11:44 174阅读 0赞

# 简介 #

transformer最早于2017年google机器翻译团队提出，也就是著名的  
[《Attention Is All You Need》][Attention Is All You Need]，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。  
transformer在NLP领域首先取得了非常惊人的效果，随后,ECCV2020，DETR：[《End-to-End Object Detection with Transformers 》][End-to-End Object Detection with Transformers]首次将transformer引入到了CV的目标检测任务重，随后VIT：[《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》][An Image is Worth 16x16 Words_ Transformers for Image Recognition at Scale]完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发不可收拾。

# 基本概念 #

## Transformer ##

transformer是一种网络结构，是一种seq2seq的模型，最开始用于处理机器翻译任务，transformer由encoder和decoder组成，encoder或者decoder又是由多个encoder block和decoder block堆叠而成，encoder block和decoder block分别是用直连，Multi-Head Attention，BN，全连接等基础层通过不同的方式组合连接而成。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenh1Y3Zlcg_size_20_color_FFFFFF_t_70_g_se_x_16]

## Multi-Head Attention ##

Multi-Head Attention 包含多个 Self-Attention 层，同一个输入分别传递到 n个不同的 Self-Attention 中，计算得到 n 个输出结果。得到n个输出矩阵之后，Multi-Head Attention 将它们拼接在一起 (Concat)，然后传入一个Linear层，得到 Multi-Head Attention 最终的输出 。

## Self-attention ##

self-attention是一种新的layer，输入输出都是sequence，不同于RNN的是，self-attention layer可以做到并行。

## Positional Encoding ##

self-attention的特性很好的实现了时序上的并行，但是也带来了其他问题，那就是没有了位置信息，一个sequence上不同位置的信息，self-attention是做同等处理的，这显然不符合NLP天然的时序逻辑，positional encoding的引入就是为了解决这个问题。

# self-attention #

# Multi-Head Attention #

# Positional Encoding #

[Attention Is All You Need]: https://arxiv.org/abs/1706.03762
[End-to-End Object Detection with Transformers]: https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers
[An Image is Worth 16x16 Words_ Transformers for Image Recognition at Scale]: https://arxiv.org/abs/2010.11929
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAenh1Y3Zlcg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/5288a46368a24056a370b9853b341810.png