当下流行的注意力（Attention）在机器学习中的应用的概述

川长思鸟来 2022-09-12 10:44 267阅读 0赞

### 文章目录 ###

*  内容介绍
 *  注意力（Attention）机制
 *  机器学习中的注意事项

# 内容介绍 #

注意力（Attention）机制在机器学习中越来越流行，但是是什么使它成为一个吸引人的概念呢？注意在人工神经网络中的应用与生物网络之间的关系是什么？在机器学习中，人们期望形成一个基于注意力（Attention）机制的系统的组件是什么？

在本文中，您将发现注意及其在机器学习中的应用的概述。构成一个基于注意力（Attention）机制的系统的组件，以及这些组件是如何从生物注意力（Attention）机制中得到启发的。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]

教程概述  
本教程分为两部分：

# 注意力（Attention）机制 #

注意力（Attention）机制是一个被广泛研究的概念，经常伴随着唤醒、警觉和与周围环境的接触而被研究。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]

在其最一般的形式，注意力（Attention）机制可以说仅仅是一个整体水平的警觉性或与周围环境接触的能力。

**《Attention in Psychology, Neuroscience, and Machine Learning》.**

视觉化注意力（Attention）机制是最常从神经科学和心理学角度研究的领域之一。

当被试呈现不同的图像时，被试的眼球运动就会显示出显着性图像部分，主体的注意力（Attention）机制主要被吸引到。在他们对视觉注意力（Attention）机制计算模型的回顾中，这些突出的图像部分的特点往往是视觉属性，包括强度对比，定向边缘，角和连接，和运动。人脑在不同的神经元阶段注意这些突出的视觉特征。

神经元在最初阶段被调整为简单的视觉属性，如强度对比、颜色对抗性、方向、运动方向和速度，或在多个空间尺度上的立体视差。随着从低水平向高水平视觉区域的发展，神经元调谐变得越来越专业化，例如，更高层次的视觉区域包括只对特定真实世界物体的拐角或连接、阴影形状提示或视图作出反应的神经元。

**《Computational Modelling of Visual Attention》**

有趣的是，研究还发现，不同的受试者往往被同样突出的视觉暗示所吸引。

研究还发现了记忆和注意力（Attention）机制之间的几种相互作用形式。由于人脑的记忆能力有限，选择存储哪些信息成为充分利用有限资源的关键。人类大脑通过依赖注意力（Attention）机制来做到这一点，从而动态地将人类主体所关注的信息存储到记忆中。

# 机器学习中的注意事项 #

人工神经网络中注意机制的实现并不一定能跟踪人脑的生理和心理机制。相反，它是一种动态突出显示和使用显着性手头的部分信息，以类似于人脑中的方式，使注意力（Attention）机制成为机器学习中一个很有吸引力的概念。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]

一个基于注意力（Attention）机制的系统被认为由三个组成部分组成：

>  *  一种“读取”原始数据的过程(如源语句中的源词)，并将它们转换为分布式表示，并与每个单词的位置关联一个特征向量。
>  *  存储读取器输出的特征向量列表。这可以理解为包含一系列事实的“记忆”，这些事实可以稍后检索，而不一定按相同的顺序检索，而不必访问所有的事实。
>  *  一种“利用”内存内容来依次执行任务的过程，在每个时间步骤中都有能力将注意力（Attention）机制放在一个内存元素的内容上(或几个，具有不同的权重)。

让我们以编解码框架为例，因为它是在这样一个框架内首次引入了注意机制。

如果我们正在处理一个文字输入序列，那么这将首先被输入到一个编码器中，它将为序列中的每个元素输出一个向量。正如上文所解释的，这与我们基于注意力（Attention）机制的系统的第一个组成部分相对应。

注意机制将利用这些向量的列表(上述基于注意力（Attention）机制的系统的第二部分)以及解码器先前的隐藏状态来动态突出显示将使用哪些输入信息来生成输出。

在每一时间步骤，注意力（Attention）机制机制，然后，采取先前的隐藏状态的解码器和编码向量列表，并利用它们产生非规范化。得分值，这些值指示输入序列的元素与当前输出的对齐程度。由于生成的分数值需要在其重要性方面具有相对意义，因此通过将它们传递给Softmax函数以生成权数。在Softmax归一化之后，所有的权重值都位于\[0，1\]的区间内，并加到1，这意味着它们可以被解释为概率。最后，根据计算的权重对编码的向量进行缩放，以生成一个上下文向量。这一注意过程构成了上述基于注意力（Attention）机制的系统的第三个组成部分。然后，将该上下文向量输入解码器以生成翻译输出。

> 因此，这种类型的人工注意是一种迭代重加权的形式。具体来说，它动态地突出显示预处理输入的不同组件，因为它们是输出生成所需的。这使得它具有灵活性和环境依赖性，就像生物注意力（Attention）机制一样。

由包含注意力（Attention）机制机制的系统实现的过程与不包含注意机制的系统形成了对比。在后者中，编码器将生成一个固定长度的矢量，而不考虑输入的长度或复杂度。在没有突出显示整个输入的显着信息的机制的情况下，解码器将只能访问在固定长度向量内编码的有限信息。这可能会导致解码器丢失重要信息。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
机器翻译中的注意机制最初是为了处理机器翻译中的词语序列而提出的，它具有隐含的时间方面。但是，它可以推广到处理可以是静态的信息，并且不一定以顺序的方式相关，例如在图像处理的上下文中。我们将在一个单独的教程中看到这个泛化是如何实现的。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/537a06772912441f8ef6e1c0752799cb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/35f86e0d62db42099596e662af02ba58.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/f1f9aaf41e0a489a86f7b86b974338a8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/46ec763775a045f2a2c3acf52ac3ead8.png