SIFT(Scale Invariant Feature Transform) 算法小结及实验

我不是女神ヾ 2021-12-23 03:19 144阅读 0赞

![20190702121014822.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

**目录**

1 SIFT简介

1.1 SIFT应用

1.2 SIFT特点

2 SIFT算法步骤

2.1 算法简述

2.2 关键点检测

2.2.1 什么是SIFT关键点？

2.2.2 什么是尺度空间(scale space)？

2.2.3 高斯模糊

2.2.4 高斯金字塔

2.2.5 DoG局部极值检测

2.2.6 关键点方向分配

2.2.7 关键点描述

2.2.8 关键点匹配

3 Matlab实验

4 小结

参考资料

--------------------

**注：转载请标明原文出处链接：**[https://xiongyiming.blog.csdn.net/article/details/93656603][https_xiongyiming.blog.csdn.net_article_details_93656603]

成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。

1999年British Columbia大学David G.Lowe教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT(Scale Invariant Feature Transform，尺度不变特征变换)，这种算法在2004年被加以完善。

![20190625210735106.png][]

下面对SIFT进行详细说明。

**注：**博文主要参考 [SIFT算法详解及应用PPT][SIFT_PPT].以及David G.Lowe论文。

--------------------

# 1 SIFT简介 #

## 1.1 SIFT应用 ##

目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决：

(1) 目标的旋转、缩放和平移(RST)

(2) 图像仿射/投影变换(视点viewpoint)

(3) 光照影响(illumination)

(4) 目标遮挡(occlusion)

(5) 杂物场景(clutter)

(6) 噪声

将一幅图像(变换)为一个局部特征向量集；特征向量具有平移、缩放和旋转不变性映射，同时对光照变化、仿射及投影变换也有一定不变性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

SIFT算法目前在军事、工业和民用方面都得到了不同程度的应用，其应用已经渗透了很多领域，典型的应用有物体识别、机器人定位与导航、图像拼接、三维建模、手势识别、视频跟踪、笔记鉴定、指纹与人脸识别、犯罪现场特征提取等。

下图所示为SIFI的几种应用：

![20190626084815170.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

## 1.2 SIFT特点 ##

(1) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

(2) 独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

(3) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量；

(4) 经过优化的SIFT算法可满足一定的速度需求；

(5) 可扩展性，可以很方便的与其他形式的特征向量进行联合。

--------------------

# 2 SIFT算法步骤 #

## 2.1 算法简述 ##

SIFT算法的**实质**可以归为在**不同尺度空间**上查找特征点(关键点)的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1][]

SIFT算法实现物体识别主要有三大工序：

1、提取关键点；

2、对关键点附加详细的信息(局部特征)也就是所谓的描述器；

3、通过两方特征点(附带上特征向量的关键点)的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。

## 2.2 关键点检测 ##

### 2.2.1 什么是SIFT关键点？ ###

这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。

**关键点**：在不同尺度空间的图像下检测出的具有方向信息的局部极值点。根据归纳，我们可以看出特征点具有的三个特征：**尺度**、**方向**和**大小**。

### 2.2.2 什么是尺度空间(scale space)？ ###

我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。

尺度空间理论最早在1962年提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。

尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。尺度越大图像越模糊。

根据文献《Scale-space theory: A basic tool for analysing structures at different scales》我们可知，高斯核是唯一可以产生多尺度空间的核，一个图像的尺度空间 ![L\\left( \{x,y,\\sigma \} \\right)][L_left_ _x_y_sigma _ _right] 定义为原始图像 ![I\\left( \{x,y\} \\right)][I_left_ _x_y_ _right] 一个可变尺度的2维高斯函数 ![G\\left( \{\{x\_i\},\{y\_i\},\\sigma \} \\right)][G_left_ _x_i_y_i_sigma _ _right] **卷积**运算。

高斯函数 ![G\\left( \{\{x\_i\},\{y\_i\},\\sigma \} \\right)][G_left_ _x_i_y_i_sigma _ _right] 为：

![G\\left( \{\{x\_i\},\{y\_i\},\\sigma \} \\right) = \\frac\{1\}\{\{2\\pi \{\\sigma ^2\}\}\}\\exp \\left( \{ - \\frac\{\{\{\{(x - \{x\_i\})\}^2\} + \{\{(y - \{y\_i\})\}^2\}\}\}\{\{2\{\\sigma ^2\}\}\}\} \\right)][G_left_ _x_i_y_i_sigma _ _right_ _ _frac_1_2_pi _sigma _2_exp _left_ _ - _frac_x - _x_i_2_ _ _y - _y_i_2_2_sigma _2_ _right]

尺度空间 ![L\\left( \{x,y,\\sigma \} \\right)][L_left_ _x_y_sigma _ _right] 为：

![L\\left( \{x,y,\\sigma \} \\right) = G\\left( \{x,y,\\sigma \} \\right)\*I\\left( \{x,y\} \\right)][L_left_ _x_y_sigma _ _right_ _ G_left_ _x_y_sigma _ _right_I_left_ _x_y_ _right]

**注：**尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式。

### 2.2.3 高斯模糊 ###

高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像，如下图所示：

![20190625212529646.png][]

![G\\left( r \\right) = \\frac\{1\}\{\{2\\pi \{\\sigma ^2\}\}\}\\exp \\left( \{ - \\frac\{\{\{r^2\}\}\}\{\{2\{\\sigma ^2\}\}\}\} \\right)][G_left_ r _right_ _ _frac_1_2_pi _sigma _2_exp _left_ _ - _frac_r_2_2_sigma _2_ _right]

其中，*r*为模糊半径，![r\{\\rm\{ = \}\}\\sqrt \{\{x^\{\\rm\{2\}\}\} + \{y^2\}\}][r_rm_ _ _sqrt _x_rm_2_ _ _y_2]

在减小图像尺寸的场合经常使用高斯模糊。在进行欠采样的时，通常在采样之前对图像进行低通滤波处理。这样就可以保证在采样图像中不会出现虚假的高频信息。在实际应用中，在计算高斯函数的离散近似时，在大概 ![3\\sigma][3_sigma] 距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。通常，图像处理程序只需要计算 ![(6\\sigma + 1) \\times (6\\sigma + 1)][6_sigma _ 1_ _times _6_sigma _ 1] 即可。

### 2.2.4 高斯金字塔 ###

高斯金子塔的构建过程可分为两步：

(1)对图像做高斯平滑；

(2)对图像做降采样。

关于图像高斯金字塔Python实验可参见博客：[https://blog.csdn.net/zaishuiyifangxym/article/details/90167880][https_blog.csdn.net_zaishuiyifangxym_article_details_90167880]

为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生**几组** (octave) 图像，一组图像包括**几层** (interval) 图像。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2][]

高斯图像金字塔共 *o* 组、*s* 层，则有：

![\\sigma (s) = \{\\sigma \_0\} \\cdot \{2^\{\{\\raise0.7ex\\hbox\{$s$\} \\!\\mathord\{\\left/ \{\\vphantom \{s S\}\}\\right.\\kern-\\nulldelimiterspace\} \\!\\lower0.7ex\\hbox\{$S$\}\}\}\}][sigma _s_ _ _sigma _0_ _cdot _2_raise0.7ex_hbox_s_ _mathord_left_ _vphantom _s S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]

其中，![\\sigma][sigma] 表示尺度空间坐标；*s* 表示sub-level层坐标；![\{\\sigma \_0\}][sigma _0] 表示初始尺度；*S*表示每组层数(一般为3~5)。

高斯金字塔的初始尺度当图像通过相机拍摄时，相机的镜头已经对图像进行了一次初始的模糊，所以根据高斯模糊的性质：

![\{\\sigma \_0\} = \\sqrt \{\{\\sigma \_\{init\}\} \\times \{\\sigma \_\{init\}\} - \{\\sigma \_\{pre\}\} \\times \{\\sigma \_\{pre\}\}\}][sigma _0_ _ _sqrt _sigma _init_ _times _sigma _init_ - _sigma _pre_ _times _sigma _pre]

其中，![\{\\sigma \_\{\{\}\_\{init\}\}\}][sigma _init] 表示第0层尺度， ![\\sigma \{\}\_\{pre\}][sigma _pre] 表示被相机镜头模糊后的尺度。

高斯金字塔的组数：![O = \\left\[ \{\{\{\\log \}\_2\}\\left( \{\\min \\left( \{M,N\} \\right)\} \\right)\} \\right\] - 3][O _ _left_ _log _2_left_ _min _left_ _M_N_ _right_ _right_ _right_ - 3]，其中，*M*、*N* 分别为图像的行数和列数。

高斯金字塔的组内尺度与组间尺度：

**组内尺度**：指同一组(octave)内的尺度关系，组内相邻层尺度化简为：

![\{\\sigma \_\{s + 1\}\} = \{\\sigma \_s\} \\cdot \{2^\{\{\\raise0.7ex\\hbox\{$1$\} \\!\\mathord\{\\left/ \{\\vphantom \{1 S\}\}\\right.\\kern-\\nulldelimiterspace\} \\!\\lower0.7ex\\hbox\{$S$\}\}\}\}][sigma _s _ 1_ _ _sigma _s_ _cdot _2_raise0.7ex_hbox_1_ _mathord_left_ _vphantom _1 S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]

**组间尺度**：指不同组直接的尺度关系，相邻组的尺度可化为：

![\{\\sigma \_\{o + 1\}\}(s) = \{\\sigma \_o\} \\cdot \{2^\{\{\\raise0.7ex\\hbox\{$\{s + S\}$\} \\!\\mathord\{\\left/ \{\\vphantom \{\{s + S\} S\}\}\\right.\\kern-\\nulldelimiterspace\} \\!\\lower0.7ex\\hbox\{$S$\}\}\}\}][sigma _o _ 1_s_ _ _sigma _o_ _cdot _2_raise0.7ex_hbox_s _ S_ _mathord_left_ _vphantom _s _ S_ S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]

![\{\\sigma \_o\} \\cdot \{2^\{\{\\raise0.7ex\\hbox\{$\{s + S\}$\} \\!\\mathord\{\\left/ \{\\vphantom \{\{s + S\} S\}\}\\right.\\kern-\\nulldelimiterspace\} \\!\\lower0.7ex\\hbox\{$S$\}\}\}\} = 2\{\\sigma \_o\} \\cdot \{2^\{\{\\raise0.7ex\\hbox\{$s$\} \\!\\mathord\{\\left/ \{\\vphantom \{s S\}\}\\right.\\kern-\\nulldelimiterspace\} \\!\\lower0.7ex\\hbox\{$S$\}\}\}\}][sigma _o_ _cdot _2_raise0.7ex_hbox_s _ S_ _mathord_left_ _vphantom _s _ S_ S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S_ _ 2_sigma _o_ _cdot _2_raise0.7ex_hbox_s_ _mathord_left_ _vphantom _s S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]

由此可见，相邻两组的同一层尺度为2倍的关系。

最后可将**组内**和**组间**尺度归为：

![\{2^\{i - 1\}\}(\\sigma ,k\\sigma ,\{k^2\}\\sigma , \\cdots \{k^\{n - 1\}\}\\sigma )][2_i - 1_sigma _k_sigma _k_2_sigma _ _cdots _k_n - 1_sigma]

其中，![k = \{2^\{\{\\raise0.7ex\\hbox\{$1$\} \\!\\mathord\{\\left/ \{\\vphantom \{1 S\}\}\\right.\\kern-\\nulldelimiterspace\} \\!\\lower0.7ex\\hbox\{$S$\}\}\}\}][k _ _2_raise0.7ex_hbox_1_ _mathord_left_ _vphantom _1 S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]， ![i][]表示金字塔组数，![n][]表示每一组的层数

上一组图像的底层是由前一组图像的倒数第二层图像隔点采样生成的。这样可以保持尺度的连续性。

![2019062521335991.png][]

通过研究Lowe教授的论文发现，所有特征点的检测都是基于了尺度不变的特性，特征点的检测占据了论文的大部分的篇章，具有十分重要的意义！

Lindeberg在文献《Scale-space theory: A basic tool for analysing structures at different scales》指出尺度规范化的LoG算子具有真正的尺度不变性。

LoG算子即(Laplacion of Gaussian),可以由高斯函数梯度算子GoG构建

尺度规范化的GoG算子：

![\{\\nabla ^2\}G = \\frac\{\{\{\\partial ^2\}G\}\}\{\{\\partial \{x^2\}\}\} + \\frac\{\{\{\\partial ^2\}G\}\}\{\{\\partial \{y^2\}\}\}][nabla _2_G _ _frac_partial _2_G_partial _x_2_ _ _frac_partial _2_G_partial _y_2]

尺度规范化的LoG算子：

![\{\\sigma ^2\}\{\\nabla ^2\}G][sigma _2_nabla _2_G]

LoG算子与高斯核函数的关系：

![LoG(x,y,\\sigma ) = \{\\sigma ^2\}\{\\nabla ^2\}G \\approx \\frac\{\{Gauss(x,y,k\\sigma ) - Gauss(x,y,\\sigma )\}\}\{\{\{\\sigma ^2\}(k - 1)\}\}][LoG_x_y_sigma _ _ _sigma _2_nabla _2_G _approx _frac_Gauss_x_y_k_sigma _ - Gauss_x_y_sigma _sigma _2_k - 1]

![G\\left( \{x,y,k\\sigma \} \\right) - G\\left( \{x,y,\\sigma \} \\right) \\approx \\left( \{k - 1\} \\right)\{\\sigma ^2\}\{\\nabla ^2\}G][G_left_ _x_y_k_sigma _ _right_ - G_left_ _x_y_sigma _ _right_ _approx _left_ _k - 1_ _right_sigma _2_nabla _2_G]

通过推导可以看出，LoG算子与高斯核函数的差有直接关系，由此引入一种新的算子DoG(Difference of Gaussians)，即高斯差分算子。

DoG(Difference of Gaussian)函数为：

![L\\left( \{x,y,\\sigma \} \\right) = G\\left( \{x,y,\\sigma \} \\right)\*I\\left( \{x,y\} \\right)][L_left_ _x_y_sigma _ _right_ _ G_left_ _x_y_sigma _ _right_I_left_ _x_y_ _right]

![D\\left( \{x,y,\\sigma \} \\right) = \\left\[ \{G\\left( \{x,y,k\\sigma \} \\right) - G\\left( \{x,y,\\sigma \} \\right)\} \\right\]\*I\\left( \{x,y\} \\right) = L\\left( \{x,y,k\\sigma \} \\right) - L\\left( \{x,y,\\sigma \} \\right)][D_left_ _x_y_sigma _ _right_ _ _left_ _G_left_ _x_y_k_sigma _ _right_ - G_left_ _x_y_sigma _ _right_ _right_I_left_ _x_y_ _right_ _ L_left_ _x_y_k_sigma _ _right_ - L_left_ _x_y_sigma _ _right]

DoG在计算上只需**相邻尺度高斯平滑后图像相减**，因此简化了计算。

**DoG****高斯差分金字塔**

根据DoG算子，我们要构建DoG金字塔

![20190626083225765.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

我们可以通过高斯差分图像看出图像上的像素值变化情况 (如果没有变化，也就没有特征。特征必须是变化尽可能多的点)。DoG图像描绘的是目标的轮廓。

![2019062521372072.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

在Lowe的论文中，将第0层的初始尺度定为1.6，图片的初始尺度定为0.5，则图像金字塔第0层的实际尺度为

![\\sqrt \{1.6 \\times 1.6 - 0.5 \\times 0.5\} = 1.52][sqrt _1.6 _times 1.6 - 0.5 _times 0.5_ _ 1.52]

在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。

当对图像长宽扩展一倍时，便构建了-1层，该层尺度为

![\\sqrt \{1.6 \\times 1.6 - (2 \\times 0.5) \\times (2 \\times 0.5)\} = 1.25][sqrt _1.6 _times 1.6 - _2 _times 0.5_ _times _2 _times 0.5_ _ 1.25]

**注：**图像插值时，选用的插值函数可以是多种多样的。

### 2.2.5 DoG局部极值检测 ###

**DoG****的局部极值点**

关键点是由DoG空间的局部极值点组成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。

![20190625213917419.png][]

中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了3幅图像，高斯金字塔有每组*S*\+3层图像。DoG金字塔每组有S+2层图像。下图为不同尺度不同层间极值检测示意图。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3][]

**注：**只牺牲了-1组的第0层和第![N][]组的最高层

**关键点精确定位**

由于DoG值对噪声和边缘较敏感,因此,在上面DoG**尺度空间**中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。为了提高关键点的稳定性，需要对**尺度空间****DoG****函数进行曲线拟合**。利用DoG函数在尺度空间的Taylor展开式：

![D\\left( X \\right) = D + \{\\frac\{\{\\partial D\}\}\{\{\\partial X\}\}^T\}X + \\frac\{1\}\{2\}\{X^T\}\\frac\{\{\{\\partial ^2\}D\}\}\{\{\\partial \{X^2\}\}\}X][D_left_ X _right_ _ D _ _frac_partial D_partial X_T_X _ _frac_1_2_X_T_frac_partial _2_D_partial _X_2_X]

设，极值点为 ![\\hat X = \{\\left( \{x,y,\\sigma \} \\right)^T\}][hat X _ _left_ _x_y_sigma _ _right_T]

在计算过程中，分别对图像的行、列及尺度三个量进行了修正，其修正结果如下：

求解得到：

![\\mathop X\\limits^ \\wedge = - \{\\frac\{\{\\partial D\}\}\{\{\\partial X\}\}^T\}\{(\\frac\{\{\{\\partial ^2\}D\}\}\{\{\\partial \{X^2\}\}\})^\{ - 1\}\}][mathop X_limits_ _wedge _ - _frac_partial D_partial X_T_frac_partial _2_D_partial _X_2_ - 1]

其中，![\\mathop X\\limits^ \\wedge][mathop X_limits_ _wedge] 为修正值。

在Lowe的程序中，对坐标进行了五次修正,将修正后的结果代入式

![D\\left( \{\\mathop X\\limits^ \\wedge \} \\right) = D + \\frac\{1\}\{2\}\{\\frac\{\{\\partial D\}\}\{\{\\partial X\}\}^T\}X][D_left_ _mathop X_limits_ _wedge _ _right_ _ D _ _frac_1_2_frac_partial D_partial X_T_X]

上式去除那些对比度较低的不稳定极值点。Lowe的试验显示，所有取值小于0.04的极值点均可抛弃 (像素灰度值范围\[0，1\] )。

**去除边缘响应**

仅仅去除低对比度的极值点对于极值点的对于特征点稳定性是远远不够的。DoG函数在图像边缘有较强的边缘响应，因此我们还需要排除边缘响应。

DoG函数的(欠佳的)峰值点在横跨边缘的方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的2×2的Hessian矩阵得到，导数由采样点相邻差来估计：

![H = \\left\[ \{\\begin\{array\}\{\*\{20\}\{c\}\} \{\{D\_\{xx\}\}\}&\{\{D\_\{xy\}\}\}\\\\ \{\{D\_\{xy\}\}\}&\{\{D\_\{yy\}\}\} \\end\{array\}\} \\right\]][H _ _left_ _begin_array_20_c_ _D_xx_D_xy_ _D_xy_D_yy_ _end_array_ _right]

其中，![\{D\_\{xx\}][D_xx] 表示DOG金字塔中某一尺度的图像 ![x][] 方向求导两次。

*D* 的主曲率和 *H* 的特征值成正比，为了避免直接的计算这些特征值，而只是考虑它们的之间的比率。令为最大特征值 ![\\alpha][alpha]，![\\beta][beta] 为最小的**特征值**，则：

![\\frac\{\{Tr\{\{\\left( H \\right)\}^2\}\}\}\{\{Det\\left( H \\right)\}\} = \\frac\{\{\{\{\\left( \{\\alpha + \\beta \} \\right)\}^2\}\}\}\{\{\\alpha \\beta \}\} = \\frac\{\{\{\{\\left( \{r + 1\} \\right)\}^2\}\}\}\{r\}][frac_Tr_left_ H _right_2_Det_left_ H _right_ _ _frac_left_ _alpha _ _beta _ _right_2_alpha _beta _ _ _frac_left_ _r _ 1_ _right_2_r]

![\\alpha = r\\beta][alpha _ r_beta]

![Tr\\left( H \\right) = \{D\_\{xx\}\} + \{D\_\{yy\}\}][Tr_left_ H _right_ _ _D_xx_ _ _D_yy]

![Det\\left( H \\right) = \{D\_\{xx\}\} \\times \{D\_\{yy\}\} - \{D\_\{xy\}\} \\times \{D\_\{xy\}\}][Det_left_ H _right_ _ _D_xx_ _times _D_yy_ - _D_xy_ _times _D_xy]

其中，![\{\{\{\{\\left( \{r + 1\} \\right)\}^2\}\} \\mathord\{\\left/ \{\\vphantom \{\{\{\{\\left( \{r + 1\} \\right)\}^2\}\} r\}\} \\right. \\kern-\\nulldelimiterspace\} r\}][left_ _r _ 1_ _right_2_ _mathord_left_ _vphantom _left_ _r _ 1_ _right_2_ r_ _right. _kern-_nulldelimiterspace_ r] 在两特征值相等时达最小，随 ![r][] 的增长而增长。Lowe论文中建议![r][] =10。

### 2.2.6 关键点方向分配 ###

通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性。我们通过求**每个极值点的梯度**来为极值点赋予方向。

**像素点的梯度表示:**

![gradI\\left( \{x,y\} \\right) = \\left( \{\\frac\{\{\\partial I\}\}\{\{\\partial x\}\},\\frac\{\{\\partial I\}\}\{\{\\partial y\}\}\} \\right)][gradI_left_ _x_y_ _right_ _ _left_ _frac_partial I_partial x_frac_partial I_partial y_ _right]

**梯度幅值**：

![m\\left( \{x,y\} \\right) = \\sqrt \{\{\{\\left( \{L\\left( \{x + 1,y\} \\right) - L\\left( \{x - 1,y\} \\right)\} \\right)\}^2\} + \{\{\\left( \{L\\left( \{x,y + 1\} \\right) - L\\left( \{x,y - 1\} \\right)\} \\right)\}^2\}\}][m_left_ _x_y_ _right_ _ _sqrt _left_ _L_left_ _x _ 1_y_ _right_ - L_left_ _x - 1_y_ _right_ _right_2_ _ _left_ _L_left_ _x_y _ 1_ _right_ - L_left_ _x_y - 1_ _right_ _right_2]

**梯度方向**：

![\\theta \\left( \{x,y\} \\right) = \{\\tan ^\{ - 1\}\}\\left\[ \{\\frac\{\{L\\left( \{x,y + 1\} \\right) - L\\left( \{x,y - 1\} \\right)\}\}\{\{L\\left( \{x + 1,y\} \\right) - L\\left( \{x - 1,y\} \\right)\}\}\} \\right\]][theta _left_ _x_y_ _right_ _ _tan _ - 1_left_ _frac_L_left_ _x_y _ 1_ _right_ - L_left_ _x_y - 1_ _right_L_left_ _x _ 1_y_ _right_ - L_left_ _x - 1_y_ _right_ _right]

**方向直方图的生成**

![20190625214727494.png][]

确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。

关于方向直方图的几点说明：

![20190625214747335.png][]

(1) 直方图以每10度方向为一个柱，共36个柱，柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值;

(2) 根据Lowe的建议，直方图统计半径采用3×1.5×*σ* ；

(3) 在直方图统计时，每相邻三个像素点采用高斯加权，根据Lowe的建议，模板采用 \[0.25,0.5,0.25\] ，并连续加权两次。

**关键点的主方向与辅方向**

![20190625214813461.png][]

**关键点主方向**：极值点周围区域梯度直方图的主峰值,也是特征点方向;

**关键点辅方向**：在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。

这可以增强匹配的鲁棒性，Lowe的论文指出大概有15%关键点具有多方向，但这些点对匹配的稳定性至为关键。

**方向分配实现步骤：**

(1) 确定计算关键点直方图的高斯函数权重函数参数 ；

(2) 生成含有36柱的方向直方图，梯度直方图范围0~360度，其中每10度一个柱。由半径为图像区域生成；

(3) 对方向直方图进行两次平滑；

(4) 求取关键点方向(可能是多个方向)；

(5) 对方向直方图的Taylor展开式进行二次曲线拟合，精确关键点方向；

图像的关键点已检测完毕，每个关键点有三个信息: **位置**、**尺度**和**方向**. 同时也就使关键点具备平移、缩放和旋转不变性。

### 2.2.7 关键点描述 ###

**描述的目的**：在关键点计算后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。

**描述的思路**：通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

下图是一个SIFT描述子事例。其中描述子由2×2×8维向量表征，也即是2×2个8方向的方向直方图组成。左图的种子点由8×8单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在4×4的窗口内计算8个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如下图的右图所示：一个特征点由4个种子点的信息所组成。

![20190625214848205.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

Lowe实验结果表明：描述子采用**4×4×8＝128维向量**表征，**综合效果最优**(不变性与独特性)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4][]

**128****维关键点描述子生成步骤：**

(1) 确定计算描述子所需的图像区域

描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算：

![radius = \\frac\{\{3\{\\sigma \_\{oct\}\} \\times \\sqrt 2 \\times \\left( \{d + 1\} \\right) + 1\}\}\{2\}][radius _ _frac_3_sigma _oct_ _times _sqrt 2 _times _left_ _d _ 1_ _right_ _ 1_2]

其中，![\{\\sigma \_\{oct\}\}][sigma _oct] 是关键点所在组(octave)的组内尺度， ![d][]=4。

(2) 将坐标移至关键点主方向

![20190625215043415.png][]

那么旋转角度后新坐标为：

![\\left( \\begin\{array\}\{l\} \{\\hat x\}\\\\ \{\\hat y\} \\end\{array\} \\right) = \\left( \{\\begin\{array\}\{\*\{20\}\{c\}\} \{\\cos \\theta \}&\{ - \\sin \\theta \}\\\\ \{\\sin \\theta \}&\{\\cos \\theta \} \\end\{array\}\} \\right) \\times \\left( \\begin\{array\}\{l\} x\\\\ y \\end\{array\} \\right)][left_ _begin_array_l_ _hat x_ _hat y_ _end_array_ _right_ _ _left_ _begin_array_20_c_ _cos _theta _ - _sin _theta _ _sin _theta _cos _theta _ _end_array_ _right_ _times _left_ _begin_array_l_ x_ y _end_array_ _right]

(3) 在图像半径区域内对每个像素点求其梯度幅值和方向，然后对每个梯度幅值乘以高斯权重参数，生成方向直方图。

![20190625215114821.png][]

![weight = \\left| \{grad\\left( \{\{I\_\\sigma \}\\left( \{x,y\} \\right)\} \\right)\} \\right| \\cdot \\exp \\left( \{ - \\frac\{\{x\_k^2 + y\_k^2\}\}\{\{2\{\\sigma \_w\}\}\}\} \\right) \\cdot \\left( \{1 - \{d\_r\}\} \\right) \\cdot \\left( \{1 - \{d\_c\}\} \\right) \\cdot \\left( \{1 - \{d\_o\}\} \\right)][weight _ _left_ _grad_left_ _I_sigma _left_ _x_y_ _right_ _right_ _right_ _cdot _exp _left_ _ - _frac_x_k_2 _ y_k_2_2_sigma _w_ _right_ _cdot _left_ _1 - _d_r_ _right_ _cdot _left_ _1 - _d_c_ _right_ _cdot _left_ _1 - _d_o_ _right]

其中，![\{x\_k\}][x_k] 表示该点与关键点的列距离，![\{y\_k\}][y_k] 该点与关键点的行距离，![\{\\sigma \_w\}][sigma _w] 等于描述子窗口宽度 ![3\\sigma][3_sigma]×直方图列数(取4)的一半；

(4) 在窗口宽度为2×2的区域内计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。然后再在下一个2×2的区域内进行直方图统计，形成下一个种子点，共生成16个种子点；

(5) 描述子向量元素门限化及门限化后的描述子向量规范化。

描述子向量元素门限化：方向直方图每个方向上梯度幅值限制在一定门限值以下(门限一般0.2)。

描述子向量元素规范化：

![\{l\_j\} = \{w\_j\}/\\sqrt \{\\sum\\limits\_\{i = 1\}^\{128\} \{\{w\_i\}\} \} ,j = 1,2, \\cdots 128][l_j_ _ _w_j_sqrt _sum_limits_i _ 1_128_ _w_i_ _ _j _ 1_2_ _cdots 128]

其中，![W = \\left( \{\{w\_1\},\{w\_2\}, \\cdots ,\{w\_\{128\}\}\} \\right)][W _ _left_ _w_1_w_2_ _cdots _w_128_ _right] 为得到的128描述子向量，![L = \\left( \{\{l\_1\},\{l\_2\}, \\cdots ,\{l\_\{128\}\}\} \\right)][L _ _left_ _l_1_l_2_ _cdots _l_128_ _right] 为规范化后的向量。

关键点描述子向量的规范化正是可去除满足此模型的光照影响。对于图像灰度值整体漂移，图像各点的梯度是邻域像素相减得到，所以也能去除。

### 2.2.8 关键点匹配 ###

分别对**原始图** (参考图，reference image) 和**目标图像** (观测图，observation image) 建立关键点描述子集合。目标的识别是通过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用**欧式距离**。

![20190625215654343.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

选用穷举匹配的方法依次计算**欧氏距离**：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5][]

**原图像中关键点描述子：**![\{R\_i\} = \\left( \{\{r\_\{i1\}\},\{r\_\{i2\}\}, \\cdots ,\{r\_\{i128\}\}\} \\right)][R_i_ _ _left_ _r_i1_r_i2_ _cdots _r_i128_ _right]

**目标图像中关键点描述子：**![\{S\_i\} = \\left( \{\{s\_\{i1\}\},\{s\_\{i2\}\}, \\cdots ,\{s\_\{i128\}\}\} \\right)][S_i_ _ _left_ _s_i1_s_i2_ _cdots _s_i128_ _right]

**任意两描述子相似性度量：**

![d\\left( \{\{R\_i\},\{S\_i\}\} \\right) = \\sqrt \{\\sum\\limits\_\{j = 1\}^\{128\} \{\{\{\\left( \{\{r\_\{ij\}\} - \{s\_\{ij\}\}\} \\right)\}^2\}\} \}][d_left_ _R_i_S_i_ _right_ _ _sqrt _sum_limits_j _ 1_128_ _left_ _r_ij_ - _s_ij_ _right_2_]

要得到配对的关键点描述子，![d\\left( \{\{R\_i\},\{S\_j\}\} \\right)][d_left_ _R_i_S_j_ _right] 需满足：

![20190625220013331.png][]

关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多，一般都采用一种叫kd树的数据结构来完成搜索。搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻近的原图像特征点。

![20190625220050582.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

关键点匹配并不能标志着算法的结束，因为在匹配的过程中存在着大量的错配点。具体方法这里不再赘述。

--------------------

# 3 Matlab实验 #

SIFT 算法Matlab代码链接：[https://download.csdn.net/download/zaishuiyifangxym/11258714][https_download.csdn.net_download_zaishuiyifangxym_11258714]

**函数用法**

(1) 提取SIFT描述子：

> **\[image, descrips, locs\] = sift('scene.pgm');**
> 
> 其中，参数：
> 
> image：输入图像矩阵；
> 
> descrips：规范化的特征描述子(n×128维；每行元素平方和为1)
> 
> locs：关键点(n×4；每行1、2个元素为关键点坐标，第3个元素为关键点的尺度，第4个元素为关键点的角度\[单位：弧度\])
> 
> 具体过程：
> 
> 1)Matlab读入图片并存为tmp.pgm；
> 
> 2)调用可执行文件生sift成特征描述文件tmp.key：
> 
> 第1行：第1个元素为特征点个数，第2个元素为特征描述子维数
> 
> 第2行：关键点locs
> 
> 第3~9行：第1个关键点的128维特征
> 
> 3)将tmp.key读入为Matlab的矩阵并进行规范化。

(2) 显示关键点：

> **showkeys(image, locs);**
> 
> 其中：箭头方向代表关键点方向，长度代表尺度scale(显示时放大了6倍)；

(3) 特征点匹配：

> **match('scene.pgm','book.pgm');**
> 
> 调用sift生成关键点特征描述子，通过计算两幅图片两两关键点对应特征向量的夹角(越小越相似)。
> 
> **匹配规则**：若A图中关键点a与B图最相似关键点为b1，次相似关键点为b2，并且a与b1的夹角小于distRatio(0.6)倍的a与b2的夹角，则a与b1匹配，否者a不与B图中任何点匹配。

**(A) 提取关键点并显示**

Matlab 主函数代码：

[image, descrips, locs] = sift('./image/ZXP1.jpg');   % 1 提取sift描述子
    showkeys(image, locs);  % 2 在图片上显示特征点

运行结果：

![20190625220344804.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

**(B) 特征点匹配**

Matlab 主函数代码：

reference_image='./image/ZXP1.jpg';
    observation_image='./image/ZXP2.jpg';
    match(reference_image,observation_image);

运行结果：

![20190625220440417.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

--------------------

# 4 小结 #

SIFT关键点在**不同尺度空间**的图像下检测出的具有方向信息的局部极值点。特征点具有的三个特征：**尺度**、**方向**和**大小**。

SIFT算法关键点检测主要以下几个步骤：

1) 高斯金字塔；

2) DoG的局部极值点；

3) 关键点方向分配：求每个**极值点的梯度**来为极值点赋予**大小**和**方向**；

4) 关键点描述：**128维向量**。

# 参考资料 #

\[1\] LoweD G. Distinctive image features from scale-invariant keypoints \[J\]. International Journal of Computer Vision, 2004, 60(2): 91-110.

\[2\] Lindeberg T. Scale-space theory: A basic tool for analysing structures at different scales\[C\]//Journal of applied statistics. 1994.

\[3\] [SIFT算法详解及应用PPT][SIFT_PPT].

[20190702121014822.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20211223/7e4b4a93c77a4f1ebcf1180140f4727a.png
[https_xiongyiming.blog.csdn.net_article_details_93656603]: https://xiongyiming.blog.csdn.net/article/details/93656603
[20190625210735106.png]: /images/20211223/e5e476c5bc424fc9934924805848b5b7.png
[SIFT_PPT]: https://download.csdn.net/download/zaishuiyifangxym/11258406
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: /images/20211223/8cd5b3d9acf74bbe9d926e8a25dc333d.png
[20190626084815170.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190626084815170.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190625211827207.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[L_left_ _x_y_sigma _ _right]: https://private.codecogs.com/gif.latex?L%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29
[I_left_ _x_y_ _right]: https://private.codecogs.com/gif.latex?I%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29
[G_left_ _x_i_y_i_sigma _ _right]: https://private.codecogs.com/gif.latex?G%5Cleft%28%20%7B%7Bx_i%7D%2C%7By_i%7D%2C%5Csigma%20%7D%20%5Cright%29
[G_left_ _x_i_y_i_sigma _ _right_ _ _frac_1_2_pi _sigma _2_exp _left_ _ - _frac_x - _x_i_2_ _ _y - _y_i_2_2_sigma _2_ _right]: https://private.codecogs.com/gif.latex?G%5Cleft%28%20%7B%7Bx_i%7D%2C%7By_i%7D%2C%5Csigma%20%7D%20%5Cright%29%20%3D%20%5Cfrac%7B1%7D%7B%7B2%5Cpi%20%7B%5Csigma%20%5E2%7D%7D%7D%5Cexp%20%5Cleft%28%20%7B%20-%20%5Cfrac%7B%7B%7B%7B%28x%20-%20%7Bx_i%7D%29%7D%5E2%7D%20&plus;%20%7B%7B%28y%20-%20%7By_i%7D%29%7D%5E2%7D%7D%7D%7B%7B2%7B%5Csigma%20%5E2%7D%7D%7D%7D%20%5Cright%29
[L_left_ _x_y_sigma _ _right_ _ G_left_ _x_y_sigma _ _right_I_left_ _x_y_ _right]: https://private.codecogs.com/gif.latex?L%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29%20%3D%20G%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29*I%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29
[20190625212529646.png]: https://img-blog.csdnimg.cn/20190625212529646.png
[G_left_ r _right_ _ _frac_1_2_pi _sigma _2_exp _left_ _ - _frac_r_2_2_sigma _2_ _right]: https://private.codecogs.com/gif.latex?G%5Cleft%28%20r%20%5Cright%29%20%3D%20%5Cfrac%7B1%7D%7B%7B2%5Cpi%20%7B%5Csigma%20%5E2%7D%7D%7D%5Cexp%20%5Cleft%28%20%7B%20-%20%5Cfrac%7B%7B%7Br%5E2%7D%7D%7D%7B%7B2%7B%5Csigma%20%5E2%7D%7D%7D%7D%20%5Cright%29
[r_rm_ _ _sqrt _x_rm_2_ _ _y_2]: https://private.codecogs.com/gif.latex?r%7B%5Crm%7B%20%3D%20%7D%7D%5Csqrt%20%7B%7Bx%5E%7B%5Crm%7B2%7D%7D%7D%20&plus;%20%7By%5E2%7D%7D
[3_sigma]: https://private.codecogs.com/gif.latex?3%5Csigma
[6_sigma _ 1_ _times _6_sigma _ 1]: https://private.codecogs.com/gif.latex?%286%5Csigma%20&plus;%201%29%20%5Ctimes%20%286%5Csigma%20&plus;%201%29
[https_blog.csdn.net_zaishuiyifangxym_article_details_90167880]: https://blog.csdn.net/zaishuiyifangxym/article/details/90167880
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190625212715614.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[sigma _s_ _ _sigma _0_ _cdot _2_raise0.7ex_hbox_s_ _mathord_left_ _vphantom _s S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]: https://private.codecogs.com/gif.latex?%5Csigma%20%28s%29%20%3D%20%7B%5Csigma%20_0%7D%20%5Ccdot%20%7B2%5E%7B%7B%5Craise0.7ex%5Chbox%7B%24s%24%7D%20%5C%21%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7Bs%20S%7D%7D%5Cright.%5Ckern-%5Cnulldelimiterspace%7D%20%5C%21%5Clower0.7ex%5Chbox%7B%24S%24%7D%7D%7D%7D
[sigma]: https://private.codecogs.com/gif.latex?%5Csigma
[sigma _0]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_0%7D
[sigma _0_ _ _sqrt _sigma _init_ _times _sigma _init_ - _sigma _pre_ _times _sigma _pre]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_0%7D%20%3D%20%5Csqrt%20%7B%7B%5Csigma%20_%7Binit%7D%7D%20%5Ctimes%20%7B%5Csigma%20_%7Binit%7D%7D%20-%20%7B%5Csigma%20_%7Bpre%7D%7D%20%5Ctimes%20%7B%5Csigma%20_%7Bpre%7D%7D%7D
[sigma _init]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_%7B%7B%7D_%7Binit%7D%7D%7D
[sigma _pre]: https://private.codecogs.com/gif.latex?%5Csigma%20%7B%7D_%7Bpre%7D
[O _ _left_ _log _2_left_ _min _left_ _M_N_ _right_ _right_ _right_ - 3]: https://private.codecogs.com/gif.latex?O%20%3D%20%5Cleft%5B%20%7B%7B%7B%5Clog%20%7D_2%7D%5Cleft%28%20%7B%5Cmin%20%5Cleft%28%20%7BM%2CN%7D%20%5Cright%29%7D%20%5Cright%29%7D%20%5Cright%5D%20-%203
[sigma _s _ 1_ _ _sigma _s_ _cdot _2_raise0.7ex_hbox_1_ _mathord_left_ _vphantom _1 S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_%7Bs%20&plus;%201%7D%7D%20%3D%20%7B%5Csigma%20_s%7D%20%5Ccdot%20%7B2%5E%7B%7B%5Craise0.7ex%5Chbox%7B%241%24%7D%20%5C%21%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7B1%20S%7D%7D%5Cright.%5Ckern-%5Cnulldelimiterspace%7D%20%5C%21%5Clower0.7ex%5Chbox%7B%24S%24%7D%7D%7D%7D
[sigma _o _ 1_s_ _ _sigma _o_ _cdot _2_raise0.7ex_hbox_s _ S_ _mathord_left_ _vphantom _s _ S_ S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_%7Bo%20&plus;%201%7D%7D%28s%29%20%3D%20%7B%5Csigma%20_o%7D%20%5Ccdot%20%7B2%5E%7B%7B%5Craise0.7ex%5Chbox%7B%24%7Bs%20&plus;%20S%7D%24%7D%20%5C%21%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7B%7Bs%20&plus;%20S%7D%20S%7D%7D%5Cright.%5Ckern-%5Cnulldelimiterspace%7D%20%5C%21%5Clower0.7ex%5Chbox%7B%24S%24%7D%7D%7D%7D
[sigma _o_ _cdot _2_raise0.7ex_hbox_s _ S_ _mathord_left_ _vphantom _s _ S_ S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S_ _ 2_sigma _o_ _cdot _2_raise0.7ex_hbox_s_ _mathord_left_ _vphantom _s S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_o%7D%20%5Ccdot%20%7B2%5E%7B%7B%5Craise0.7ex%5Chbox%7B%24%7Bs%20&plus;%20S%7D%24%7D%20%5C%21%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7B%7Bs%20&plus;%20S%7D%20S%7D%7D%5Cright.%5Ckern-%5Cnulldelimiterspace%7D%20%5C%21%5Clower0.7ex%5Chbox%7B%24S%24%7D%7D%7D%7D%20%3D%202%7B%5Csigma%20_o%7D%20%5Ccdot%20%7B2%5E%7B%7B%5Craise0.7ex%5Chbox%7B%24s%24%7D%20%5C%21%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7Bs%20S%7D%7D%5Cright.%5Ckern-%5Cnulldelimiterspace%7D%20%5C%21%5Clower0.7ex%5Chbox%7B%24S%24%7D%7D%7D%7D
[2_i - 1_sigma _k_sigma _k_2_sigma _ _cdots _k_n - 1_sigma]: https://private.codecogs.com/gif.latex?%7B2%5E%7Bi%20-%201%7D%7D%28%5Csigma%20%2Ck%5Csigma%20%2C%7Bk%5E2%7D%5Csigma%20%2C%20%5Ccdots%20%7Bk%5E%7Bn%20-%201%7D%7D%5Csigma%20%29
[k _ _2_raise0.7ex_hbox_1_ _mathord_left_ _vphantom _1 S_right._kern-_nulldelimiterspace_ _lower0.7ex_hbox_S]: https://private.codecogs.com/gif.latex?k%20%3D%20%7B2%5E%7B%7B%5Craise0.7ex%5Chbox%7B%241%24%7D%20%5C%21%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7B1%20S%7D%7D%5Cright.%5Ckern-%5Cnulldelimiterspace%7D%20%5C%21%5Clower0.7ex%5Chbox%7B%24S%24%7D%7D%7D%7D
[i]: https://private.codecogs.com/gif.latex?i
[n]: https://private.codecogs.com/gif.latex?n
[2019062521335991.png]: https://img-blog.csdnimg.cn/2019062521335991.png
[nabla _2_G _ _frac_partial _2_G_partial _x_2_ _ _frac_partial _2_G_partial _y_2]: https://private.codecogs.com/gif.latex?%7B%5Cnabla%20%5E2%7DG%20%3D%20%5Cfrac%7B%7B%7B%5Cpartial%20%5E2%7DG%7D%7D%7B%7B%5Cpartial%20%7Bx%5E2%7D%7D%7D%20&plus;%20%5Cfrac%7B%7B%7B%5Cpartial%20%5E2%7DG%7D%7D%7B%7B%5Cpartial%20%7By%5E2%7D%7D%7D
[sigma _2_nabla _2_G]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20%5E2%7D%7B%5Cnabla%20%5E2%7DG
[LoG_x_y_sigma _ _ _sigma _2_nabla _2_G _approx _frac_Gauss_x_y_k_sigma _ - Gauss_x_y_sigma _sigma _2_k - 1]: https://private.codecogs.com/gif.latex?LoG%28x%2Cy%2C%5Csigma%20%29%20%3D%20%7B%5Csigma%20%5E2%7D%7B%5Cnabla%20%5E2%7DG%20%5Capprox%20%5Cfrac%7B%7BGauss%28x%2Cy%2Ck%5Csigma%20%29%20-%20Gauss%28x%2Cy%2C%5Csigma%20%29%7D%7D%7B%7B%7B%5Csigma%20%5E2%7D%28k%20-%201%29%7D%7D
[G_left_ _x_y_k_sigma _ _right_ - G_left_ _x_y_sigma _ _right_ _approx _left_ _k - 1_ _right_sigma _2_nabla _2_G]: https://private.codecogs.com/gif.latex?G%5Cleft%28%20%7Bx%2Cy%2Ck%5Csigma%20%7D%20%5Cright%29%20-%20G%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29%20%5Capprox%20%5Cleft%28%20%7Bk%20-%201%7D%20%5Cright%29%7B%5Csigma%20%5E2%7D%7B%5Cnabla%20%5E2%7DG
[D_left_ _x_y_sigma _ _right_ _ _left_ _G_left_ _x_y_k_sigma _ _right_ - G_left_ _x_y_sigma _ _right_ _right_I_left_ _x_y_ _right_ _ L_left_ _x_y_k_sigma _ _right_ - L_left_ _x_y_sigma _ _right]: https://private.codecogs.com/gif.latex?D%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29%20%3D%20%5Cleft%5B%20%7BG%5Cleft%28%20%7Bx%2Cy%2Ck%5Csigma%20%7D%20%5Cright%29%20-%20G%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29%7D%20%5Cright%5D*I%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29%20%3D%20L%5Cleft%28%20%7Bx%2Cy%2Ck%5Csigma%20%7D%20%5Cright%29%20-%20L%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29
[20190626083225765.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190626083225765.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[2019062521372072.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2019062521372072.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[sqrt _1.6 _times 1.6 - 0.5 _times 0.5_ _ 1.52]: https://private.codecogs.com/gif.latex?%5Csqrt%20%7B1.6%20%5Ctimes%201.6%20-%200.5%20%5Ctimes%200.5%7D%20%3D%201.52
[sqrt _1.6 _times 1.6 - _2 _times 0.5_ _times _2 _times 0.5_ _ 1.25]: https://private.codecogs.com/gif.latex?%5Csqrt%20%7B1.6%20%5Ctimes%201.6%20-%20%282%20%5Ctimes%200.5%29%20%5Ctimes%20%282%20%5Ctimes%200.5%29%7D%20%3D%201.25
[20190625213917419.png]: https://img-blog.csdnimg.cn/20190625213917419.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190626083308582.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[N]: https://private.codecogs.com/gif.latex?N
[D_left_ X _right_ _ D _ _frac_partial D_partial X_T_X _ _frac_1_2_X_T_frac_partial _2_D_partial _X_2_X]: https://private.codecogs.com/gif.latex?D%5Cleft%28%20X%20%5Cright%29%20%3D%20D%20&plus;%20%7B%5Cfrac%7B%7B%5Cpartial%20D%7D%7D%7B%7B%5Cpartial%20X%7D%7D%5ET%7DX%20&plus;%20%5Cfrac%7B1%7D%7B2%7D%7BX%5ET%7D%5Cfrac%7B%7B%7B%5Cpartial%20%5E2%7DD%7D%7D%7B%7B%5Cpartial%20%7BX%5E2%7D%7D%7DX
[hat X _ _left_ _x_y_sigma _ _right_T]: https://private.codecogs.com/gif.latex?%5Chat%20X%20%3D%20%7B%5Cleft%28%20%7Bx%2Cy%2C%5Csigma%20%7D%20%5Cright%29%5ET%7D
[mathop X_limits_ _wedge _ - _frac_partial D_partial X_T_frac_partial _2_D_partial _X_2_ - 1]: https://private.codecogs.com/gif.latex?%5Cmathop%20X%5Climits%5E%20%5Cwedge%20%3D%20-%20%7B%5Cfrac%7B%7B%5Cpartial%20D%7D%7D%7B%7B%5Cpartial%20X%7D%7D%5ET%7D%7B%28%5Cfrac%7B%7B%7B%5Cpartial%20%5E2%7DD%7D%7D%7B%7B%5Cpartial%20%7BX%5E2%7D%7D%7D%29%5E%7B%20-%201%7D%7D
[mathop X_limits_ _wedge]: https://private.codecogs.com/gif.latex?%5Cmathop%20X%5Climits%5E%20%5Cwedge
[D_left_ _mathop X_limits_ _wedge _ _right_ _ D _ _frac_1_2_frac_partial D_partial X_T_X]: https://private.codecogs.com/gif.latex?D%5Cleft%28%20%7B%5Cmathop%20X%5Climits%5E%20%5Cwedge%20%7D%20%5Cright%29%20%3D%20D%20&plus;%20%5Cfrac%7B1%7D%7B2%7D%7B%5Cfrac%7B%7B%5Cpartial%20D%7D%7D%7B%7B%5Cpartial%20X%7D%7D%5ET%7DX
[H _ _left_ _begin_array_20_c_ _D_xx_D_xy_ _D_xy_D_yy_ _end_array_ _right]: https://private.codecogs.com/gif.latex?H%20%3D%20%5Cleft%5B%20%7B%5Cbegin%7Barray%7D%7B*%7B20%7D%7Bc%7D%7D%20%7B%7BD_%7Bxx%7D%7D%7D%26%7B%7BD_%7Bxy%7D%7D%7D%5C%5C%20%7B%7BD_%7Bxy%7D%7D%7D%26%7B%7BD_%7Byy%7D%7D%7D%20%5Cend%7Barray%7D%7D%20%5Cright%5D
[D_xx]: https://private.codecogs.com/gif.latex?%7BD_%7Bxx%7D
[x]: https://private.codecogs.com/gif.latex?x
[alpha]: https://private.codecogs.com/gif.latex?%5Calpha
[beta]: https://private.codecogs.com/gif.latex?%5Cbeta
[frac_Tr_left_ H _right_2_Det_left_ H _right_ _ _frac_left_ _alpha _ _beta _ _right_2_alpha _beta _ _ _frac_left_ _r _ 1_ _right_2_r]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%7BTr%7B%7B%5Cleft%28%20H%20%5Cright%29%7D%5E2%7D%7D%7D%7B%7BDet%5Cleft%28%20H%20%5Cright%29%7D%7D%20%3D%20%5Cfrac%7B%7B%7B%7B%5Cleft%28%20%7B%5Calpha%20&plus;%20%5Cbeta%20%7D%20%5Cright%29%7D%5E2%7D%7D%7D%7B%7B%5Calpha%20%5Cbeta%20%7D%7D%20%3D%20%5Cfrac%7B%7B%7B%7B%5Cleft%28%20%7Br%20&plus;%201%7D%20%5Cright%29%7D%5E2%7D%7D%7D%7Br%7D
[alpha _ r_beta]: https://private.codecogs.com/gif.latex?%5Calpha%20%3D%20r%5Cbeta
[Tr_left_ H _right_ _ _D_xx_ _ _D_yy]: https://private.codecogs.com/gif.latex?Tr%5Cleft%28%20H%20%5Cright%29%20%3D%20%7BD_%7Bxx%7D%7D%20&plus;%20%7BD_%7Byy%7D%7D
[Det_left_ H _right_ _ _D_xx_ _times _D_yy_ - _D_xy_ _times _D_xy]: https://private.codecogs.com/gif.latex?Det%5Cleft%28%20H%20%5Cright%29%20%3D%20%7BD_%7Bxx%7D%7D%20%5Ctimes%20%7BD_%7Byy%7D%7D%20-%20%7BD_%7Bxy%7D%7D%20%5Ctimes%20%7BD_%7Bxy%7D%7D
[left_ _r _ 1_ _right_2_ _mathord_left_ _vphantom _left_ _r _ 1_ _right_2_ r_ _right. _kern-_nulldelimiterspace_ r]: https://private.codecogs.com/gif.latex?%7B%7B%7B%7B%5Cleft%28%20%7Br%20&plus;%201%7D%20%5Cright%29%7D%5E2%7D%7D%20%5Cmathord%7B%5Cleft/%20%7B%5Cvphantom%20%7B%7B%7B%7B%5Cleft%28%20%7Br%20&plus;%201%7D%20%5Cright%29%7D%5E2%7D%7D%20r%7D%7D%20%5Cright.%20%5Ckern-%5Cnulldelimiterspace%7D%20r%7D
[r]: https://private.codecogs.com/gif.latex?r
[gradI_left_ _x_y_ _right_ _ _left_ _frac_partial I_partial x_frac_partial I_partial y_ _right]: https://private.codecogs.com/gif.latex?gradI%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29%20%3D%20%5Cleft%28%20%7B%5Cfrac%7B%7B%5Cpartial%20I%7D%7D%7B%7B%5Cpartial%20x%7D%7D%2C%5Cfrac%7B%7B%5Cpartial%20I%7D%7D%7B%7B%5Cpartial%20y%7D%7D%7D%20%5Cright%29
[m_left_ _x_y_ _right_ _ _sqrt _left_ _L_left_ _x _ 1_y_ _right_ - L_left_ _x - 1_y_ _right_ _right_2_ _ _left_ _L_left_ _x_y _ 1_ _right_ - L_left_ _x_y - 1_ _right_ _right_2]: https://private.codecogs.com/gif.latex?m%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29%20%3D%20%5Csqrt%20%7B%7B%7B%5Cleft%28%20%7BL%5Cleft%28%20%7Bx%20&plus;%201%2Cy%7D%20%5Cright%29%20-%20L%5Cleft%28%20%7Bx%20-%201%2Cy%7D%20%5Cright%29%7D%20%5Cright%29%7D%5E2%7D%20&plus;%20%7B%7B%5Cleft%28%20%7BL%5Cleft%28%20%7Bx%2Cy%20&plus;%201%7D%20%5Cright%29%20-%20L%5Cleft%28%20%7Bx%2Cy%20-%201%7D%20%5Cright%29%7D%20%5Cright%29%7D%5E2%7D%7D
[theta _left_ _x_y_ _right_ _ _tan _ - 1_left_ _frac_L_left_ _x_y _ 1_ _right_ - L_left_ _x_y - 1_ _right_L_left_ _x _ 1_y_ _right_ - L_left_ _x - 1_y_ _right_ _right]: https://private.codecogs.com/gif.latex?%5Ctheta%20%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29%20%3D%20%7B%5Ctan%20%5E%7B%20-%201%7D%7D%5Cleft%5B%20%7B%5Cfrac%7B%7BL%5Cleft%28%20%7Bx%2Cy%20&plus;%201%7D%20%5Cright%29%20-%20L%5Cleft%28%20%7Bx%2Cy%20-%201%7D%20%5Cright%29%7D%7D%7B%7BL%5Cleft%28%20%7Bx%20&plus;%201%2Cy%7D%20%5Cright%29%20-%20L%5Cleft%28%20%7Bx%20-%201%2Cy%7D%20%5Cright%29%7D%7D%7D%20%5Cright%5D
[20190625214727494.png]: https://img-blog.csdnimg.cn/20190625214727494.png
[20190625214747335.png]: https://img-blog.csdnimg.cn/20190625214747335.png
[20190625214813461.png]: https://img-blog.csdnimg.cn/20190625214813461.png
[20190625214848205.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190625214848205.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20190625214947848.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[radius _ _frac_3_sigma _oct_ _times _sqrt 2 _times _left_ _d _ 1_ _right_ _ 1_2]: https://private.codecogs.com/gif.latex?radius%20%3D%20%5Cfrac%7B%7B3%7B%5Csigma%20_%7Boct%7D%7D%20%5Ctimes%20%5Csqrt%202%20%5Ctimes%20%5Cleft%28%20%7Bd%20&plus;%201%7D%20%5Cright%29%20&plus;%201%7D%7D%7B2%7D
[sigma _oct]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_%7Boct%7D%7D
[d]: https://private.codecogs.com/gif.latex?d
[20190625215043415.png]: https://img-blog.csdnimg.cn/20190625215043415.png
[left_ _begin_array_l_ _hat x_ _hat y_ _end_array_ _right_ _ _left_ _begin_array_20_c_ _cos _theta _ - _sin _theta _ _sin _theta _cos _theta _ _end_array_ _right_ _times _left_ _begin_array_l_ x_ y _end_array_ _right]: https://private.codecogs.com/gif.latex?%5Cleft%28%20%5Cbegin%7Barray%7D%7Bl%7D%20%7B%5Chat%20x%7D%5C%5C%20%7B%5Chat%20y%7D%20%5Cend%7Barray%7D%20%5Cright%29%20%3D%20%5Cleft%28%20%7B%5Cbegin%7Barray%7D%7B*%7B20%7D%7Bc%7D%7D%20%7B%5Ccos%20%5Ctheta%20%7D%26%7B%20-%20%5Csin%20%5Ctheta%20%7D%5C%5C%20%7B%5Csin%20%5Ctheta%20%7D%26%7B%5Ccos%20%5Ctheta%20%7D%20%5Cend%7Barray%7D%7D%20%5Cright%29%20%5Ctimes%20%5Cleft%28%20%5Cbegin%7Barray%7D%7Bl%7D%20x%5C%5C%20y%20%5Cend%7Barray%7D%20%5Cright%29
[20190625215114821.png]: https://img-blog.csdnimg.cn/20190625215114821.png
[weight _ _left_ _grad_left_ _I_sigma _left_ _x_y_ _right_ _right_ _right_ _cdot _exp _left_ _ - _frac_x_k_2 _ y_k_2_2_sigma _w_ _right_ _cdot _left_ _1 - _d_r_ _right_ _cdot _left_ _1 - _d_c_ _right_ _cdot _left_ _1 - _d_o_ _right]: https://private.codecogs.com/gif.latex?weight%20%3D%20%5Cleft%7C%20%7Bgrad%5Cleft%28%20%7B%7BI_%5Csigma%20%7D%5Cleft%28%20%7Bx%2Cy%7D%20%5Cright%29%7D%20%5Cright%29%7D%20%5Cright%7C%20%5Ccdot%20%5Cexp%20%5Cleft%28%20%7B%20-%20%5Cfrac%7B%7Bx_k%5E2%20&plus;%20y_k%5E2%7D%7D%7B%7B2%7B%5Csigma%20_w%7D%7D%7D%7D%20%5Cright%29%20%5Ccdot%20%5Cleft%28%20%7B1%20-%20%7Bd_r%7D%7D%20%5Cright%29%20%5Ccdot%20%5Cleft%28%20%7B1%20-%20%7Bd_c%7D%7D%20%5Cright%29%20%5Ccdot%20%5Cleft%28%20%7B1%20-%20%7Bd_o%7D%7D%20%5Cright%29
[x_k]: https://private.codecogs.com/gif.latex?%7Bx_k%7D
[y_k]: https://private.codecogs.com/gif.latex?%7By_k%7D
[sigma _w]: https://private.codecogs.com/gif.latex?%7B%5Csigma%20_w%7D
[l_j_ _ _w_j_sqrt _sum_limits_i _ 1_128_ _w_i_ _ _j _ 1_2_ _cdots 128]: https://private.codecogs.com/gif.latex?%7Bl_j%7D%20%3D%20%7Bw_j%7D/%5Csqrt%20%7B%5Csum%5Climits_%7Bi%20%3D%201%7D%5E%7B128%7D%20%7B%7Bw_i%7D%7D%20%7D%20%2Cj%20%3D%201%2C2%2C%20%5Ccdots%20128
[W _ _left_ _w_1_w_2_ _cdots _w_128_ _right]: https://private.codecogs.com/gif.latex?W%20%3D%20%5Cleft%28%20%7B%7Bw_1%7D%2C%7Bw_2%7D%2C%20%5Ccdots%20%2C%7Bw_%7B128%7D%7D%7D%20%5Cright%29
[L _ _left_ _l_1_l_2_ _cdots _l_128_ _right]: https://private.codecogs.com/gif.latex?L%20%3D%20%5Cleft%28%20%7B%7Bl_1%7D%2C%7Bl_2%7D%2C%20%5Ccdots%20%2C%7Bl_%7B128%7D%7D%7D%20%5Cright%29
[20190625215654343.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190625215654343.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20190625215732441.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[R_i_ _ _left_ _r_i1_r_i2_ _cdots _r_i128_ _right]: https://private.codecogs.com/gif.latex?%7BR_i%7D%20%3D%20%5Cleft%28%20%7B%7Br_%7Bi1%7D%7D%2C%7Br_%7Bi2%7D%7D%2C%20%5Ccdots%20%2C%7Br_%7Bi128%7D%7D%7D%20%5Cright%29
[S_i_ _ _left_ _s_i1_s_i2_ _cdots _s_i128_ _right]: https://private.codecogs.com/gif.latex?%7BS_i%7D%20%3D%20%5Cleft%28%20%7B%7Bs_%7Bi1%7D%7D%2C%7Bs_%7Bi2%7D%7D%2C%20%5Ccdots%20%2C%7Bs_%7Bi128%7D%7D%7D%20%5Cright%29
[d_left_ _R_i_S_i_ _right_ _ _sqrt _sum_limits_j _ 1_128_ _left_ _r_ij_ - _s_ij_ _right_2_]: https://private.codecogs.com/gif.latex?d%5Cleft%28%20%7B%7BR_i%7D%2C%7BS_i%7D%7D%20%5Cright%29%20%3D%20%5Csqrt%20%7B%5Csum%5Climits_%7Bj%20%3D%201%7D%5E%7B128%7D%20%7B%7B%7B%5Cleft%28%20%7B%7Br_%7Bij%7D%7D%20-%20%7Bs_%7Bij%7D%7D%7D%20%5Cright%29%7D%5E2%7D%7D%20%7D
[d_left_ _R_i_S_j_ _right]: https://private.codecogs.com/gif.latex?d%5Cleft%28%20%7B%7BR_i%7D%2C%7BS_j%7D%7D%20%5Cright%29
[20190625220013331.png]: https://img-blog.csdnimg.cn/20190625220013331.png
[20190625220050582.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190625220050582.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[https_download.csdn.net_download_zaishuiyifangxym_11258714]: https://download.csdn.net/download/zaishuiyifangxym/11258714
[20190625220344804.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190625220344804.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[20190625220440417.png_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190625220440417.png?,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW9uZ3lpbWluZy5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70