Deep Learning学习之卷积神经网络（CNN）

比眉伴天荒 2022-07-24 03:21 229阅读 0赞

# 概述 #

## 起源 ##

卷积网络最初是受视觉神经机制的启发而设计的，是为识别二维形状而设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他 形式的变形具有高度不变性。

1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima 基于感受野概念提出的神经认知机(neocognitron)模型，它可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。

神经认知机将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有 位移或轻微变形的时候，也能完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变化形。在其后的应用研究中，Fukushima 将神经认知机主要用于手写数字的识别。随后，国内外的研究人员提出多种卷积神经网络形式，在邮政编码识别（Y. LeCun etc）、车牌识别和人脸识别等方面 得到了广泛的应用。

--------------------

# CNN的结构 #

## 主要特点 ##

卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物神经网络，降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量。

#### 局部连接 ####

回想一下BP神经网络。BP网络每一层节点是一个线性的一维排列状态，层与层的网络节点之间是**全连接的**。这样设想一下，如果BP网络中层与层之间的节点连接不再是全连接，而是局部连接的。这样，就是一种最简单的一维卷积网络。如果我们把上述这个思路扩展到二维，这就是我们在大多数参考资料上看到的卷积神经网络。

根据BP网络信号前向传递过程，我们可以很容易计算网络节点的输出。*例如，对于上图中被标注为红色节点的净输入，就等于所有与红线相连接的上一层神经元节点值与红色线表示的权值之积的累加。*这样的计算过程，很多书上称其为卷积。

事实上，对于数字滤波而言，其滤波器的系数通常是对称的。否则，卷积的计算需要先反向对折，然后进行乘累加的计算。上述神经网络权值满足对称吗？我想答案是否定的！所以，上述称其为卷积运算，显然是有失偏颇的。但这并不重要，仅仅是一个名词称谓而已。只是，搞信号处理的人，在初次接触卷积神经网络的时候，带来了一些理解上的误区。（这是我在网络上看到的人说的，我觉得他说的有那么点问题）

#### 权值共享 ####

卷积神经网络另外一个特性是权值共享，即同一个特征映射上的神经元使用相同的卷积核

上面描述的只是单层网络结构，前A&T Shannon Lab 的 Yann LeCun等人据此提出了基于卷积神经网络的一个文字识别系统 LeNet-5。该系统90年代就被用于银行手写数字的识别。

## 形式约束 ##

刚才说到了卷积网络的特点，如，局部不变性：对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性等。这些特性是网络在有监督方式下学会的。

这种网络结构是为识别二维形状而特殊设计的一个多层感知器，除了有上文所说的稀疏连接和权值共享两个特点外，还包括如下形式的约束：  
**1、 特征提取。**每一个神经元从上一层的局部接受域得到突触输人，因而迫使它提取**局部特征**。一旦一个特征被提取出来， 只要它相对于其他特征的位置被近似地保留下来，它的精确位置就变得没有那么重要了。  
**2 、特征映射。**网络的每一个计算层都是由**多个特征映射**组成的，每个特征映射都是平面形式的。平面中单独的神经元在约束下**共享相同的突触权值集**，这种结构形式具有如下的有益效果：a.平移不变性。b.自由参数数量的缩减(通过权值共享实现)。  
**3、子抽样。**每个卷积层后面跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降的作用。

## 结构图 ##

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。

![这里写图片描述][1365562094_2229.jpg]  
图：卷积神经网络的概念示范

1.  输入图像通过和三个**可训练的滤波器(卷积核)**和**可加偏置**进行卷积，卷积后在C1层产生三个特征映射图。
2.  C1特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图
3.  S2映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。
4.  这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。

网络中包含一些简单元和复杂元，分别记为S-元 和C-元。S-元聚合在一起组成S-面，S-面聚合在一起组成S-层，用Us表示。C-元、C-面和C-层(Uc)之间存在类似的关系。

网络的任一中间级由S-层与C-层 串接而成，而输入级只含一层，它直接接受二维视觉模式，样本特征提取步骤已嵌入到卷积神经网络模型的互联结构中。

一般地，**C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征**，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来.

**S层是特征映射层，网络的每个计算层由多个特征映射组成**，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。

此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。 卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取的计算层（S-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

## 稀疏连接(Sparse Connectivity) ##

卷积网络通过在相邻两层之间强制使用局部连接模式来利用图像的空间局部特性，在第m层的隐层单元只与第m-1层的输入单元的局部区域有连接，第m-1层的这些局部区域被称为空间连续的接受域。我们可以将这种结构描述如下：

设第m-1层为视网膜输入层，第m层的接受域的宽度为3，也就是说该层的每个单元与且仅与输入层的3个相邻的神经元相连，第m层与第m+1层具有类似的链接规则，如下图所示。

![这里写图片描述][SouthEast]

可以看到m+1层的神经元相对于第m层的接受域的宽度也为3，但相对于输入层的接受域为5，这种结构将学习到的过滤器（对应于输入信号中被最大激活的单元）限制在局部空间 模式（因为每个单元对它接受域外的variation不做反应）。从上图也可以看出，多个这样的层堆叠起来后，会使得过滤器（不再是线性的）逐渐成为全局的（也就是覆盖到了更 大的视觉区域）。例如上图中第m+1层的神经元可以对宽度为5的输入进行一个非线性的特征编码。

## 权值共享(Shared Weights) ##

在卷积网络中，每个稀疏过滤器hi通过共享权值都会覆盖整个可视域，这些共享权值的单元构成一个特征映射，如下图所示。

![这里写图片描述][SouthEast 1]

在图中，有3个隐层单元，他们属于同一个特征映射。**同种颜色的连接权值是相同的**.我们仍然可以使用梯度下降的方法来学习这些权值，只需要对原始算法做一些小的改动，这里共享权值的梯度是所有共享参数的梯度的总和。

我们不禁会问为什么要权重共享呢？一方面，重复单元能够对特征进行识别，而不考虑它在可视域中的位置。另一方面，权值 共享使得我们能更有效的进行特征抽取，因为它极大的减少了需要学习的自由变量的个数。通过控制模型的规模，卷积网络对视觉问题可以具有很好的泛化能力。

## 举例讲解 ##

下图左：如果我们有1000×1000像素的图像，有1百万个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个像素点），就有1000×1000×1000000=1012个连接，也就是1012个权值参数。

然而图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数了。

下图右：假如局部感受野是10×10，隐层每个感受野只需要和这10×10的局部图像相连接，所以1百万个隐层神经元就只有一亿个连接，即108个参数。比原来减少了四个0（数量级），这样训练起来就没那么费力了。这就是局部连接。

![这里写图片描述][1365562155_9356.jpg]

我们知道，隐含层的每一个神经元都连接10×10个图像区域，也就是说每一个神经元存在10×10=100个连接权值参数（卷积核）。如果每个神经元用的是同一个卷积核去卷积图像，这样我们就只有100个参数啊，不管你隐层的神经元个数有多少，两层间的连接只有100个参数！这就是权值共享！

**但这样只提取了一种特征，假如一种滤波器，也就是一种卷积核，能够提出图像的一种特征**，例如[某个方向的边缘][Link 1]。那么我们需要提取不同的特征，就需要多使用几种滤波器。所以假设使用100种滤波器，每种滤波器的参数不一样，表示它提出输入图像的不同特征，例如不同的边缘。

这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为Feature Map。所以100种卷积核就有100个Feature Map。这100个Feature Map就组成了一层神经元。100种卷积核x每种卷积核共享100个参数=100×100=10K，也就是1万个参数。见下图右：不同的颜色表达不同的滤波器。

![这里写图片描述][1365562217_2880.jpg]

刚才说隐层的参数个数和隐层的神经元个数无关，只和滤波器的大小和滤波器种类的多少有关。那么隐层的神经元个数怎么确定呢？它和原图像，也就是输入的大小（神经元个数）、滤波器的大小和滤波器在图像中的滑动步长都有关！例如，我的图像是1000×1000像素，而滤波器大小是10×10，假设滤波器没有重叠，也就是步长为10，这样隐层的神经元个数就是(1000×1000)(10×10)=100×100个神经元了。

假设步长是8，也就是卷积核会重叠两个像素，考虑到右边和下边的过滤器扫描情况，每一个神经元应该占有810的像素。大家可以换个图，均摊一下就好。

注意了，这只是一种滤波器，也就是一个Feature Map的神经元个数哦，如果100个Feature Map就是100倍了。由此可见，图像越大，神经元个数和需要训练的权值参数个数的贫富差距就越大。

需要注意的一点是，上面的讨论都没有考虑每个神经元的偏置部分。所以权值个数需要加1 。这个也是同一种滤波器共享的。

总之，卷积网络的核心思想是将：局部感受野、权值共享（或者权值复制）以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性

## 整体例子 ##

在[这篇博文][Link 2]中有详细讲解一个CNN网络的构建和运算过程。

下图是一个简单的卷积网络的实例：

![这里写图片描述][SouthEast 2]

图中的卷积网络工作流程如下：

1.  输入层由32×32个感知节点组成，接收原始图像。
2.  第一隐藏层进行卷积，它由8个特征映射组成（所以一层中有8个面），每个特征映射由28×28个神经元组成（一个C面中有28×28的C元），每个神经元指定一个 5×5的接受域（就是从上层中一块5×5的区域提取特征），这28×28个神经元共享5×5个权值参数，即卷积核。
3.  第二隐藏层实现子抽样和局部平均，它同样由 8 个特征映射组成（和C层一一对应），但其每个特征映射由14×14 个神经元组成。每个神经元具有一个 2×2的接受域，一个可训练系数，一个可训练偏置和一个 sigmoid 激活函数。可训练系数和偏置控制神经元的操作点。
4.  第三隐藏层进行第二次卷积，它由 20 个特征映射组成，每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元可能具有和下一个隐藏层几个特征映射相连的突触连接，它以与第一个卷积层相似的方式操作。
5.  第四个隐藏层进行第二次子抽样和局部平均汁算。它由 20 个特征映射组成，但每个特征映射由 5×5 个神经元组成，它以 与第一次抽样相似的方式操作。
6.  第五个隐藏层实现卷积的最后阶段，它由 120个神经元组成，每个神经元指定一个5×5的接受域。
7.  最后是个全连接层，得到输出向量。

相继的计算层在卷积和抽样之间的连续交替，我们得到一个“双尖塔”的效果，也就是在每个卷积或抽样层，随着空间分辨率下降，与相应的前一层相比特征映射的数量增加。卷积之后进行子抽样的思想是受到动物视觉系统中的“简单的”细胞后面跟着“复杂的”细胞的想法的启发而产生的。（我不知道这种交替的形式是不是就是所谓的subsampling layers）

图中所示的多层感知器包含近似 100000 个突触连接，但只有大约2600个自由参数(每个特征映射为一个平面，平面上所有神经元的权值相等)。自由参数在数量上显著地减少是通过权值共享获得的，学习机器的能力（以 VC 维的形式度量）因而下降，这又提高它的泛化能力。而且它对自由参数的调整通过反向传播学习的随机形式来实现。

另一个显著的特点是使用权值共享使得以**并行形式**实现卷积网络变得可能。这是卷积网络对全连接的多层感知器而言的另一个优点。

# CNN的训练 #

神经网络用于模式识别的主流是有指导学习网络，无指导学习网络更多的是用于聚类分析。

对于有指导的模式识别，由于任一样本的类别是已知的，样本在空间的分布不再是依据其自然分布倾向来划分，而是要根据同类样本在空间的分布及不同类样本之间的分离程度找一种适当的空间划分方法，或者找到一个分类边界，使得不同类样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不断调整用以划分样本空间的分类边界的位置，使尽可能少的样本被划分到非同类区域中。

卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力（我觉得神经网络都这样）。

卷积网络执行的是有导师训练，所以其样本集（训练集）是由形如：（输入向量，理想输出向量）的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化权矩阵，则网络无能力学习。

训练算法与传统的BP算法差不多。主要包括4步，这4步被分为两个阶段：

第一阶段，向前传播阶段：

a）从样本集中取**一个样本**(X,Yp)，将X输入网络；

b）计算相应的实际输出Op。

在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）：

Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））

第二阶段，向后传播阶段

a）算实际输出Op与相应的理想输出Yp的差；

b）按**极小化误差的方法**反向传播调整权矩阵。

# CNN的学习 #

将上文说的卷积神经网络简化为下图所示模型：  
![这里写图片描述][SouthEast 3]

其中，input 到C1、S4到C5、C5到output是全连接；C1到S2、C3到S4是一一对应的连接，S2到C3为了消除网络对称性，去掉了一部分连接， 可以让特征映射更具多样性。**需要注意的是 C5 卷积核的尺寸要和 S4 的输出相同，只有这样才能保证输出是一维向量。**

## 卷积层的学习 ##

卷积层的典型结构如下图所示：

![这里写图片描述][SouthEast 4]

卷积层的前馈运算是通过如下算法实现的：

卷积层的输出=Sigmoid(∑(过滤器与接收域的卷积)\+偏移量)

其中卷积核和偏移量都是可训练的。下面是其核心代码：

ConvolutionLayer::fprop(input,output) {
      //取得卷积核的个数 
      int n=kernel.GetDim(0);  
      for (int i=0;i<n;i++) {  
          //第i个卷积核对应输入层第a个特征映射，输出层的第b个特征映射 
          //这个卷积核可以形象的看作是从输入层第a个特征映射到输出层的第b个特征映射的一个链接 
          int a=table[i][0], b=table[i][1];  
          //用第i个卷积核和输入层第a个特征映射做卷积 
          convolution = Conv(input[a],kernel[i]);  
          //把卷积结果求和 
          sum[b] += convolution;  
      }  
      for (i=0;i<(int)bias.size();i++) {  
          //加上偏移量 
          sum[i] += bias[i];  
      }  
      //调用Sigmoid函数 
      output = Sigmoid(sum);  
    }

其中，input是 n1×n2×n3 的矩阵，n1是输入层特征映射的个数，n2是输入层特征映射的宽度，n3是输入层特征映射的高度。convolution是(n2−kw\+1)×(n3−kh\+1)，output, sum,bias是n1×(n2−kw\+1)×(n3−kh\+1)的矩阵，kw,kh是卷积核的宽度高度(图中是5×5)。kernel是卷积核矩阵。table是连接表，即如果第a输入和第b个输出之间有连接，table里就会有\[a,b\]这一项，而且每个连接都对应一个卷积核。

卷积层的反馈运算的核心代码如下：

ConvolutionLayer::bprop(input,output,in_dx,out_dx) {  
      //梯度通过DSigmoid反传 
      sum_dx = DSigmoid(out_dx);  
      //计算bias的梯度 
      for (i=0;i<bias.size();i++)  {  
          bias_dx[i] = sum_dx[i];  
      }  
      //取得卷积核的个数 
      int n=kernel.GetDim(0);  
      for (int i=0;i<n;i++)  
      {  
          int a=table[i][0],b=table[i][1];  
          //用第i个卷积核和第b个输出层反向卷积（即输出层的一点乘卷积模板返回给输入层），并把结果累加到第a个输入层 
          input_dx[a] += DConv(sum_dx[b],kernel[i]);  
          //用同样的方法计算卷积模板的梯度 
          kernel_dx[i] += DConv(sum_dx[b],input[a]);  
      }  
    }

其中in\_dx,out\_dx 的结构和 input,output 相同，代表的是相应点的梯度。

## 子采样层的学习 ##

子采样层的典型结构如下图所示：  
![这里写图片描述][SouthEast 5]

类似的子采样层的输出的计算式为：

输出=Sigmoid(采样∗权重\+偏移量)

其核心代码如下

SubSamplingLayer::fprop(input,output) {  
      int n1= input.GetDim(0);  
      int n2= input.GetDim(1);  
      int n3= input.GetDim(2);  
      for (int i=0;i<n1;i++) {  
          for (int j=0;j<n2;j++) {  
              for (int k=0;k<n3;k++) {  
                  //coeff 是可训练的权重，sw 、sh 是采样窗口的尺寸。  
                  sub[i][j/sw][k/sh] += input[i][j][k]*coeff[i];  
              }  
          }  
      }  
      for (i=0;i<n1;i++) {  
          //加上偏移量  
          sum[i] = sub[i] + bias[i];  
      }  
      output = Sigmoid(sum);  
    }

子采样层的反馈运算的核心代码如下：

SubSamplingLayer::bprop(input,output,in_dx,out_dx) {  
      //梯度通过DSigmoid反传  
      sum_dx = DSigmoid(out_dx);  
      //计算bias和coeff的梯度  
      for (i=0;i<n1;i++) {  
          coeff_dx[i] = 0;  
          bias_dx[i] = 0;  
          for (j=0;j<n2/sw;j++)  
              for (k=0;k<n3/sh;k++) {  
                  coeff_dx[i] += sub[j][k]*sum_dx[i][j][k];  
                  bias_dx[i] += sum_dx[i][j][k]);  
              }  
      }  
      for (i=0;i<n1;i++) {  
          for (j=0;j<n2;j++)  
              for (k=0;k<n3;k++) {  
                  in_dx[i][j][k] = coeff[i]*sum_dx[i][j/sw][k/sh];  
              }  
      }  
    }

# CNN的优点 #

卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

流的分类方式几乎都是基于统计特征的，这就意味着在进行分辨前必须提取某些特征。然而，显式的特征提取并不容易，在一些应用问题中也并非总是可靠的。卷积神经网络，它避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。

卷积网络较一般神经网络在图像处理方面有如下优点：  
a）输入图像和网络的拓扑结构能很好的吻合；  
b）特征提取和模式分类同时进行，并同时在训练中产生；  
c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。

[1365562094_2229.jpg]: https://img-my.csdn.net/uploads/201304/10/1365562094_2229.jpg
[SouthEast]: /images/20220722/cc27ac77edaf42bf93092f4af2498bba.png
[SouthEast 1]: /images/20220722/09fea4103d6e459383fc76d630a2b250.png
[1365562155_9356.jpg]: https://img-my.csdn.net/uploads/201304/10/1365562155_9356.jpg
[Link 1]: http://docs.gimp.org/en/plug-in-convmatrix.html
[1365562217_2880.jpg]: https://img-my.csdn.net/uploads/201304/10/1365562217_2880.jpg
[Link 2]: http://blog.csdn.net/u013007900/article/details/51419257
[SouthEast 2]: /images/20220722/57680c0f47cf4fe2a6c3fefbeb08a88e.png
[SouthEast 3]: /images/20220722/51a5204696f448849d1366fa162f70c9.png
[SouthEast 4]: /images/20220722/ac8ab80d74954c6eae36fbe86e79ca35.png
[SouthEast 5]: /images/20220722/f67f0415a76a44678502036c1b4c2704.png