深度学习FPGA实现基础知识18(Matconvnet学习笔记)

阳光穿透心脏的1/2处 2022-05-19 10:36 399阅读 0赞

**需求说明：深度学习FPGA实现知识储备**

**来自：[http://blog.csdn.net/anysky\_\_\_/article/details/51356158][http_blog.csdn.net_anysky_article_details_51356158]**

**整理来自：时间的诗**

**Introduction to Matconvnet**

**　　**MatConvNet是实现用于计算机视觉领域的卷积神经网络(CNN)的MATLAB工具箱。自从取得突破性工作以来,CNN在计算机视觉领域有一个重大影响，特别是图像理解，基本上取代了传统图像表示。有许多其他[机器学习][Link 1]、深度学习和CNN开源库的存在。一些最受欢迎的:CudaConvNet ，Torch， Theano,Caffe等。MatConvNet是为研究人员提供一个尤其是友好和高效使用的环境，它其中包含许多CNN计算块，如卷积，归一化和池化等等，他们中的大部分是使用C++或CUDA编写的，这意味着它允许使用者写新的块来提高计算效率。MatConvNet可以学习AlexNet等大型深度CNN模型，这些强大的模型的Pre-trained版本可以从MatConvNet主页下载。虽然强大,但是MatConvNet易于使用和安装。实现是完全独立的,只需要MATLAB和兼容的c++编译器(使用GPU代码免费提供CUDA DevKit和合适的NVIDIA GPU)。

\[注\]：我下载的版本是matconvnet-1.0-beta19，这个在可以从MatConvNet主页下载，下载网址如下：[http://www.vlfeat.org/matconvnet/][http_www.vlfeat.org_matconvnet]

**　**　一、Getting started

编译MatConvNet的CPU版本

首先通过一个简单但是完整的例子看一下CNN是如何完成下载MatConvNet,编译,下载pre-trained CNN 模型，完成MATLAB图片分类的过程。代码可以从MatConvNet主页的[http://www.vlfeat.org/matconvnet/pretrained/][http_www.vlfeat.org_matconvnet_pretrained]获得。

**\[csharp\]** [view plain][] [copy][view plain]

1.    
    % install and compile MatConvNet (needed once)
2.    
    untar(’[http://www.vlfeat.org/matconvnet/download/matconvnet-1.0-beta20.tar.gz][http_www.vlfeat.org_matconvnet_download_matconvnet-1.0-beta20.tar.gz]’) ;
3.    
    cd matconvnet-1.0-beta20
4.    
    run matlab/vl\_compilenn
5.    
    
6.    
    % download a pre-trained CNN from the web (needed once)
7.    
    urlwrite(…
8.    
    ’[http://www.vlfeat.org/matconvnet/models/imagenet-vgg-f.mat][http_www.vlfeat.org_matconvnet_models_imagenet-vgg-f.mat]’, …
9.    
    ’imagenet-vgg-f.mat’) ;
10.   
    
11.   
    % setup MatConvNet
12.   
    run matlab/vl\_setupnn
13.   
    
14.   
    % load the pre-trained CNN
15.   
    net = load(’imagenet-vgg-f.mat’) ;
16.   
    net = vl\_simplenn\_tidy(net) ;
17.   
    
18.   
    % load and preprocess an image
19.   
    im = imread(’peppers.png’) ;
20.   
    im\_ = single(im) ; % note: 0-255 range
21.   
    im\_ = imresize(im\_, net.meta.normalization.imageSize(1:2)) ;
22.   
    im\_ = bsxfun(@minus, im\_, net.meta.normalization.averageImage) ;
23.   
    
24.   
    % run the CNN
25.   
    res = vl\_simplenn(net, im\_) ;
26.   
    
27.   
    % show the classification result
28.   
    scores = squeeze(gather(res(end).x)) ;
29.   
    \[bestScore, best\] = max(scores) ;
30.   
    figure(1) ; clf ; imagesc(im) ;
31.   
    title(sprintf(’%s (%d), score %.3f’,…
32.   
    net.meta.classes.description\{best\}, best, bestScore));

注：1、untar(‘http://www.vlfeat.org/matconvnet/download/matconvnet-1.0-beta20.tar.gz’) 是下载安装包的过程，建议单独下载其ZIP包，解压后放在任意位置，运行程序的时候会通过vl\_setupnn()自动添加路径到Matlab中。下载时最好使用浏览器内置的下载器，因为迅雷下载下来的是一个txt文件，还需要转换。

2、run matlab/vl\_compilenn是编译的过程，前提是要求matlab与编译器（VSc++）实现连接，如果没有可以使用mex -setup命令，设置matlab的C++编译器，提示MEX成功，才可以运行example中的示例。这个实际上就是**配置Matconvnet**的过程，只需要两句话：**mex -setup;run matlab/vl\_compilenn**

3、run matlab/vl\_setupnn，这句话在运行时总是报错，提示错误使用cd（当然上一句也可能出现这个问题，但我是直接运行的vl\_compilenn，所以没出现，嘿嘿），在这里我将这句话改为run(fullfile(fileparts(mfilename(‘fullpath’)),…

‘..’, ‘matlab’, ‘vl\_setupnn.m’)) ,当然具体的语句与你所设的路径有关，就没有出现报错了。

4.net = load(‘imagenet-vgg-f.mat’)这里net就是这个工具库所需要的预训练模型，在这里面链式网络已经[架构][Link 2]完成，它的呈现形式是一个结构体，包括两部分，layers（因为这个结构有21层，故包含21个元胞）和meta（包含2个结构体，类别和标准化信息）。

5、程序的主体代码为vl\_simplenn，包括CNN网络的输入输出及调用函数的过程。

编译MatConvNet的GPU版本

在GPU条件下编译，首先你的显卡得是INVIDA的，并且需要compute compability>2.0，其次一定要考虑版本相互协调的问题，我使用的版本是window7 65bits，vs2013，cuda7.5，MATLAB2014a，显卡是GTX960，compute compability=5.2，关于显卡是否合乎要求，也可以通过下载软件GPU Caps Viewer查看。

![920180-20160509203054359-255228960.png][]

编译MatConvNet的GPU版本的具体步骤如下：

（1）官网下载CUDA 7.5.18、 以及 CUDA\_Quick\_Start\_Guide.pdf，CUDA Toolkit 7.5.18 下载地址：[http://developer.download.nvidia.com/compute/cuda/7.5/Prod/local\_installers/cuda\_7.5.18\_windows.exe][http_developer.download.nvidia.com_compute_cuda_7.5_Prod_local_installers_cuda_7.5.18_windows.exe]

（2） 直接解压安装，建议采用默认安装的方式，方便MatConvNet按默认方式找到CUDA 编译器‘nvcc’。关于cuda与vs的具体配置，可以参考[http://blog.csdn.net/listening5/article/details/50240147][http_blog.csdn.net_listening5_article_details_50240147]和[http://www.cnblogs.com/shengshengwang/p/5139245.html][http_www.cnblogs.com_shengshengwang_p_5139245.html]

（3） 完成后打开 cuda samples 文件夹下 Samples\_vs2013.sln 分别在DEBUG 和Release X64下进行完整编译。编译过程如提示找不到”d3dx9.h”、”d3dx10.h”、”d3dx11.h”头文件，则百度下载DXSDK\_Jun10.exe并安装。下载网址[http://www.microsoft.com/en-us/download/details.aspx?id=6812][http_www.microsoft.com_en-us_download_details.aspx_id_6812] 之后再重新编译。

（4） 全部编译成功之后，打开CUDA Samples 文件夹下的 bin/win64/release ,如下图。运行其中的小程序，即可查看GPU CUDA信息。PASS 为通过。

![920180-20160509204319780-187547757.png][]![920180-20160509204513952-1787884230.png][]

（5）安装cudnn-win64-v4.0/or-v3.0，下载网址[http://download.csdn.net/download/yfszzx/9307683][http_download.csdn.net_download_yfszzx_9307683]直接解压到某文件夹下，将cudnn64\_4.dll 文件拷贝到 ./matconvnet/Matlab/mex文件夹下即可。

（6）编译vl\_compilenn程序，注意根据实际情况修改一些信息，大致调用方式为vl\_compilenn(‘enableGpu’,true,,’cudaMethod’ ,’nvcc’,’enableCudnn’,’true’,’cudnnRoot’,’local/cuda)，提示mex成功，则证明工作完成一大半了。

（7）最后就是运行cnn\_cifa.m文件，运行前将程序中 opts.gpuDevice =\[\]改为opts.gpuDevice =\[1\]；表示使用GPU显卡运行，运行结果如图

![920180-20160509205649124-911564570.png][]

可见速度是相当快的！

接下来我们介绍一下这个工具库中的一些计算函数，方便大家理解。

**　　Conputationnal blocks：实现cnn的计算块**  
　　一、卷积

Y = VL\_NNCONV(X, F, B)计算图像堆x的卷积，F是卷积核，B是偏置。X=H\*W\*D\*N, (H,W)是图像的高和宽，D是图像深度（特征频道的数目,例彩色就是3），N是堆中图像的数目。F=FW\*FH\*FD\*K ,(FH,FW)是卷积核的大小，FD是卷积核的深度，须与D一致，或能整除D，K是卷积核的数目。针对一幅图像来说，卷积的公式为:

![920180-20160426153308095-2112257855.png][]其中ij分别代表图像的高和宽，d”则代表了卷积核的数目，从而对应d”个输出。  
　　\[DZDX, DZDF, DZDB\] = VL\_NNCONV(X, F, B, DZDY)计算映射到DZDY上的块的导数。这是反向传播中应用的梯度计算公式。  
　　另外还有一些具体的变量设置。包括Stride=（sh，sw）是步长，即在卷积过程中每次移动的大小，这也决定了最后输出的大小，pad是补0的大小，表示为：

![920180-20160426155234736-1249034940.png][]  
则最终输出的大小为：

![920180-20160426155345064-1039838540.png][]

\[注\]：1、在Matconvnet中并不区分全连接层和卷积层，而认为前者是后者的一种特殊情况。

2、在Matconvnet中有Filter groups（即滤波组）的概念，意思是说vl\_nnconv允许对输入x的通道进行分组，且每组应用不同子集的过滤器。groups=D/D’,D是图像深度,D’是滤波器的深度，从而第一组可包括输入的1、2，，，D’维度，第二组包括输入的D’+1，，，2D’，以此类推，但输出的大小是不变的。

二、卷积转换（反卷积）

Y = VL\_NNCONVT(X, F, B)计算CNN的卷积转换，即进行卷积的反操作，其输入输出形式与上同。由于卷积支持输入补0输出进行下采样，因此反卷积支持输入上采样输出裁剪。

三、空间池化

Y = VL\_NNPOOL(X, POOL)或Y = VL\_NNPOOL(X, \[POOLY, POOLX\])对输入x的每个通道进行池化操作，池化的方式可以是求patch的最大值或平均值。同卷积相同，池化也支持pad和Stride操作，但pad有时是补负无穷。

四、激活函数

RELU函数：y = vl\_nnrelu(x,dzdy,varargin)，在leak=0时，表达式为

![920180-20160426193617377-1495764452.png][]

Sigmoid函数：out = vl\_nnsigmoid(x,dzdy)

![920180-20160426193832877-1308791490.png][]

这里只给出了正向传播时的函数表达式，反向传播的（涉及dzdy）具体表达式可以看程序。

五、归一化

1、VL\_NNNORMALIZE ：CNN Local Response Normalization (LRN)

Local Response Normalization是对一个局部的输入区域进行的归一化，从表达式来看，也就是对每一个groups（前文）里的输入的相应子集进行归一化。表达式如下；其中的参数包括PARAM = \[N KAPPA ALPHA BETA\]

![920180-20160426195715080-788091547.png][]

其中G（k）是对应通道k的输入相应子集，在程序中定义为 Q(k) = \[max(1, k-FLOOR((N-1)/2)), min(D, k+CEIL((N-1)/2))\]；

2、VL\_NNBNORM CNN 实现批次归一化

*　　Y = VL\_NNBNORM(X,G,B)，*这里XY均是4维张量，第4维T表示每批次处理的大小。标准化的表达式为

![920180-20160426203640689-1620627021.png][]  
*　*　3.VL\_NNSPNORM实现空间归一化  
*　*　y = vl\_nnspnorm(x, param, dzdy)，PARAM = \[PH PW ALPHA BETA\]；即对每个通道先进行池化操作，池化的方式为取平均，然后在进行归一化操作。其表达式为

*![920180-20160426205534908-1066241661.png][]*

![920180-20160426205612908-993089035.png][]

4、VL\_NNSOFTMAX CNN softmax

*　　*Y = vl\_nnsoftmax(X,dzdY)：在一个groups（前文）中应用softmax函数，softmax函数可以看做一个激活函数和一个归一化操作的联合

*　![920180-20160426211748533-1094722086.png][]　　*六、损失和比较

1、 \[y1, y2\] = vl\_nnpdist(x, x0, p, varargin)计算每个向量x与目标x0之间的距离，定义为：

![920180-20160426213224845-1639155753.png][]

2. Y = vl\_nnloss(X,c,dzdy,varargin)

[http_blog.csdn.net_anysky_article_details_51356158]: http://blog.csdn.net/anysky___/article/details/51356158
[Link 1]: http://lib.csdn.net/base/2
[http_www.vlfeat.org_matconvnet]: http://www.vlfeat.org/matconvnet/
[http_www.vlfeat.org_matconvnet_pretrained]: http://www.vlfeat.org/matconvnet/pretrained/
[view plain]: http://blog.csdn.net/anysky___/article/details/51356158#
[http_www.vlfeat.org_matconvnet_download_matconvnet-1.0-beta20.tar.gz]: http://www.vlfeat.org/matconvnet/download/matconvnet-1.0-beta20.tar.gz
[http_www.vlfeat.org_matconvnet_models_imagenet-vgg-f.mat]: http://www.vlfeat.org/matconvnet/models/imagenet-vgg-f.mat
[Link 2]: http://lib.csdn.net/base/16
[920180-20160509203054359-255228960.png]: /images/20220519/57d1f26f399e4ca89e1fc40f79f84b2c.png
[http_developer.download.nvidia.com_compute_cuda_7.5_Prod_local_installers_cuda_7.5.18_windows.exe]: http://developer.download.nvidia.com/compute/cuda/7.5/Prod/local_installers/cuda_7.5.18_windows.exe
[http_blog.csdn.net_listening5_article_details_50240147]: http://blog.csdn.net/listening5/article/details/50240147
[http_www.cnblogs.com_shengshengwang_p_5139245.html]: http://www.cnblogs.com/shengshengwang/p/5139245.html
[http_www.microsoft.com_en-us_download_details.aspx_id_6812]: http://www.microsoft.com/en-us/download/details.aspx?id=6812
[920180-20160509204319780-187547757.png]: http://images2015.cnblogs.com/blog/920180/201605/920180-20160509204319780-187547757.png
[920180-20160509204513952-1787884230.png]: /images/20220519/3b331ef4ea7648d7844010440421ca80.png
[http_download.csdn.net_download_yfszzx_9307683]: http://download.csdn.net/download/yfszzx/9307683
[920180-20160509205649124-911564570.png]: /images/20220519/34732e1947b64ee593ef465ebd07607c.png
[920180-20160426153308095-2112257855.png]: /images/20220519/d6352e666f03439a8d58c6ce21d2c4a7.png
[920180-20160426155234736-1249034940.png]: /images/20220519/b4f6082e3f404351b4abf5f7834c5e6c.png
[920180-20160426155345064-1039838540.png]: /images/20220519/6295923b77124f26bcf4e34ce57175ee.png
[920180-20160426193617377-1495764452.png]: /images/20220519/59113cedc9244539a8cab1f7d745196d.png
[920180-20160426193832877-1308791490.png]: /images/20220519/a55d2f6f904d4ca8a45b9805370346ec.png
[920180-20160426195715080-788091547.png]: /images/20220519/211bc6beb7074d0ba7fc4fd27161298e.png
[920180-20160426203640689-1620627021.png]: /images/20220519/255c0913e99e4bf2918ebb78fcebee8b.png
[920180-20160426205534908-1066241661.png]: /images/20220519/3b8fa83b1509450488adc86e76e01061.png
[920180-20160426205612908-993089035.png]: /images/20220519/98d802354b03461c8bbd6d626b95f292.png
[920180-20160426211748533-1094722086.png]: /images/20220519/37e195e2c9554bb382ab0e0431d4e780.png
[920180-20160426213224845-1639155753.png]: /images/20220519/889be485a96b48faa8de09e7b96b76f2.png