CNN经典网络模型:LeNet,Alexnet,VGGNet,GoogleNet,ReSNet

ゝ一世哀愁。 2022-05-26 11:07 229阅读 0赞

关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。如果读者是初接触CNN，建议可以先看一看“Deep Learning（深度学习）学习笔记整理系列”中关于CNN的介绍\[1\]，是介绍我们常说的Lenet为例，相信会对初学者有帮助。

1.  Lenet，1986年
2.  Alexnet，2012年
3.  GoogleNet，2014年
4.  VGG，2014年
5.  Deep Residual Learning，2015年

## Lenet ##

就从Lenet说起，可以看下[caffe中lenet的配置文件（点我）][caffe_lenet]，可以试着理解每一层的大小，和各种参数。由两个卷积层，两个池化层，以及两个全连接层组成。 卷积都是5\*5的模板，stride=1，池化都是MAX。下图是一个类似的结构，可以帮助理解层次结构（和caffe不完全一致，不过基本上差不多）

![这里写图片描述][20151231225627375]

## Alexnet ##

2012年，Imagenet比赛冠军的model——Alexnet \[2\]（以第一作者alex命名）。[caffe的model文件在这里][caffe_model]。说实话，这个model的意义比后面那些model都大很多，首先它证明了CNN在复杂模型下的有效性，然后GPU实现使得训练在可接受的时间范围内得到结果，确实让CNN和GPU都大火了一把，顺便推动了有监督DL的发展。

模型结构见下图，别看只有寥寥八层（不算input层），但是它有60M以上的参数总量，事实上在参数量上比后面的网络都大。

![这里写图片描述][20160101171955054]

这个图有点点特殊的地方是卷积部分都是画成上下两块，意思是说吧这一层计算出来的feature map分开，但是前一层用到的数据要看连接的虚线，如图中input层之后的第一层第二层之间的虚线是分开的，是说二层上面的128map是由一层上面的48map计算的，下面同理；而第三层前面的虚线是完全交叉的，就是说每一个192map都是由前面的128+128=256map同时计算得到的。

Alexnet有一个特殊的计算层，LRN层，做的事是对当前层的输出结果做平滑处理。下面是我画的示意图：

![这里写图片描述][20160101171421127]

前后几层（对应位置的点）对中间这一层做一下平滑约束，计算方法是：

![这里写图片描述][20160101172019664]

具体打开Alexnet的每一阶段（含一次卷积主要计算）来看\[2\]\[3\]：

（1）con - relu - pooling - LRN

![这里写图片描述][20160102093047427]

具体计算都在图里面写了，要注意的是input层是227\*227，而不是paper里面的224\*224，这里可以算一下，主要是227可以整除后面的conv1计算，224不整除。如果一定要用224可以通过自动补边实现，不过在input就补边感觉没有意义，补得也是0。

（2）conv - relu - pool - LRN

![这里写图片描述][20160102094243914]

和上面基本一样，唯独需要注意的是group=2，这个属性强行把前面结果的feature map分开，卷积部分分成两部分做。

（3）conv - relu

![这里写图片描述][20160102094427439]

（4）conv-relu

![这里写图片描述][20160102094443713]

（5）conv - relu - pool

![这里写图片描述][20160102094450421]

（6）fc - relu - dropout

![这里写图片描述][20160102094500313]

这里有一层特殊的dropout层，在alexnet中是说在训练的以1/2概率使得隐藏层的某些neuron的输出为0，这样就丢到了一半节点的输出，BP的时候也不更新这些节点。   
（7）   
fc - relu - dropout   
![这里写图片描述][20160102094510338]  
（8）fc - softmax   
![这里写图片描述][20160102094517937]

以上图借用\[3\]，感谢。

## GoogleNet ##

googlenet\[4\]\[5\]，14年比赛冠军的model，这个model证明了一件事：用更多的卷积，更深的层次可以得到更好的结构。（当然，它并没有证明浅的层次不能达到这样的效果）

![这里写图片描述][20160102103157778]

这个model基本上构成部件和alexnet差不多，不过中间有好几个inception的结构：

![这里写图片描述][20160102103750597]

是说一分四，然后做一些不同大小的卷积，之后再堆叠feature map。

计算量如下图，可以看到参数总量并不大，但是计算次数是非常大的。   
![这里写图片描述][20160102104027555]

## VGG ##

VGG有很多个版本，也算是比较稳定和经典的model。它的特点也是连续conv多，计算量巨大（比前面几个都大很多）。具体的model结构可以参考\[6\]，这里给一个简图。基本上组成构建就是前面alexnet用到的。   
![这里写图片描述][20160102100136966]

下面是几个model的具体结构，可以查阅，很容易看懂。

![这里写图片描述][20160102104541385]

## Deep Residual Learning ##

这个model是2015年底最新给出的，也是15年的imagenet比赛冠军。可以说是进一步将conv进行到底，其特殊之处在于设计了“bottleneck”形式的block（有跨越几层的直连）。最深的model采用的152层！！下面是一个34层的例子，更深的model见表格。   
![这里写图片描述][20160102105914090]   
其实这个model构成上更加简单，连LRN这样的layer都没有了。

![这里写图片描述][20160102105943475]

block的构成见下图：

![这里写图片描述][20160102110124716]

## 总结 ##

OK，到这里把常见的最新的几个model都介绍完了，可以看到，目前cnn model的设计思路基本上朝着深度的网络以及更多的卷积计算方向发展。虽然有点暴力，但是效果上确实是提升了。当然，我认为以后会出现更优秀的model，方向应该不是更深，而是简化。是时候动一动卷积计算的形式了。

## 参考资料 ##

\[1\] [http://blog.csdn.net/zouxy09/article/details/8781543/][http_blog.csdn.net_zouxy09_article_details_8781543]   
\[2\] ImageNet Classification with Deep Convolutional Neural Networks   
\[3\] [http://blog.csdn.net/sunbaigui/article/details/39938097][http_blog.csdn.net_sunbaigui_article_details_39938097]   
\[4\] [http://blog.csdn.net/csyhhb/article/details/45967291][http_blog.csdn.net_csyhhb_article_details_45967291]   
\[5\] Going deeper with convolutions   
\[6\] VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

[caffe_lenet]: https://github.com/BVLC/caffe/blob/master/examples/mnist/lenet_train_test.prototxt
[20151231225627375]: /images/20220526/97c34a2d44f44e7db95fffe13f17fcdc.png
[caffe_model]: https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet/deploy.prototxt
[20160101171955054]: /images/20220526/dcd1ca293ade40219e71ff5daa32e332.png
[20160101171421127]: /images/20220526/53a27a34cb93480e80f171c7f7f0dd9d.png
[20160101172019664]: /images/20220526/6337af5a9be94651b7b619bf6cfaa47a.png
[20160102093047427]: /images/20220526/8efd910828f0491b866ca5a062e7acae.png
[20160102094243914]: /images/20220526/fca2f347421041adb3ea84005f7fc142.png
[20160102094427439]: /images/20220526/3479d4c6053041279b2cd71950a0398e.png
[20160102094443713]: /images/20220526/6b8af2ae264940e491d8fafa326675c5.png
[20160102094450421]: /images/20220526/af7e4f631bf8433cbc8bb2c442c18be2.png
[20160102094500313]: /images/20220526/04a440a415ad49b5a3c2a1619ac22859.png
[20160102094510338]: /images/20220526/732b273c127d4f33bd1e704b24c98cb1.png
[20160102094517937]: /images/20220526/f10428be80a4441e9951f19b2c66ee7c.png
[20160102103157778]: /images/20220526/fbbbc401ef964c1b97c1b6d61fa5119e.png
[20160102103750597]: /images/20220526/5b4c3b5015bc44b7a4132c5bc91df559.png
[20160102104027555]: /images/20220526/b4dd56d432d7468285acb6cf41b5f157.png
[20160102100136966]: /images/20220526/4b69b59615b94afcbf49ecbce610c70d.png
[20160102104541385]: /images/20220526/d4e1b57f5a1547ca95412e2779e1a2b3.png
[20160102105914090]: /images/20220526/871eea5820c8454da5d522b0168f787c.png
[20160102105943475]: /images/20220526/331ef18a598645cfaa786339fc834981.png
[20160102110124716]: /images/20220526/9c9220a2a23a4539a568e79246234938.png
[http_blog.csdn.net_zouxy09_article_details_8781543]: http://blog.csdn.net/zouxy09/article/details/8781543/
[http_blog.csdn.net_sunbaigui_article_details_39938097]: http://blog.csdn.net/sunbaigui/article/details/39938097
[http_blog.csdn.net_csyhhb_article_details_45967291]: http://blog.csdn.net/csyhhb/article/details/45967291