SqueezeNext | 轻量级深层神经网络

女爷i 2022-04-23 00:12 275阅读 0赞

SqueezeNext网络于2018粘月公开于arxiv，它号称是基于SqueezeNet进行改进的又一轻量级网络，但它之所以不叫SqueezeNet V2，个人认为究其原因还是因为SqueezeNext其实本质上和SqueezeNet关系不是很大。。。SqueezeNext文章中比较有特色的是论文从硬件角度来分析提升速度，当然本文中对这一部分不做分析。本文主要介绍SqueezeNext的网络设计和整体结构。

论文链接:[https://arxiv.org/abs/1803.10615][https_arxiv.org_abs_1803.10615]  
代码链接(Caffe):[https://github.com/qiu931110/SqueezeNext][https_github.com_qiu931110_SqueezeNext]  
代码链接(TensorFlow):[https://github.com/Timen/squeezenext-tensorflow][https_github.com_Timen_squeezenext-tensorflow]  
代码链接(Pytorch):[https://github.com/osmr/imgclsmob][https_github.com_osmr_imgclsmob]

#### 1.SqueezeNext网络结构 ####

SqueezeNext整体网络结构如下图所示，论文作者通过加深和加宽网络来提升网络性能，因此SqueezeNext有很多种策略。如下图是baseline（1.0\_SqNxt\_23）的结构图。  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWM4ZGUxODBhOGM3MjNhZTQucG5n][]  
上图网络中各个层的滤波器参数具体如下：  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LTM4OTQyZGJkZWU4YmE2NDIucG5n][]

> 网络各种变形通式：a.0\_\[b\]\_SqNxt\_c\_\[d\]\_\[e\]  
> a:必选值：  
> 1.0表示baseline。  
> 1.5表示网络每层通道数为baseline的1.5倍。  
> 2.0表示网络每层通道数为baseline的两倍。  
> b:可选值：  
> 选G：表示G表示当前网络的block中，第一个1\*1卷积，3\*1卷积和1\*3卷积都用到了group=2的操作。  
> 不选：表示没有group操作。  
> c:必选值：  
> 23,34,44表示了网络深度。  
> d:可选值：  
> 选v5：表示网络的第一层卷积核尺寸为5\*5  
> 不选v5：表示网络的第一层卷积核尺寸为7\*7  
> e:可选值：  
> 选IDA：网络应用了IDA  
> 不选：网络没应用IDA

#### 2.SqueezeNext设计 ####

接下来通过图文并茂的方式来解释网络是如何工作的。  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWM3YmY0MmRmMDYwNDBiMjcucG5n][]

如上图所示SqueezeNext主要提出了如下几点创新：

（1）Low Rank Filters  
将3\*3卷积分解为：3\*1+1\*3，实现低秩滤波器从而减少网络参数。

（2）SqueezeNext Block  
提出了如图所示先利用两个1\*1卷积核进行降维减少输入通道数，再通过两个低秩滤波器，最后通过再升维。

（3）shortcut  
引入了万能提升网络效果的shortcut策略。  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWMyOGU0ZThmYTNmZDFjZWQucG5n][]  
如上图所示，为SqueezeNext网络和ResNet，SqueezeNet的核心结构示意图，三者的区别和联系显而易见。

#### 3.实验结果 ####

下面三张图展示了各种不同变种的网络的效果对比，最终体现了SqueezeNext的优越性。关于网络的各个值代表的意思在第二部分解释了。  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWM1MTJlODY5NzA0ZThkODcucG5n][]  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWFhZGZiNjlmNjljNDY0MTEucG5n][]  
![aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LTFjMGM4MjFhMWZjM2EwY2QucG5n][]

[https_arxiv.org_abs_1803.10615]: https://arxiv.org/abs/1803.10615
[https_github.com_qiu931110_SqueezeNext]: https://github.com/qiu931110/SqueezeNext
[https_github.com_Timen_squeezenext-tensorflow]: https://github.com/Timen/squeezenext-tensorflow
[https_github.com_osmr_imgclsmob]: https://github.com/osmr/imgclsmob
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWM4ZGUxODBhOGM3MjNhZTQucG5n]: /images/20220325/a45c7be10cc749f2929d8f68ed08b1eb.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LTM4OTQyZGJkZWU4YmE2NDIucG5n]: /images/20220325/87f1cd2369864e03996f1665ae612c1a.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWM3YmY0MmRmMDYwNDBiMjcucG5n]: /images/20220325/90a3a23d4c2e46f49725aef5904a9aee.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWMyOGU0ZThmYTNmZDFjZWQucG5n]: /images/20220325/cd3da30dc4334186b48094314e76ee19.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWM1MTJlODY5NzA0ZThkODcucG5n]: /images/20220325/b90598bb1f8e4ae788c847c5c9b28e13.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LWFhZGZiNjlmNjljNDY0MTEucG5n]: /images/20220325/94fcb2972896414da495ebcebd944069.png
[aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy81NTI5OTk3LTFjMGM4MjFhMWZjM2EwY2QucG5n]: /images/20220325/52415c10b0e649f3a2ff0285a0832b11.png