理解深度学习中的Inception网络

待我称王封你为后i 2022-05-23 12:37 708阅读 0赞

# 背景 #

构建CNN时，你要决定卷积核的大小，是1x3合适，还是3x3合适，还是5x5合适？要不要添加pooling层？

做这些决定（很可能是通过grid search）很麻烦，对吧？

Inception网络的优点，就是能代替你做决定，酷吧！

# Inception层的基本思想 #

`Inception层`是`Inception网络`中的基本结构。`Inception层`的基本原理如下图：

![这里写图片描述][70]

`Inception层`中，有多个卷积层结构（Conv）和Pooling结构（MaxPooling），它们利用了padding的原理，让经过这些结构的最终结果Shape不变。

*  C\_1X1: 28x28x192的输入数据，与64个1x1的卷积核做卷积后，得到28x28x64的输出
 *  C\_3X3: 28x28x192的输入数据，与128个3x3的卷积核做卷积后，得到28x28x128的输出
 *  C\_5X5: 28x28x192的输入数据，与32个5x5的卷积核做卷积后，得到28x28x32的输出
 *  MP: 28x28x192的输入数据，做MaxPooling后（带padding），得到28x28x32的输出

多个`Inception层`组合在一起，就构成了`Inception网络`。但这样直接计算，计算量很大，所以要利用1x1的卷积核，来降低计算量。

# 1x1的卷积如何降低计算量 #

考虑如下问题，经过这一次卷积后，计算量为多少？

*  输入数据维度：28x28x192
 *  卷积核大小：5x5x32
 *  输出数据维度：28x28x32

输出数据共有28x28x32个值，每个值都要进行5x5x192次乘法（卷积中的）运算，所以一共要进行28x28x32x5x5x192次乘法计算，即120,422,400。

同样的问题，如果先经过1x1的卷积计算，再通过，如下图

*  输入数据维度：28x28x192
 *  卷积核1大小：1x1x16
 *  卷积核2大小：5x5x32
 *  输出数据维度：28x28x32

![这里写图片描述][70 1]

经过第一个卷积层，要进行(28x28x16x1x1x192=2,408,448)次乘法计算，经过第二个卷积层，要进行（28x28x32x5x5x16=10,035,20）次乘法计算。总共计算次数也就是（2,408,448+10,035,20=12,443,648）次，比上面直接经过一个卷基层的计算量（120,422,400）要小很多。

可见，用好1x1的卷积核，就能降低计算量。

# Inception网络 #

带有1x1卷积核的`Inception层`，就构成了`Inception网络`的基本单元，如下图：

![这里写图片描述][70 2]

这样的多个`Inception层`组合在一起，就构成了`Inception网络`，如下图：

![这里写图片描述][70 3]

当然，实际论文中的`Inception网络`还包括输出端的全连接层，还有`Inception网络`会从中间层引出多个输出，再连接`SoftMax`，这样能减少过拟合（让中间层也起作用）。

![这里写图片描述][70 4]

# 总结 #

`Inception‎`是电影`盗梦空间`的名字，Google发明的`Inception‎网络`取名也是来自这个电影。

`Inception网络`是由多个`Inception层`组成的，它的最大优点是可以一定程度上帮你省去指定CNN卷积核大小和MP调优的工作。

[70]: /images/20220523/109f24fa58c949abb1f9e4052954c020.png
[70 1]: /images/20220523/b884ba156b474ddca6df1e18742a1f2d.png
[70 2]: /images/20220523/a9575416ff2d49ee9875a4888e2b413b.png
[70 3]: /images/20220523/0a2fb73306644c02b9840f6d6b8c29fe.png
[70 4]: /images/20220523/6000f66b638b478b8ea1588a2c236fad.png

发表评论取消回复

表情：

评论列表（有 0 条评论，708人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习05: 谷歌Inception网络解读

构建卷积层时，你要决定卷积核的大小究竟是 1×1，3×3 还是 5×5，或者要不要添加池化层。而 Inception 网络的作用就是代替你来决定，虽然网络架构因此变得更

朱雀/ 2023年03月13日 02:18/ 0 赞/ 235 阅读

相关吴恩达深度学习04-2.67 Inception网络

目录 why how Problem what why 如果你不清楚选用什么尺寸的卷积核来进行卷积操作，那么Inception可以帮

╰半橙微兮°/ 2023年01月07日 03:42/ 0 赞/ 190 阅读

相关深度学习_卷积神经网络中感受野的理解和计算

卷积神经网络感受野的计算方法 https://blog.csdn.net/qq\_36653505/article/details/83473943?utm\_medium

╰半夏微凉°/ 2022年11月22日 00:11/ 0 赞/ 121 阅读

相关深度神经网络中Inception-ResNet模块介绍

之前在[https://blog.csdn.net/fengbingchun/article/details/113482036][https_blog.csdn.net_fe

以你之姓@/ 2022年11月03日 11:38/ 0 赞/ 311 阅读

相关深度神经网络中的Inception模块介绍

深度神经网络(Deep Neural Networks, DNN)或深度卷积网络中的Inception模块是由Google的Christian Szegedy等人提出，包括In

清疚/ 2022年10月25日 12:50/ 0 赞/ 604 阅读

相关深度学习网络

卷积神经网络网络复杂度分析：https://zhuanlan.zhihu.com/p/31575074 四大经典CNN网络（AlexNet、VGGNet、Google Inc

桃扇骨/ 2022年06月03日 00:17/ 0 赞/ 247 阅读

相关深度网络VGG理解

前言： ILSVRC 2014的第二名是Karen Simonyan和 Andrew Zisserman实现的卷积神经网络，现在称其为VGGNet。它主要的贡献是展示出网络

- 日理万妓/ 2022年05月31日 13:55/ 0 赞/ 296 阅读

相关理解深度学习中的Inception网络

背景构建CNN时，你要决定卷积核的大小，是1x3合适，还是3x3合适，还是5x5合适？要不要添加pooling层？做这些决定（很可能是通过grid search）很

待我称王封你为后i/ 2022年05月23日 12:37/ 0 赞/ 709 阅读

相关【Tensorflow】深度学习实战05——Tensorflow实现Inception V3

【[fishing-pan][]：[https://blog.csdn.net/u013921430][https_blog.csdn.net_u013921430]转载请注

喜欢ヅ旅行/ 2022年05月22日 06:42/ 0 赞/ 237 阅读

相关深度学习第20讲：CNN经典论文研读之GoogLeNet Inception网络

在 2014 年 ILSVRC 比赛中，VGGNet 获得了当时的第二名的成绩，那么第一名是谁呢？当时的 VGGNet 就已经很厉害了，难得同届选手还有更厉害的？很不巧，还真有

深藏阁楼爱情的钟/ 2022年05月10日 12:42/ 0 赞/ 256 阅读