resnet 中bottleneck

谁借莪１个温暖的怀抱￠ 2023-07-15 04:59 1阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70][] 图片来自这里

论文中指明将为减少训练时间，将原始的残差模块(上图左侧)替换为bottleneck的残差模块。上图中右侧图有两处需要说明，

一个是bottleneck中第二个1\*1卷积的通道为什么是256维度；

一个是左右两侧为相同的输入，为什么图右变为256维度的恒等映射；

对于第一个问题，可理解为参数设置将最后一个卷积的通道设置为当前输入通道的4倍；

对于第二个问题，要想实现加运算，必须令输入通道数和1\*1卷积核的输出通道数相同，所以需要对原始64通道的输入利用1\*1卷积增加通道至256维。

对于bottleneck的残差模块，通过上述两个操作保持了和原始两个3\*3卷积核相同的计算量和参数量。

参考文献：

1.  [ResNet, torchvision, bottlenecks, and layers not as they seem.][ResNet_ torchvision_ bottlenecks_ and layers not as they seem.]
2.  [代码resnet.py][resnet.py]
3.  [Identity Mappings in Deep Residual Networks][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoyMDA3_size_16_color_FFFFFF_t_70]: /images/20230528/d682fdd47aea480fb1cea1a3bc39ae8d.png
[ResNet_ torchvision_ bottlenecks_ and layers not as they seem.]: https://medium.com/@erikgaas/resnet-torchvision-bottlenecks-and-layers-not-as-they-seem-145620f93096
[resnet.py]: https://github.com/raghakot/keras-resnet/blob/master/resnet.py
[Identity Mappings in Deep Residual Networks]: https://arxiv.org/pdf/1603.05027v2.pdf

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关 resnet 中bottleneck

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6aGoy

谁借莪１个温暖的怀抱￠/ 2023年07月15日 04:59/ 0 赞/ 2 阅读

相关 PyTorch实现的ResNet50、ResNet101和ResNet152

PyTorch实现的ResNet50、ResNet101和ResNet152 PyTorch: [https://github.com/shanglianlm0525/Py

末蓝、/ 2023年03月12日 09:21/ 0 赞/ 49 阅读

相关 resnet 论文_论文笔记 - ResNet

![d4d0ea70c82f88b19acb96e92df34a96.png][] 论文信息年份：2016 作者：Kaiming He 会议/期刊：

刺骨的言语ヽ痛彻心扉/ 2023年01月12日 10:19/ 0 赞/ 158 阅读

相关《MobileNetV2: Inverted Residuals and Linear Bottlenecks》

温馨提示：本文仅供自己参考，如有理解错误，有时间再改！标准残差块： 1、使用1x1卷积减少通道数 2、使用NxN卷积提取特征 3、使用1x1卷积提升通道数，提升后与输

Myth丶恋晨/ 2022年08月30日 04:04/ 0 赞/ 7 阅读

相关 ResNet论文笔记

论文地址：Deep Residual Learning for Image Recognition ResNet——MSRA何凯明团队的Residual N

青旅半醒/ 2022年06月03日 06:11/ 0 赞/ 261 阅读

相关 resnet，Resnet，残差网络

Resnet 这篇博客主要介绍了提出Resnet的两篇论文，我分析了两篇论文的核心内容，欢迎大家阅读！ -------------------- 相关论文 [2

柔情只为你懂/ 2022年06月02日 07:41/ 0 赞/ 304 阅读

相关【Resnet】

[Shortcut解析][Shortcut] [整体解析][Link 1] [Shortcut]: https://www.cnblogs.com/makefile/p

电玩女神/ 2022年05月16日 22:40/ 0 赞/ 180 阅读

相关 ResNet架构分析

ResNet架构特点 ResNet采用网络中增加残差网络的方法，解决网络深度增加到一定程度，更深的网络堆叠效果反而变差的问题。在网络深度到一定程度，误差升高，效果变差，梯

浅浅的花香味﹌/ 2022年05月13日 08:50/ 0 赞/ 404 阅读

相关 Resnet中文翻译

标题Deep Residual Learning for Image Recognition 摘要更深的神经网络更难训练。我们提出了一种残差学习框架来减轻网络训练

╰半橙微兮°/ 2022年04月22日 03:12/ 0 赞/ 260 阅读

相关 PyTorch 1.0 中文文档：torch.utils.bottleneck

> 译者: [belonHan][] `torch.utils.bottleneck`是调试瓶颈`bottleneck`时首先用到的工具.它总结了python分析工具与Py

川长思鸟来/ 2022年03月11日 11:16/ 0 赞/ 147 阅读