【计算机视觉面经六】ResNet结构为啥要这么设计？

ゝ一世哀愁。 2024-05-05 22:23 1阅读 0赞

### ResNet结构为啥要这么设计？ ###

首先resnet解决了梯度弥散（也就是梯度爆炸的问题），但是resnet出现的原因并不是为了解决梯度弥散的情况，而有更深层次的原因。

作者发现了一件奇怪的事，随着网络身的的加深，我们的模型学习效果居然越来越差了，这是什么原因？理论上网络越深，对特征的认识应该越来越好啊，最差也应该与前面网络持平吧。

![在这里插入图片描述][9c4d9b6d6d8948da8c34914c4efaff57.png]

所以，开始猜测会不会是神经网络的训练过程出现了下面两个问题：

1、过拟合，欠拟合。  
2、梯度消失（梯度弥散），梯度爆炸。

过拟合确实是有可能的，但是过拟合的表现是高方差低偏差，训练集效果好，测试集效果差，这与上面明显不合（上图显示训练集上面的效果也很差）。

梯度消失，梯度爆炸我们使用relu函数和BN已经基本解决了这两个问题。

作者给出来的解释是模型退化。但是这却是不符合常理的。按理说，当我们堆叠一个模型时，理所当然的会认为效果会越堆越好。因为，假设一个比较浅的网络已经可以达到不错的效果，那么即使之后堆上去的网络什么也不做，模型的效果也不会变差。

然而事实上，这却是问题所在。“什么都不做”恰好是当前神经网络最难做到的东西之一。

为什么呢？其实是由于激活函数的存在，激活函数的作用是什么呢？就是让我们的线性模型变得可以拟合非线性。由于非线性激活函数Relu的存在，每次输入到输出的过程都几乎是不可逆的（信息损失）。我们很难从输出反推回完整的输入。

也许赋予神经网络无限可能性的“非线性”让神经网络模型走得太远，却也让它忘记了为什么出发。这也使得特征随着层层前向传播得到完整保留（什么也不做）的可能性都微乎其微。

ResNet的设计直觉是：

**较深的网络模型的表现效果不应该比较浅的网络模型的表现效果要差，但是实际上这是建立在网络深度的加深是通过恒等的线性映射实现的，但是我们的网络由于有激活函数的存在，所以基本上是非线性映射，这样的话，就很难有恒等映射的情况出现。所以Residual Learning的初衷，其实是让模型的内部结构至少有恒等映射的能力。以保证在堆叠网络的过程中，网络至少不会因为继续堆叠而产生退化！**

同时，ResNet可以看做是很多条路径的集合，通过研究ResNet的梯度流可以发现，网络在训练期间只有短路经才会产生梯度流，深的路径不是必须的。

实验证明，ResNet网络中的有效路径正是这些短的路径，且有效路径占总体路径的数量很少，加入训练中只保留有效路径的话，其在top5上的错误率几乎与整体是持平的。

**所以Resnet不是通过让梯度流通整个网络深度来解决梯度消失的问题，而是通过引入能够在非常深的网络中传输梯度的短路径来缓解梯度消失的问题。**

总的来说，ResNet就是通过假如short cut的结构改进了传统神经网络在随着网络深度加深时，梯度在逐层传播的过程中逐渐衰减的问题。

[9c4d9b6d6d8948da8c34914c4efaff57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/05/b3790eeb453f484195f81149819aa762.png

发表评论取消回复

表情：

评论列表（有 0 条评论，1人围观）

还没有评论，来说两句吧...

相关阅读

相关【计算机视觉面经六】ResNet结构为啥要这么设计？

【计算机视觉面经六】ResNet结构为啥要这么设计？

ゝ一世哀愁。/ 2024年05月05日 22:23/ 0 赞/ 2 阅读

相关【计算机视觉面经三】卷积神经网络的平移不变性理解

【计算机视觉面经三】卷积神经网络的平移不变性理解

r囧r小猫/ 2024年05月05日 22:23/ 0 赞/ 3 阅读

相关【计算机视觉面经一】 1x1卷积的介绍与用处

【计算机视觉面经一】 1x1卷积的介绍与用处

迷南。/ 2024年05月05日 22:23/ 0 赞/ 6 阅读

相关面经总结：何为Promise

Promise是ES6提供的对象，代表了未来将要发生的事件，用来传递异步操作的消息。Promise在开发和面试的过程中都很重要，下面我们一起来看一下关于Promise的相关知识

一时失言乱红尘/ 2022年12月08日 01:31/ 0 赞/ 108 阅读

相关为啥我欲望总这么低？

![format_png][] 文/北妈阅读本文需要 2.0分钟一昨天发了个我收入第二个100万的文，大家比我还兴奋，收到的祝福很多，我没太当回事，有点意外

﹏ヽ暗。殇╰゛Y/ 2022年12月04日 06:25/ 0 赞/ 147 阅读

相关聊聊 Kafka： Kafka 为啥这么快？

一、前言我们都知道 Kafka 是基于磁盘进行存储的，但 Kafka 官方又称其具有高性能、高吞吐、低延时的特点，其吞吐量动辄几十上百万。小伙伴们是不是有点困惑了，一般

左手的ㄟ右手/ 2022年09月03日 14:27/ 0 赞/ 122 阅读

相关面经

今天去了广州丰石科技公司面试Web前端开发工程师，本来是抱着一个区做笔试题的看看自己现在的状态的心态。但是没想到这是面试了这么多次以来最开心的一次。这次面试先是要做一份笔

向右看齐/ 2022年06月06日 07:51/ 0 赞/ 387 阅读

相关计算机视觉（六）

人脸检测和识别在opencv中data/haarcascades,该文件夹包含了所有的opencvv人脸检测的xml文件，这些文件用于检测静止图像、视频和摄

川长思鸟来/ 2022年06月02日 02:47/ 0 赞/ 208 阅读

相关为啥 Python 运行速度这么慢？

作者：Anthony Shaw 是 Python 软件基金会成员和 Apache 基金会成员。近来Python可谓人气骤升。这门编程语言用于开发运维（DevOps）、

电玩女神/ 2022年05月19日 13:38/ 0 赞/ 226 阅读

相关为啥css这么难学？

感觉css想学好真不是一个盒子套另一个盒子那么简单，也不是说知道了盒模型和绝对定位就万事大吉了，还差得不少呢。首先css中最重要的布局！就我知道的布局方式有下面几种了：

客官°小女子只卖身不卖艺/ 2021年09月22日 09:00/ 0 赞/ 250 阅读