resnet 残差网络快速熟悉

拼搏现实的明天。 2022-03-08 12:22 249阅读 0赞

首先，推荐个[油管的视频][Link 1]。中文解说，大家关注一波这个小哥哥哈，讲的很清楚。很直观。虽然是用我的解释，但是ppt是这个小哥的。

梯度爆炸，需要你理解什么是[链式求导][Link 2]。ps，百度百科整的太复杂了，对我们来说没用的。

resnet网络结构：![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70][]

最大的特点就是右边那个箭头。那么接下来我们就主要说下，resnet为解决什么问题，怎么解决的。

之后：

# 网络层数过深导致的梯度弥散： #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 1][]

自己推一下哈。其实就是过一遍脑子我感觉没啥补充。

所以结论就是层数深固然会带来高层次的语义信息，同时也会梯度弥散。

# 退化问题 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 2][]

左边是训练好的层数少的网络，右边是增加一部分更深的权值为1的网络，那么结果至少也是比左边好对吧。但是结果更差了。这就说明，深度可能造成多一事不如少一事的问题。既然浅层已经很好了为什么要更深。

权值为1的核：

0 0 0

0 1 0

0 0 0

# 一个两层网络就可以模拟任意函数 #

那么为什么resnet不跳一层，也不跳三层，而是两层呢。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 3][]

而且这种啥都没有的，可以成为plain net，相比于resnet。

多层的张这样：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 4][]

# resnet可以解决退化和深度弥散 #

这张很关键哈。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 5][]

为啥好使呢。就是我更深的有时候不好使对吧，我把权重调成1 也不行是吧。**那我直接把你跳过不就行了？我直接吧浅层的输入送到更深的地方，把这个可能被跳过的，但是还是会产生输出的东西叫做残差，记为F(X)，只要F(X)=0，就是被跳过了。****很简单直观的思想。**

# 残差的梯度公式证实解决梯度问题 #

是否有用看公式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 6][]

自己用笔推一下，很简单，没啥东西。所以这个梯度肯定是能直接落到x头上，深层是拦不住的。重要原因就是这个加号。

直观来讲：残差就是给了网络组装自己的权力。他可以有选择性的跳过一些结构。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 7][]

# 总结 #

所以实际上残差网络并没有在本质上提供更好高层次的语义。也并不是完美解决梯度弥散的方式，他通过机器主动减少层次来达到更深，实际上是一个假的更深。而梯度的方法的确是一个大的进步。但是这个不是终点。

比较有意思的是，这个网络，机器学习的不仅仅是参数，它还自己调整了配置。脑补这个画面，机器人自己组装自己。

[Link 1]: https://www.youtube.com/watch?v=Bu9A_-M5OZk
[Link 2]: https://blog.csdn.net/bianjingshan/article/details/80508870
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70]: /images/20220308/66b619e340ce40839201161f0b2d8f80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 1]: /images/20220308/73f213fb7be04bd3b7378a75b2c06a93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 2]: /images/20220308/bc62cb30b2ee4478a24966b98d2cd9c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 3]: /images/20220308/8f1b9e8c20be4001a88433582882f5fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 4]: /images/20220308/a15e44914b844319bb0c2bae6947feda.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 5]: /images/20220308/c5708e41699f448a9ac3335017006155.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 6]: /images/20220308/7e030ca2867e4a07a6b0bf0c18d23b0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNDk4NTM_size_16_color_FFFFFF_t_70 7]: /images/20220308/3eec4456bd494527a1d42ee732ef723c.png