【总结】【深度学习】

r囧r小猫 2023-02-16 12:16 8阅读 0赞

原文链接：[https://blog.csdn.net/weixin\_43384257/article/details/105402591][https_blog.csdn.net_weixin_43384257_article_details_105402591]

[刷题][Link 1]

1.  各种激活函数特点  
    参考：[激活函数][Link 2]

> 常用的激活函数：sigmoid；tanh；relu；以及一些relu的改进 Leaky ReLU函数（PReLU）；ELU (Exponential Linear Units) 函数。具体各个激活函数的优缺点，可以参考上面的博客。

1.  梯度消失和梯度爆炸  
    参考：[梯度消失和梯度爆炸][Link 3]

> 如果激活函数求导后与权重相乘的积大于1，那么层数增多的时候，最终的求出的梯度更新信息将以指数形式增加，即发生梯度爆炸，如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。一般梯度消失的可能性大于梯度爆炸的可能性。

1.  bn层  
    参考：[Batch Normalization原理与实战][Batch Normalization]  
    辅助参考：[BN层][BN]  
    [均值和方差的变化][Link 4]

> bn层解决的问题:  
> （1）上层网络需要不停调整来适应输入数据分布的变化，导致网络学习速度的降低  
> （2）网络的训练过程容易陷入梯度饱和区，减缓网络收敛速度  
> 如何解决具体参考上面的博客，需要注意的时bn层中的参数 γ 和 β γ 和 β γ 和 β γ和βγ和β \\gamma和\\beta γ和βγ和βγ和βN=(W−F\+2P)/S\+1其中N：输出大小； W：输入大小； F：卷积核大小； P：填充值的大小 ；S：步长大小  
> 池化以后得大小：（W - F）/ S + 1

</div><div><div></div></div>
                <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-60ecaf1f42.css" rel="stylesheet">
                                </div>
    </article>

[https_blog.csdn.net_weixin_43384257_article_details_105402591]: https://blog.csdn.net/weixin_43384257/article/details/105402591
[Link 1]: https://blog.csdn.net/abc_138/category_8237178.html
[Link 2]: https://blog.csdn.net/weixin_43384257/article/details/105506027
[Link 3]: https://blog.csdn.net/huangfei711/article/details/79865054
[Batch Normalization]: https://zhuanlan.zhihu.com/p/34879333
[BN]: https://zhuanlan.zhihu.com/p/92495231
[Link 4]: https://zhidao.baidu.com/question/56936175.html