为什么要使用sigmoid，tanh，ReLU等非线性函数？

小咪咪 2022-10-13 15:57 116阅读 0赞

参考：[https://zhuanlan.zhihu.com/p/46255482][https_zhuanlan.zhihu.com_p_46255482]

修正线性单元，是人工神经网络中常用的激活函数，通常指代以**斜坡函数**及其变种为代表的**非线性函数。**

这个原因大家都知道，为了增加非线性呗！

深度学习的目的是用一堆神经元堆出一个函数大致的样子，然后通过大量的数据去反向拟合出这个函数的各个参数，最终勾勒出函数的完整形状。

那如果激活函数只是线性函数，那一层层的线性函数堆起来还是线性的，这年头线性函数能干啥呀？

肯定不行，这样整个网络表现能力有限，所以要引入非线性的激活函数进来。

就是铅笔不够画的，咱得上带颜色、笔触更丰富的油画笔。

## **那为什么用ReLU呢？** ##

我们先看ReLU和他的老对手sigmoid长什么样：

ReLU函数：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg1OTI4MA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg1OTI4MA_size_16_color_FFFFFF_t_70 1][]

对比这俩函数能看出来，sigmoid有一个“梯度消失”的问题。

梯度消失什么意思呢？就是我们希望对每个神经元，激励函数都能尽量区分出z值变化，这样每个神经元的表达能力更强，但sigmoid明显在|z|>4的区间的梯度就不够看了，即它的梯度消失了。

相比之下，ReLU输出就很稳定，因为他z>0区间就是一个线性函数！不存在sigmoid的梯度消失的问题。

另一个ReLU很给力的地方就是稀疏度问题。就是我们希望每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值，使劲儿放大；不符合的，一刀切掉。

反观sigmoid就要黏糊的多。这个函数是很对称很美，但它面对负的z值仍然剪不断理还乱，会输出一个小的激励值（tanh会好一些但仍不能避免），形成所谓的“稠密表示”。

最后的最后，ReLU运算速度快，这个很明显了，max肯定比幂指数快的多。

[https_zhuanlan.zhihu.com_p_46255482]: https://zhuanlan.zhihu.com/p/46255482
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg1OTI4MA_size_16_color_FFFFFF_t_70]: /images/20221005/5ba792e7db3744059ff622b2bb4c7b7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjg1OTI4MA_size_16_color_FFFFFF_t_70 1]: /images/20221005/64e59869d0fb4fd5b12cb50bf84a7200.png