什么是激活函数？

小鱼儿 2023-06-22 10:24 153阅读 0赞

--------------------

title: 什么是激活函数  
date: 2019-11-08 12:55:45  
mathjax: true  
categories:

*  nlp-自然语言处理  
    tags:
 *  nlp-自然语言处理

--------------------

### 文章目录 ###

*   *  先抛开什么神经，深度之类的不好理解的东西
     *  激活函数在深度学习中是用来干什么的？
     *  我们说下分类问题
     *  那么加上激活函数（activation function）就不一样
     *  几个函数解释
     *  ReLU及其衍生函数

## 先抛开什么神经，深度之类的不好理解的东西 ##

回想一下，我们是要用这个东西干什么？  
答案很简单，有两种问题————对应两种模型  
回归模型和分类模型  
回归模型：预测连续值，是多少的问题。北京房价是多少？食堂阿姨给我盛饭是多少？  
分类模型：预测离散值，是不是的问题。这个背影是不是帅哥？这个人是不是喜欢我？

为什么需要激活函数？激活函数的作用是什么？  
在谈到激活函数时，也经常会看到“非线性函数”和“线性函数”等术语。函数本来是输入某个值后会返回一个值的转换器。向这个转换器输入某个值后，输出值是输入值的常数倍的函数称为线性函数（用数学式表示为h(x) = cx。c 为常数）。因此，线性函数是一条笔直的直线。而非线性函数，顾名思义，指的是不像线性函数那样呈现出一条直线的函数。  
神经网络的激活函数必须使用非线性函数。换句话说，激活函数不能使用线性函数。为什么不能使用线性函数呢？因为使用线性函数的话，加深神经网络的层数就没有意义了。线性函数的问题在于，不管如何加深层数，总是存在与之等效的“无隐藏层的神经网络”。  
如果不考虑激活函数，考虑一个三层神经网络的输出公式：

a 1 = x w 1 + b 1 a^1 = xw^1 +b^1 a1=xw1\+b1  a 1 a^1 a1传递到第二层

a 2 = a 1 w 2 + b 2 a^2 = a^1w^2+b^2 a2=a1w2\+b2  a 2 a^2 a2传递到第三层

a 3 = a 2 w 3 + b 3 a^3 = a^2w^3 + b^3 a3=a2w3\+b3

注意，1，2，3代表层数  
可以看到这种神经网络层之间信号传递全是我们中学学过的平面解析几何里线性(y = kx + b)形式的传递方式，是没有意义的，无论叠加多少层。  
正因为上面的原因，神经网络引入非线性函数的激活函数，才可以充分发挥层叠加所带来的优势，这样几乎可以逼近任意函数

## 激活函数在深度学习中是用来干什么的？ ##

先说下卷积层，学深度学习的应该都是知道卷积层的，那卷积层具体指什么呢？其实卷积层就是我们所做的一大堆特定的滤波器，该滤波器会对某些特定的特征进行强烈的响应，一般情况下是结果值非常大。而对一些无关特性，其响应很小，大部分是结果相对较小，或者几乎为0。这样就可以看做为激活，当特定卷积核发现特定特征时，就会做出响应，输出大的数值，而响应函数的存在把输出归为0~1，那么大的数值就接近1，小的数值就接近0。因此在最后计算每种可能所占比重时，自然大的数值比重大。

## 我们说下分类问题 ##

我们想要把一个二维图分成几类，我们之前是怎么做的？

![image][]

画一条直线，这个问题还是比较简单，一条直线解决不了两条就可以了

![image][image 1]

这就是我们的一个没有激活函数的网络，可以看出该网络是x1和x2的线性组合

![image][image 2]

![image][image 3]

你可能会说了，那再加一层呢？？  
再加一层变为y=w11（w1x1+w2x2+b）+w22（w1x1+w2x2+b）+b  
请拆开看一下——————是不是还是线性的？这样就严重影响了我们分类的效果，我们根本无法解决非线性问题。

## 那么加上激活函数（activation function）就不一样 ##

激活函数其实是对应到生物学上的定义，激活状态为有信号，非激活状态为无信号。然而对应到这里的激活函数，其实就有些变质了，如果还在想着激活为1，非激活为0，那么是无法理解神经网络中的激活函数的。  
神经网络的激活函数其实是将线性转化为非线性的一个函数，并非只是简单地给予0，或者给予1。

![image][image 4]

![image][image 5]

![image][image 6]

1.对于分类问题，当然0,1就可以解决问题了，而且可以看出我们的结果也只有0~1，那想让y输出是其他呢？答案肯定是有的，先看下边激活函数

![image][image 7]

![image][image 8]

Sigmoid 非线性映射实数到\[0,1\]区间，右：tanh非线性映射实数到\[-1,1\]区间  
这两种方法都有梯度消失的缺点  
网上也会有很多人说——在靠近最大值和最小值时，梯度近似为0

要想解决这个问题我们需要一个问题一个问题来入手  
梯度是什么？  
梯度是损失函数对w的求导  
为什么是这个？  
因为我们需要让我们的预测结果接近真实的结果，而我们的损失函数是什么？  
损失函数是（实际值-预测值）的均方差。  
那么调整什么会对预测结果造成影响？  
调整y=f（wx+b）的w，b，一般情况下会有这种写法：

![0][]

这是一种说法，另一种更为具体的是需要谁，就对谁求导

![0 1][]

这里也可以看出来加了一个1/2，目的是在求导时候与导数的2相抵消。而前面的α是学习速率，只是一个系数，这里不着重强调了，有专门关于这个的讲解的文章。  
这里提一下，为什么学习速率太大就会导致不收敛呢，梯度一直在减小的，那么梯度学习速率不是也减小了吗？  
听我说吧，不是这样的，梯度确实应该随着迭代减小，可是……学习速率过大，梯度下降都困难

![image][image 9]

从上边也可以看出，我们求导主要还是针对了激活函数，当我们的结果越来越趋向于最终结果时，很有可能进入函数的饱和区，也就是s型函数近似为平行线的区域，这时我们的求解即使没有达到最优，我们的迭代也不再变化了。  
这里在深度学习中还有两个概念梯度消失和梯度爆炸

![0 2][]

sigmoid，梯度消失就会很明显了，梯度不大于0.25

![image][image 10]

tanh比sigmoid要好一些，但是它的倒数仍然是小于1的

![iamge][]

ReLU

![image][image 11]

f(x)=max(0,x)  
把小于0的x全部移动到0  
ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多，不过假如你的learning rate 很大，那么很有可能你网络中的40%的神经元都”dead”了。  
ReLU梯度为1，只有一边又饱和的问题，因此其梯度能在深度网络中传递。这很好地解决了上面曲线激活函数的梯度消失和梯度爆炸的问题，因此被广泛应用在深度学习中。  
ReLU同时引入了稀疏的特性（人类在判断问题时，往往会直接去掉一大部分的无用信息），ReLU完全把小于0的项全部取0

## 几个函数解释 ##

*  sigmoid优缺点：  
    优点： 它能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1.  
    缺点：
    
    1.  sigmoid函数曾经被使用的很多，它也有其固有缺点。
    2.  饱和的神经元会"杀死"梯度,指离中心点较远的x处的导数接近于0,停止反向传播的学习过程
    3.  sigmoid的输出不是以0为中心,而是0.5,这样在求权重w的梯度时,梯度总是正或负的.
    4.  指数计算耗时
 *  tanh优缺点：  
    优点：
    
    1.  梯度消失问题程度 tanh(x)的梯度消失问题比sigmoid要轻
    2.  tanh解决了Sigmoid函数的不是zero-centered输出问题  
        缺点：
    3.  梯度消失（gradient vanishing）的问题和幂运算的问题仍然存在。
    4.  也正是因为有缺点，才有其它激活函数的产生和发展。

## ReLU及其衍生函数 ##

ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们可以取sub-gradient，如上图所示。ReLU虽然简单，但却是近几年的重要成果，有以下几大优点：

1. 解决了gradient vanishing问题 (在正区间)
    
    2. 计算速度非常快，只需要判断输入是否大于0
    
    3. 收敛速度远快于sigmoid和tanh

*  ReLU也有几个需要特别注意的问题：
    
    1.  ReLU的输出不是zero-centered
    2.  坏死: ReLU强制的稀疏处理会减少模型的有效容量（即特征屏蔽太多,导致模型无法学习到有效特征）。由于ReLU在x <0时梯度为0，这样就导致负的梯度在这个ReLU被置零，而且这个神经元有可能再也不会被任何数据激活，称为神经元“坏死”。
    3.  无负值: ReLU和sigmoid的一个相同点是结果是正值，没有负值.  
        尽管如此，ReLU目前仍是最常用的activation function.
 *  ReLU变种
    
    1.  为了在输入小于0时能够输出负值，人们提出了Leaky ReLU,PReLU和RReLU等激活函数。这些函数的负数端斜率和整数端不同。  
        当x<0时，f(x)=axf(x)=axf(x)=ax，其中a非常小，可以避免在x<0时，不能够学习的情况，公式为：f(x)=max(ax,x)f(x) = max(ax,x)f(x)=max(ax,x)，称为Parametric Rectifier(PReLU),将 α作为可学习的参数
    2.  当 α 从高斯分布中随机产生时称为Random Rectifier（RReLU）PReLU中，aaa是在根据误差反向传播算法进行训练时确定的，从一个均匀分布的随机抽取的数值。测试时，可以取均匀分布的中值。  
        当aaa通常是训练前确定的, 比如α=0.01,是Leaky ReLU

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8yODcxMDUxNQ_size_16_color_FFFFFF_t_70][]

[image]: https://img-blog.csdn.net/2018070209480318?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 1]: https://img-blog.csdn.net/20180702094954681?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 2]: https://img-blog.csdn.net/2018070209532548?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 3]: https://img-blog.csdn.net/20180702095845975?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 4]: https://img-blog.csdn.net/20180702100617214?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 5]: https://img-blog.csdn.net/20180702101255297?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 6]: https://img-blog.csdn.net/20180702141450621?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 7]: https://img-blog.csdn.net/20180702171701839?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 8]: https://img-blog.csdn.net/2018070217172077?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[0]: https://img-blog.csdn.net/20180702201223425?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[0 1]: https://img-blog.csdn.net/20180702211246293?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 9]: https://img-blog.csdn.net/20180702212537198?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[0 2]: https://img-blog.csdn.net/2018070222011962?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 10]: https://img-blog.csdn.net/20180702220338173?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[iamge]: https://img-blog.csdn.net/20180702220440675?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[image 11]: https://img-blog.csdn.net/20180702184226192?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E2MzMzMjMw/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/0
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8yODcxMDUxNQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190413213316233.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8yODcxMDUxNQ==,size_16,color_FFFFFF,t_70