tf常见的激活函数（Activation Functions ）汇总

秒速五厘米 2021-12-03 04:49 435阅读 0赞

### tf常见的激活函数汇总 ###

*  常见的激活函数种类及其图像
 *   *  1 sigmoid(logsig)函数
     *  2 tanh函数
     *  3 relu函数
     *  4 softplus函数
 *  tensorflow中损失函数的表达
 *   *  1 sigmoid(logsig)函数
     *  2 tanh函数
     *  3 relu函数
     *  4 softplus函数

激活函数在机器学习中常常用在**神经网络隐含层节点**与**神经网络的输出层节点**上，激活函数的作用是赋予神经网络更多的**非线性**因素，如果不用激励函数，输出都是输入的线性组合，这种情况与最原始的感知机相当，网络的逼近能力相当有限。如果能够引入恰当的非线性函数作为激活函数，这样神经网络逼近能力就能够更加强大。  
哦豁，激活函数那么厉害，那常见的激活函数有什么呢？感觉还挺多的。  
![在这里插入图片描述][20190723155233329.png_pic_center]

# 常见的激活函数种类及其图像 #

## 1 sigmoid(logsig)函数 ##

特点：sigmoid函数函数在不同的地方表达方式不同，常用的名称就是sigmoid和logsig，它能够把输入的连续实值变换为0和1之间的输出，如果输入是特别大的负数，则输出为0，如果输入是特别大的正数，则输出为1。  
缺点：在深度神经网络中，容易导致梯度爆炸和梯度消失；幂函数运算较慢；不是0均值。  
其计算公式为：  
![sigmoid函数][sigmoid]  
其图像如下所示。  
![sigmoid函数][sigmoid 1]

## 2 tanh函数 ##

特点：它能够把输入的连续实值变换为-1和1之间的输出，如果输入是特别大的负数，则输出为-1，如果输入是特别大的正数，则输出为1；解决了Sigmoid函数的不是0均值的问题。  
缺点：梯度消失的问题和幂运算的问题仍然存在。  
其计算公式为：  
![tanh函数][tanh]  
其图像如下所示。  
![tanh函数][tanh 1]

## 3 relu函数 ##

特点：解决了梯度消失的问题；计算速度非常快，只需要判断输入是否大于0；收敛速度远快于sigmoid和tanh两个函数。  
缺点：不是0均值。  
其计算公式为：  
![relu函数][relu]  
其图像如下所示。![relu函数][relu 1]

## 4 softplus函数 ##

特点：softplus函数相当于平滑版的relu函数。  
缺点：不是0均值。  
其计算公式为：  
![softplus函数][softplus]  
其图像如下所示（与relu函数对比）。  
![softplus函数][softplus 1]

# tensorflow中损失函数的表达 #

## 1 sigmoid(logsig)函数 ##

tf.nn.sigmoid(x, name=None)

## 2 tanh函数 ##

tf.nn.tanh(x, name=None)

## 3 relu函数 ##

tf.nn.relu(features, name=None)
    tf.nn.relu6(features, name=None)
    #relu6相对于普通relu更容易学习到稀疏特征。

## 4 softplus函数 ##

tf.nn.softplus(features, name=None)

[20190723155233329.png_pic_center]: /images/20211203/7f3c15d649a84f57ae8a1c73d13b7900.png
[sigmoid]: /images/20211203/31e0f812eca74a05b874192c462d6ac0.png
[sigmoid 1]: /images/20211203/618d740569cf4df6b40b27514f17366d.png
[tanh]: /images/20211203/a4c8f7c93c484aefa8afc6a1b1a1f7d7.png
[tanh 1]: /images/20211203/80a8cabe876e4a638dede3e378792847.png
[relu]: /images/20211203/b538053948a943a8a789b40df71a45ca.png
[relu 1]: /images/20211203/15b5c3797ed84107aba0918f33b5725c.png
[softplus]: /images/20211203/7b12bd992bb346ac9ec498ed0f0d8064.png
[softplus 1]: /images/20211203/cefa36490e254bd0a15ba7810f1195e3.png