sigmoid：输入值很大时对应的函数值接近1或0，处于函数的饱和区，导致梯度几乎为0，造成梯度消失问题
Relu：解决梯度消失问题，但是会出现dying relu现象，即训练过程中，有些神经元实际上已经”死亡“而不再输出任何数值
Leaky Relu：f = max(αx, x)，解决dying relu问题，α的取值较大时比较小时的效果更好。它有一个衍生函数，parametric Leaky Relu，在该函数中α是需要去学习的
ELU：避免dying神经元，并且处处连续，从而加速SGD，但是计算比较复杂
激活函数的选择顺序：ELU>Leaky Relu及其变体>Relu>tanh>sigmoid
转自微信公众号，忘记哪篇文章了，如有原作看到，欢迎联系。
常见激活函数的绘制及变种 神经网络中的激活函数起着至关重要的作用，它可以将神经元输出的线性函数转化为非线性函数，从而增加了神经网络的表达能力。目前，常见的激活函数有四种，分别
sigmoid：输入值很大时对应的函数值接近1或0，处于函数的饱和区，导致梯度几乎为0，造成梯度消失问题 Relu：解决梯度消失问题，但是会出现dying relu现象，即训
一.激活函数概览 基本上,入门深度学习的第一件事情就是了解”神经元”的构造,激活函数算是最基本的一个”部件”了吧.那激活函数到底有什么用呢?为什么需要激活函数?激活函数的
1. 前言 这里主要首先要说下为什么在深度学习网络中需要加入激活函数？因为激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分了，而且线性运算的组合叠加
一.什么是激活函数 激活函数，并不是去激活什么，而是指如何把“激活的[神经元][Link 1]的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这
激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。 连续
tf常见的激活函数汇总 常见的激活函数种类及其图像 1 sigmoid(logsig)函数 2 tanh函数 3 relu函
浅浅的花香味﹌
小鱼儿
灰太狼
太过爱你忘了你带给我的痛
还没有评论，来说两句吧...