tensorflow中Leaky Relu激活函数

清疚 2023-02-12 05:48 82阅读 0赞

# tensorflow中Leaky Relu激活函数 #

> ## 引用API:tensorflow.nn.leaky\_relu(x) ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70 1][]

> ##  Leaky Relu激活函数 ##
> 
> ## ![f(x)=max(ax,x)][f_x_max_ax_x] ##
> 
> ## Leaky Relu激活函数引入一个固定斜率a,具有Relu激活函数所有的优点，但并不保证效果比Relu激活函数好 ##
> 
> ## 优点：跟Relu激活函数想比，输入值小于0也可以进行参数更新，不会造成神经元 ##
> 
> ##            死亡 ##
> 
> ## 缺点：输出非0均值，收敛慢 ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/202005242037589.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200524203815837.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1bmZlYXRoZXI=,size_16,color_FFFFFF,t_70
[f_x_max_ax_x]: https://private.codecogs.com/gif.latex?f%28x%29%3Dmax%28ax%2Cx%29

发表评论取消回复

表情：

评论列表（有 0 条评论，82人围观）

还没有评论，来说两句吧...

相关阅读

相关激活函数详解（ReLU/Leaky ReLU/ELU/SELU/Swish/Maxout/Sigmoid/tanh）

神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。 ReLU(Rectified Linear Unit,修正线性单元) 形式如下: ![70][]...

太过爱你忘了你带给我的痛/ 2024年04月18日 08:09/ 0 赞/ 73 阅读

相关激活函数 Sigmoid、Tanh、ReLU、Softmax

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

红太狼/ 2023年07月02日 11:25/ 0 赞/ 53 阅读

相关 ReLU激活函数（线性整流函数），Python

ReLU激活函数也叫线性整流函数，ReLU是Rectified Linear Unit(ReLU)的简拼。 import numpy as np impo

一时失言乱红尘/ 2023年06月16日 07:56/ 0 赞/ 6 阅读

相关 tensorflow中Leaky Relu激活函数

tensorflow中Leaky Relu激活函数 > 引用API:tensorflow.nn.leaky\_relu(x) ![watermark_type_Zm

清疚/ 2023年02月12日 05:48/ 0 赞/ 83 阅读

相关 tensorflow中Relu激活函数

tensorflow中Relu激活函数 > 引用API：tensorflow.nn.relu(x) 初学者建议选择Relu激活函数 ![20200524201

àì夳堔傛蜴生んèń/ 2023年02月12日 05:47/ 0 赞/ 80 阅读

相关 tensorflow中tanh激活函数

tensorflow中tanh函数 > 引用API：tensorflow.math.tanh(x) ![watermark_type_ZmFuZ3poZW5naGV

女爷i/ 2023年02月12日 05:46/ 0 赞/ 170 阅读

相关 28，29_激活函数与GPU加速、Tanh和sigmoid、ReLU、Leaky ReLU、SELU、Softplus、GPU accelerated、案例、argmax

1.24.激活函数与GPU加速关于激活函数的图形（Tanh和sigmoid的图形形状如下）： ![在这里插入图片描述][watermark_type_ZmFuZ3p

「爱情、让人受尽委屈。」/ 2022年10月29日 09:27/ 0 赞/ 226 阅读

相关简析深度学习常见激活函数（Sigmoid、Tanh、ReLU、Leaky ReLU）

激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加

深碍√TFBOYSˉ_/ 2022年10月22日 13:51/ 0 赞/ 259 阅读

相关激活函数：sigmoid、Tanh、ReLU

import matplotlib.pyplot as plt import numpy as np 设置字体为中文 plt.rcParams

男娘i/ 2022年01月31日 10:41/ 0 赞/ 348 阅读

相关激活函数relu、leaky-relu、elu、selu、serlu比较

什么是激活函数简单来说我们知道神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下

浅浅的花香味﹌/ 2021年11月09日 02:46/ 0 赞/ 1736 阅读