NLP | 激活函数与梯度

- 日理万妓 2024-04-01 10:45 56阅读 0赞

## 常见激活函数 ##

*  sigmoid
 *  tanh
 *  ReLU

### 1. sigmoid函数 ###

f ( x ) = σ ( x ) = 1 1 + e − x f(x)=\\sigma(x)=\\frac\{1\}\{1+e^\{-x\}\} f(x)=σ(x)=1\+e−x1  
函数图像如下  
![在这里插入图片描述][690a3a7c59f24bee84c240fd936d13f7.png]  
将输出\[-∞,+∞\]限制在\[0，1\]之间，且函数变化平滑。  
梯度：  
 f ′ ( x ) = σ ′ = σ ( 1 − σ ) f^\{'\}(x)=\\sigma^\{'\}=\\sigma(1-\\sigma) f′(x)=σ′=σ(1−σ)

### 2.tanh函数 ###

t a n h ( x ) = e x − e − x e x + e − x tanh(x)=\\frac\{e^x-e^\{-x\}\}\{e^x+e^\{-x\}\} tanh(x)=ex\+e−xex−e−x  
函数图像  
![在这里插入图片描述][1abf4bf6fd9948be9515bc4f640c6c1d.png]  
将输出\[-∞,+∞\]限制在\[-1，1\]之间，且函数变化平滑。（一般用于RNN等）  
 f ( x x ) = t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 1 f(xx)=tanh(x)=2 sigmoid(2x)-1 f(xx)=tanh(x)=2sigmoid(2x)−1  
梯度  
 f ′ ( x ) = 1 − t a n h 2 ( x ) f^\{'\}(x)=1-tanh^2(x) f′(x)=1−tanh2(x)

### 3.ReLU函数 ###

f ( x ) = \{ 0 , x < 0 x , x ≥ 0 f(x)=\\left\\\{ \\begin\{aligned\} 0, x \\lt0\\\\ x,x \\ge 0 \\end\{aligned\} \\right. f(x)=\{ 0,x<0x,x≥0  
函数图像  
![在这里插入图片描述][58fbff445651429688209ca503903855.png]  
 f ′ ( x ) = 1 , x ≥ 0 f^\{'\}(x)=1,x \\ge 0 f′(x)=1,x≥0

*  一般来说，优先选择ReLU函数。

[690a3a7c59f24bee84c240fd936d13f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/70f6664038a0464cb2501e975747608c.png
[1abf4bf6fd9948be9515bc4f640c6c1d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/816f1260c5f64aeba8ff0d1481b91ca6.png
[58fbff445651429688209ca503903855.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/01/cf282ed506da4ce38b281ed4f77b563f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，56人围观）

还没有评论，来说两句吧...

相关阅读

相关 NLP | 激活函数与梯度

常见激活函数 sigmoid tanh ReLU 1. sigmoid函数 f ( x ) = σ ( x ) = 1 1 + e − x f

- 日理万妓/ 2024年04月01日 10:45/ 0 赞/ 57 阅读

相关各种激活函数

1、Sigmoid ![f(x)=\\tfrac\{1\}\{(1+e^\{-x\})\}][f_x_tfrac_1_1_e_-x] 2、Tanh ![f(x)=

布满荆棘的人生/ 2023年01月10日 14:58/ 0 赞/ 201 阅读

相关激活函数总结

0 激活函数的作用 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9i

矫情吗；*/ 2022年11月27日 12:11/ 0 赞/ 330 阅读

相关 PyTorch教程（八）：常见激活函数与Loss的梯度

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机。如果使用的话，激活函数给神经元引入了非线性因素

不念不忘少年蓝@/ 2022年10月31日 10:51/ 0 赞/ 216 阅读

相关 17,18_常见函数梯度，激活函数梯度（Sigmoid、Tanh、ReLu）

1. 常见函数梯度 1.1 常见函数 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_

╰+哭是因爲堅強的太久メ/ 2022年10月26日 11:29/ 0 赞/ 251 阅读

相关【Pytorch】激活函数与loss的梯度

文章目录 1. 什么是激活函数 2. Sigmoid 激活函数及其loss函数 3. Tanh 激活函数及其loss函数 4. ReLU 激活函数

迷南。/ 2022年10月23日 15:24/ 0 赞/ 230 阅读

相关分类任务与激活函数

> 分类任务可分为:二分类,多分类,多标签分类 1.分类任务二分类 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk

爱被打了一巴掌/ 2022年09月08日 00:14/ 0 赞/ 101 阅读

相关 OpenCV与梯度计算相关的函数

在进行图像处理中，经常会计算图像的梯度、梯度幅值以及梯度等，对于不太了解opencv的，可能会自己写计算梯度、梯度幅值和梯度方向的函数，其实这些工作OpenCV都已经为我们做了

本是古典何须时尚/ 2022年07月17日 01:59/ 0 赞/ 170 阅读

相关激活函数

深度学习中的激活函数导引 [我爱机器学习(52ml.net)][52ml.net] 2016年8月29日 [0][] > 作者：程程 > 链接：https://zh

小鱼儿/ 2022年07月16日 13:18/ 0 赞/ 276 阅读

相关 Pytorch 激活函数

激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。连续

一时失言乱红尘/ 2021年12月18日 23:15/ 0 赞/ 385 阅读