PyTorch深度学习入门深度学习基础 2.3 非线性回归 1. 激活函数

逃离我推掉我的手 2024-03-26 07:11 19阅读 0赞

#### PyTorch深度学习入门 ####

#### 文章目录 ####

*   *   *  PyTorch深度学习入门
         *   *  深度学习基础
             *  2.3 非线性回归
             *   *  1. 激活函数

![在这里插入图片描述][bc5bbe44f54a4680b196ac5ed7684523.png_pic_center]

##### 深度学习基础 #####

##### 2.3 非线性回归 #####

之前我们看完了线性回归，但其实在实际中，大多数情况都不会是线性的，而是非线性的。

非线性就是说拟合函数并非直线或者平面，而是更加复杂的曲线或曲面。

###### 1. 激活函数 ######

在没有激活函数的情况下，可以利用多个人工神经元来构造人工神经网络，这相当于多个线性模型进行叠加。

![在这里插入图片描述][dee39efefc99400cb1a283dbf89a5162.png_pic_center]

激活函数的出现是为了 让神经网络可以拟合复杂的非线性函数。

激活函数  f f f 实际上是一个非常简单的非线性函数，但是只要多个带有激活函数的神经元组合在一起，就具有拟合复杂非线性函数的强大能力。

常用激活函数：sigmoid、tanh、ReLU、Maxout等。

ReLU函数：  
 f ( x ) = \{ 0 , x ⩽ 0 x , x > 0 f(x)= \\begin\{cases\}0, & x \\leqslant 0 \\\\ x, & x>0\\end\{cases\} f(x)=\{ 0,x,x⩽0x>0

有了激活函数，整个人工神经元的数据计算过程就变成了：

y = f ( x ⃗ ⋅ w ⃗ ) y=f(\\vec\{x\} \\cdot \\vec\{w\}) y=f(x⋅w)

PyTorch 中也已经实现编写了ReLU 激活函数：torch.nn.functional.relu()。

[bc5bbe44f54a4680b196ac5ed7684523.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/17960ce5d53649908436084693578805.png
[dee39efefc99400cb1a283dbf89a5162.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/737be6b7f635493db5a58550e07e4654.png

发表评论取消回复

表情：

评论列表（有 0 条评论，19人围观）

还没有评论，来说两句吧...

相关阅读

相关 PyTorch深度学习入门深度学习基础 2.2 线性回归 8. 人工神经元

PyTorch深度学习入门 ![在这里插入图片描述][25273c3476594f26a082fd044be463d4.png_pic_center] 深度学习基础

朱雀/ 2024年03月27日 17:43/ 0 赞/ 20 阅读

相关 PyTorch深度学习入门深度学习基础 2.2 线性回归 6. 代码实践

PyTorch深度学习入门 ![在这里插入图片描述][b3bf1eea73424fbeb86af86f878fb04e.png_pic_center] 深度学习基础

冷不防/ 2024年03月27日 17:43/ 0 赞/ 27 阅读

相关 PyTorch深度学习入门深度学习基础 2.2 线性回归 3. 优化

PyTorch深度学习入门 ![在这里插入图片描述][9b7167ea0ec342e59eaa8acb01e76480.png_pic_center] 深度学习基础

不念不忘少年蓝@/ 2024年03月27日 17:19/ 0 赞/ 17 阅读

相关 PyTorch深度学习入门深度学习基础 2.2 线性回归 1. 线性模型

PyTorch深度学习入门 ![在这里插入图片描述][3b652564b73c412fb2c02e8bacef8463.png_pic_center] 深度学习基础

以你之姓@/ 2024年03月27日 17:19/ 0 赞/ 20 阅读

相关 PyTorch深度学习入门深度学习基础 2.2 线性回归 2. 目标函数

PyTorch深度学习入门 ![在这里插入图片描述][a897d673fb3d4ed08ea3793d3e4be922.png_pic_center] 深度学习基础

Love The Way You Lie/ 2024年03月27日 17:19/ 0 赞/ 19 阅读

相关 PyTorch深度学习入门深度学习基础 2.3 非线性回归 2. 人工神经网络

PyTorch深度学习入门文章目录 PyTorch深度学习入门深度学习基础 2.3

缺乏、安全感/ 2024年03月26日 07:11/ 0 赞/ 26 阅读

相关 PyTorch深度学习入门深度学习基础 2.3 非线性回归 1. 激活函数

PyTorch深度学习入门文章目录 PyTorch深度学习入门深度学习基础 2.3

逃离我推掉我的手/ 2024年03月26日 07:11/ 0 赞/ 20 阅读

相关深度学习基础激活函数

![1598479-20190918171258360-1404517073.png][] 转载于:https://www.cnblogs.com/yunshangyu

素颜马尾好姑娘i/ 2023年08月17日 16:07/ 0 赞/ 69 阅读

相关深度学习基础--激活函数

深度学习基础–激活函数最近在阅读一本书籍–Dive-into-DL-Pytorch（动手学深度学习），链接：[https://github.com/newmonkey/

悠悠/ 2022年09月15日 06:06/ 0 赞/ 203 阅读

相关【深度学习】激活函数

目录 0 激活函数 1 sigmoid函数 2 阶跃函数 3 ReLU函数 4 Leaky ReLU函数 5 tanh函数 0 激活函数激活函数（Acti

冷不防/ 2022年03月28日 04:28/ 0 赞/ 226 阅读