PyTorch深度学习入门 Tensor基础 1.2 Autograd 1. 微分示例

落日映苍穹つ 2024-03-27 17:18 19阅读 0赞

#### PyTorch深度学习入门 ####

![在这里插入图片描述][2ca45f85c2174685bf8e28f300e0f794.png_pic_center]

##### Tensor基础 #####

Autograd中文叫作自动微分，是PyTorch进行神经网络优化的核心。自动微分，顾名思义就是PyTorch自动为我们计算微分。

###### 1. 微分示例 ######

一个直观的栗子：

假设有一个向量  x ⃗ = \[ 1 1 \] \\vec\{x\}=\\left\[\\begin\{array\}\{l\}1 \\\\ 1\\end\{array\}\\right\] x=\[11\] ，将它作为输入，接着，将输入乘以4得到向量  z ⃗ \\vec\{z\} z ，最后求出长度并输出一个标量y，值为5.6569.

x ⃗ \\vec\{x\} x 向量到标量y 输出的完整计算过程：

![在这里插入图片描述][e0178ae3a22e4fbb8a82ce52ab7db766.png_pic_center]

所以y 关于  x 1 x\_1 x1 的微分为：

∂ y ∂ x 1 = ∂ ( 4 x 1 2 + x 2 2 ) ∂ x 1 = 4 × 1 2 × ( x 1 2 + x 2 2 ) − 1 2 × 2 x 1 = 4 × 1 2 × 2 − 1 2 × 2 = 2 2 ≈ 2.8284 \\frac\{\\partial y\}\{\\partial x\_1\}=\\frac\{\\partial\\left(4 \\sqrt\{x\_1^2+x\_2^2\}\\right)\}\{\\partial x\_1\}=4 \\times \\frac\{1\}\{2\} \\times\\left(x\_1^2+x\_2^2\\right)^\{-\\frac\{1\}\{2\}\} \\times 2 x\_1=4 \\times \\frac\{1\}\{2\} \\times 2^\{-\\frac\{1\}\{2\}\} \\times 2=2 \\sqrt\{2\} \\approx 2.8284 ∂x1∂y=∂x1∂(4x12\+x22)=4×21×(x12\+x22)−21×2x1=4×21×2−21×2=22≈2.8284

当然这只是个简单的栗子，我们手动算出来了，但是如果一个输入需要经过更多的计算步骤，那么人工计算就显得…

幸运的是，

PyTorch的Autograd技术可以帮助我们自动求出这些微分值。

[2ca45f85c2174685bf8e28f300e0f794.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d0fb57b1bafc470fa08cb2a362ba3f97.png
[e0178ae3a22e4fbb8a82ce52ab7db766.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c1b07ced3e3a451984acadb0675b96ab.png