【PyTorch】MSELoss的详细理解（含源代码）

傷城~ 2023-09-27 12:50 72阅读 0赞

给定损失函数的输入 y y y， p r e d pred pred， s h a p e shape shape均为 b × c b\\times c b×c。

若设定`loss_fn = torch.nn.MSELoss(reduction="mean")`，最终的输出值其实是 ( y − p r e d ) (y - pred) (y−pred)每个元素数字的平方之和除以 ( b × c ) (b\\times c) (b×c)，也就是在batch和特征维度上都取了平均。

**如果只想在batch上做平均，可以这样写：**

loss_fn = torch.nn.MSELoss(reduction="sum")
    loss = loss_fn(pred, y) / pred.size(0)

### 一、PyTorch中MSELoss的使用 ###

#### 1.1 参数 ####

torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = "mean")

`size_average`和`reduce`在当前版本的pytorch已经不建议使用了，只设置reduction就行了。

reduction的可选参数有：`"none" 、"mean" 、"sum"`

`reduction="none"`：求所有对应位置的差的平方，返回的仍然是一个和原来形状一样的矩阵。

`reduction="mean"`：求所有对应位置差的平方的均值，返回的是一个标量。

`reduction="sum"`：求所有对应位置差的平方的和，返回的是一个标量。

#### 1.2 举例 ####

首先假设有三个数据样本分别经过神经网络运算，得到三个输出与其标签分别是:

y_pre = torch.Tensor([[1, 2, 3],
                          [2, 1, 3],
                          [3, 1, 2]])
    
    y_label = torch.Tensor([[1, 0, 0],
                            [0, 1, 0],
                            [0, 0, 1]])

如果reduction=“none”：

criterion1 = nn.MSELoss(reduction="none")
    loss1 = criterion1(x, y)
    print(loss1)

输出结果为：

tensor([[0., 4., 9.],
    
    [4., 0., 9.],
    
    [9., 1., 1.]])

如果reduction=“mean”：

criterion2 = nn.MSELoss(reduction="mean")
    loss2 = criterion2(x, y)
    print(loss2)

则输出：

tensor(4.1111)

如果reduction=“sum”：

criterion3 = nn.MSELoss(reduction="sum")
    loss3 = criterion3(x, y)
    print(loss3)

则输出：

tensor(37.)

### 二、在反向传播时的使用 ###

一般在反向传播时，都是先求loss，再使用loss.backward()求loss对每个参数 w\_ij和b的偏导数(也可以理解为梯度)。

这里要注意的是，只有标量才能执行backward()函数，因此在反向传播中reduction不能设为"none"。

但具体设置为"sum"还是"mean"都是可以的。

若设置为"sum"，则有Loss=loss\_1+loss\_2+loss\_3，表示总的Loss由每个实例的loss\_i构成，在通过Loss求梯度时，将每个loss\_i的梯度也都考虑进去了。

若设置为"mean"，则相比"sum"相当于Loss变成了Loss\*(1/i)，这在参数更新时影响不大，因为有学习率a的存在。

发表评论取消回复

表情：

评论列表（有 0 条评论，72人围观）

还没有评论，来说两句吧...

相关阅读

相关 C++实现插入排序（含源代码）

C++实现插入排序（含源代码）插入排序是一种基本的排序算法，它的思想是将一个元素插入到已排好序的有序数列的合适位置中，从而得到新的有序数列。本文将介绍使用C++语言实现插入

╰半夏微凉°/ 2024年03月24日 23:54/ 0 赞/ 32 阅读

相关 Python实现矩阵乘法（含完整源代码）

Python实现矩阵乘法（含完整源代码）矩阵是数学中的一种重要概念，是运用于线性代数和其他相关领域的基本工具。在Python中实现矩阵相乘可以帮助我们更好地理解和应用矩阵。

女爷i/ 2024年03月23日 16:09/ 0 赞/ 12 阅读

相关【计算机视觉】YOLOv8如何使用？（含源代码）

<table> <thead> <tr> <th>comments</th> <th>description</th> <th>keyword

超、凢脫俗/ 2024年02月22日 00:58/ 0 赞/ 15 阅读

相关【Python】assert函数（含源代码）

assert（断言）用于判断一个表达式，在表达式条件为 false 的时候触发异常。断言可以在条件不满足程序运行的情况下直接返回错误，而不必等待程序运行后出现崩溃的情况，例

朱雀/ 2023年10月02日 23:22/ 0 赞/ 87 阅读

相关【PyTorch】MSELoss的详细理解（含源代码）

给定损失函数的输入 y y y， p r e d pred pred， s h a p e shape shape均为 b × c b\\times c b×c。若设定`l

傷城~/ 2023年09月27日 12:50/ 0 赞/ 73 阅读

相关 Mybatis的详细配置（含源代码）

一、准备工作开发工具：intellij idea 使用工程：maven工程使用数据：Mysql 二、配置工作目录结构

偏执的太偏执、/ 2023年02月26日 05:27/ 0 赞/ 74 阅读

相关挺详细的spring+springmvc+mybatis配置整合|含源代码

![format_png][] 大家好，我是雄雄，今天来带着大家来配置一下SSM（spring+springmvc+ mybatis）框架。 01 新建java w

逃离我推掉我的手/ 2023年01月06日 05:40/ 0 赞/ 67 阅读

相关 nginx 的location详细理解

[关于一些对location认识的误区][location] 1、 location 的匹配顺序是“先匹配正则，再匹配普通”。矫正： location 的匹配顺序其实

喜欢ヅ旅行/ 2022年06月11日 09:49/ 0 赞/ 168 阅读

相关 JavaScript省市县三级联动-含源代码

目录一、省市县三级联动 1.实现思路 2.实现步骤二、源代码管理 1.HTML显示页面 2.JavaScript核心代码 3.省市县三级地址 -------

短命女/ 2022年05月08日 15:20/ 0 赞/ 239 阅读

相关包含详细注释的pingback后门C源代码

\include <stdio.h> \include <stdlib.h> \include <winsock2.h> //\include <ws2tcpip.

快来打我*/ 2022年03月10日 06:06/ 0 赞/ 138 阅读