pytorch 踩坑集

╰半橙微兮° 2022-12-21 02:27 177阅读 0赞

# 错误1： 多Loss #

RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain\_graph=True when calling backward the first time.  
原因：一次feed，多次backward()了。

方法：  
把各个LOSS加权求和起来，然后再backward().  
原来有问题的代码：

final_loss = (1-alpha ) * loss_func(predict_label,labels) 
               single_loss = alpha * loss_func(single_label,labels)
               optimizer.zero_grad()
               final_loss.backward()
               single_loss.backward()
               optimizer.step()

正确代码：

final_loss = (1-alpha ) * loss_func(predict_label,labels) + alpha * loss_func(single_label,labels)
                optimizer.zero_grad()
                final_loss.backward()
                optimizer.step()

# 错误2：Expected object of scalar type Long but got scalar type Float for argument #

交叉熵的label必须要转换为Long类型。  
解决方法：

labels.to(dtype=tensor.long)

# 错误3：RuntimeError: 1D target tensor expected, multi-target not supporte #

解决方法：交叉熵的Label的shape必须为`(样本个数,)`

# 错误4： 与keras相同的模型，pytorch的模型准确率会比keras低很多个百分点 #

首先检查在Keras和pytorch实现的两个模型是否一致，比如各层的参数个数是不是一致，那些默认使用的初始化方法、激活函数是否是一致。  
其次，检查pytorch的模型在训练过程，数据集是否随机化打乱过顺序。Keras实现的模型 在fit的时候会默认对训练数据和验证数据做一次shuffle。如果输入给pytorch的训练数据没有shuffle,那么模型很有可能只记住了最后一个batch的数据的特征，这会严重带偏模型的泛化性。

发表评论取消回复

表情：

评论列表（有 0 条评论，177人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch 分布式多卡训练DistributedDataParallel 踩坑记

前言：　　近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型；主要有两种方式实现：

ゝ一世哀愁。/ 2023年03月01日 09:07/ 0 赞/ 13 阅读

相关 pytorch 踩坑集

错误1：多Loss RuntimeError: Trying to backward through the graph a second time, but the

╰半橙微兮°/ 2022年12月21日 02:27/ 0 赞/ 178 阅读

相关 slam踩坑

一、Linux or cmake 1. cmake无法找到头文件（fatal error: .h: No such file or directory） [ cma

小咪咪/ 2022年11月18日 01:55/ 0 赞/ 223 阅读

相关 ionic + angular开发篇之踩坑集

一、API篇 1.接口无法访问百度地图、自定义API无法访问，远程调试结果显示404 原因是cordova 5.x的版本增加了“Content-Securi

小灰灰/ 2022年05月21日 13:40/ 0 赞/ 283 阅读

相关 PyTorch踩坑记

PyTorch踩坑记前言自己刚开始使用深度学习框架做事情的时候，选择了最容易入门的[Keras][]。Keras是在其它深度学习框架（谷歌的[TensorFlo

╰+哭是因爲堅強的太久メ/ 2022年05月18日 20:09/ 0 赞/ 378 阅读

相关 [笔记] PyTorch 踩坑记录

1. 关于 torch.clamp() 在我尝试实现 [Focal Loss][] 的过程中，遇到 Loss 有时候变成 nan 的情况，询问师兄后得知：如果要对数值进行

本是古典何须时尚/ 2022年04月25日 04:42/ 0 赞/ 1022 阅读

相关 katalon踩坑

1.运行报错：Activity' never started ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0

蔚落/ 2022年04月25日 01:10/ 0 赞/ 338 阅读

相关 redis集群搭建踩坑指南

最近在网上一台阿里云服务器上搭建了一个3主3从的redis集群，在这记录一下搭建过程中的踩坑过程。先贴出参考的博客： [https://blog.csdn.net/p

超、凢脫俗/ 2022年04月02日 03:29/ 0 赞/ 284 阅读

相关 Spring Cloud踩坑（二）SpringCloud 坑集

feign 作为 springcloud 微服务内部通信的组件还是有很多坑的坑1、 Load balancer does not have availa

- 日理万妓/ 2022年03月09日 05:28/ 0 赞/ 355 阅读

相关 malaganguo的踩坑合集

目录 trap1. 下拉框无法赋值 Connection to @172.16.25.79 failed.\[08006\]\[1034\] ORA-01034: ORAC

小灰灰/ 2021年10月30日 05:10/ 0 赞/ 334 阅读