pytorch Dropout错误 noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p) divide by zero

冷不防 2021-06-24 16:09 330阅读 0赞

pytorch 在计算long和float运算时会出现错误：

>>> import torch
    >>> a = torch.tensor([1,2,3], dtype=torch.long)
    >>> a + 0.5
    
     1
     2
     3
    [torch.LongTensor of size (3,)]

这对应到在long类型数据使用dropout上时有时会出现如下问题：

/usr/local/lib/python3.6/dist-packages/torch/nn/_functions/dropout.py in forward(cls, ctx, input, p, train, inplace)
         38             ctx.noise.fill_(0)
         39         else:
    ---> 40             ctx.noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p)
         41         ctx.noise = ctx.noise.expand_as(input)
         42         output.mul_(ctx.noise)
    
    RuntimeError: invalid argument 3: divide by zero at /pytorch/aten/src/THC/generic/THCTensorMathPairwise.cu:88

转成float类型可以暂时解决：

>>> a
    tensor([ 100,    3,  100])
    >>> a.float()
    tensor([ 100.,    3.,  100.])
    >>> d
    Dropout(p=0.5)
    >>> d(a.float())
    tensor([ 200.,    0.,    0.]) # works fine
    >>> d(a)
    Floating point exception # throws error

暂时解决办法：

dropout_p = 0.1
    dropout = torch.nn.Droupout(p=droupout_p)
    if self.training:
        x_ = dropout(inputs.float())
        print(x_)
        inputs = torch.round(x_.mul(1-dropout_p)).long()  #round用来解决浮点数的误差问题 
        print(inputs)

[参考自][Link 1]

[Link 1]: https://github.com/pytorch/pytorch/issues/7042

发表评论取消回复

表情：

评论列表（有 0 条评论，330人围观）

还没有评论，来说两句吧...

相关阅读

相关解决RuntimeWarning: divide by zero encountered in double_scalars

目录解决"RuntimeWarning: divide by zero encountered in double\_scalars" 问题描述原因分析解决方法

柔情只为你懂/ 2024年02月23日 06:02/ 0 赞/ 38 阅读

相关 Pytorch学习笔记（1）

目录 1. 张量（Tensors） 2. 自动求导（Automatic Differentiation） 3. 神经网络的构建和训练送书活动 -----------

逃离我推掉我的手/ 2023年10月13日 19:10/ 0 赞/ 10 阅读

相关解决PHP提示Warning: Division by zero in错误

一、原因：division by zero 是"除数是0"导致的错误二、解决方法一、运行前判断如果除数为0，则不要计算（推荐） if ($retri

- 日理万妓/ 2023年01月12日 11:50/ 0 赞/ 119 阅读

相关 Pytorch笔记——1.Pytorch基本数据类型

一、Pytorch基本数据类型在创建tensor时，需要使用torch.Tensor、torch.DoubleTensor等事先指定数据类型。tensor是包含单一数据

蔚落/ 2022年11月22日 05:10/ 0 赞/ 688 阅读

相关 MySQL - Group By 1

结论它的意思是按第一列分组，而不管它的名称是什么，ORDER BY 也`同理可得~` SELECT person_id, person_age

落日映苍穹つ/ 2022年09月10日 07:10/ 0 赞/ 164 阅读

相关 Android Studio中的错误，finished with non-zero exit value 1

这两天一直在忙着赶项目，都没有时间写博客了。今天必须的挤出时间来写这篇博客，原因是因为，这个错误让我找了足足三十分钟，终于找到了，同伙们在遇到的时候可不要在像我一样，有是被绊倒

r囧r小猫/ 2022年08月20日 11:09/ 0 赞/ 111 阅读

相关 finished with non-zero exit value 1

buildToolsVersion 改的小一点就可以了 apply plugin: 'com.android.application'

清疚/ 2022年07月15日 08:14/ 0 赞/ 153 阅读

相关 Editorial Divide by Zero and Codeforces Round #399 (Div. 1+2, combined) (A~F)

[CF \399][CF _399] A题:水题代码： include<bits/stdc++.h> using namespace std;

素颜马尾好姑娘i/ 2022年07月12日 11:48/ 0 赞/ 125 阅读

相关 Codeforces 977D. Divide by three, multiply by two

Divide by three, multiply by two Polycarp likes to play with numbers. He takes some i

喜欢ヅ旅行/ 2022年04月05日 08:42/ 0 赞/ 164 阅读

相关 pytorch Dropout错误 noise.bernoulli_(1 - ctx.p).div_(1 - ctx.p) divide by zero

pytorch 在计算long和float运算时会出现错误： >>> import torch >>> a = torch.tensor([1,2,3], d

冷不防/ 2021年06月24日 16:09/ 0 赞/ 331 阅读