PyTorch碎片：深刻透彻理解Torch中Tensor.contiguous()函数

朱雀 2023-07-24 14:43 131阅读 0赞

# 1.函数定义 #

> Returns a contiguous tensor containing the same data as self tensor.
> 
> 返回一个与原始tensor相同元素数据的 “连续”tensor类型
> 
> If self tensor is contiguous, this function returns the self tensor.
> 
> 如果原始tensor本身就是连续的，则返回原始tensor

# 2.定义理解 #

定义本身有两个重要的点：

>  *  **对原始tensor进行复制**
>  *  **返回contiguous“类型”的一个tensor**

Tensor.contiguous()函数不会对原始数据进行任何修改，而仅仅对其进行复制，并在内存空间上进行对齐，即在内存空间上，tensor元素的内存地址保持连续。

这么做的目的是，在对tensor元素进行转换和维度变换等操作之后，元素地址在内存空间中保证连续性，在后续利用指针对tensor元素进行读取时，能够减少读取便利，提高内存空间优化。

# 3.数据案例分析 #

import torch
    src_t = torch.randn((2,3))
    print(src_t.shape)
    print(src_t.is_contiguous())

输出：

>>> torch.Size([2, 3])
    >>> True

可以看出，在利用torch.randn函数进行tensor创建时，获取的tensor元素地址是连续内存空间保存的。那么，如果对创建的tensor进行transpose变换操作：

trans_t = src_t.transpose(0,1) 
    print(trans_t.shape)
    print(trans_t.is_contiguous())

输出：

>>> torch.Size([3, 2])
    >>> False

我们发现经过transpose变换以后，tensor变成非连续保存类型(uncontiguous)。

那么，变成这种非连续保存类型会造成什么样的后果呢？

简单的以view函数为例：

trans_t.view(-1,3)

当尝试对uncontiguous类型tensor进行维度变换时，就会出现下面错误：

Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
    RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

错误提示告诉我们，至少有一个维度数据在内存空间上跨越了两个连续子空间！此时，我们输出trans\_t的连续保存类型是什么：

print(trans_t.is_contiguous())

>>> False

因此，为了能够实现对张量trans\_t的维度变换，需要先对tensor进行contiguous内存地址对齐操作，然后再进行view操作：

print(trans_t.shape)
    trans_t.contiguous().view(-1,3)
    print(trans_t.shape)

>>> torch.Size([3, 2])
    >>> torch.Size([2, 3])

# 4.总结 #

总结一下，为了保证代码的可读性和严谨性，当对tensor进行维度变化时，常需要配合contiguous函数使用，但是哪些函数会造成原始tensor变的uncontiguous呢？

>  *  **transpose()**
>  *  **narrow()**
>  *  **expand()**

有其他函数，我会进一步补充，有错误欢迎指正，谢谢！

发表评论取消回复

表情：

评论列表（有 0 条评论，131人围观）

还没有评论，来说两句吧...

相关阅读

相关 PyTorch中torch.nn.Linear详解

PyTorch中torch.nn.Linear详解神经网络常常需要进行线性变换操作，torch.nn.Linear就是一个十分常用的实现线性变换的方法之一。本篇文章将会介绍

超、凢脫俗/ 2024年03月26日 20:45/ 0 赞/ 41 阅读

相关深入浅出PyTorch函数torch.rand与torch.randn

> `torch.rand` 和 `torch.randn` 都是PyTorch中用于生成随机张量的函数，但它们生成随机数的方式有所不同。一、torch.rand !

灰太狼/ 2024年03月08日 02:33/ 0 赞/ 44 阅读

相关举例说明PyTorch函数torch.cat与torch.stack的区别

一、torch.cat与torch.stack的区别 `torch.cat`用于在给定的维度上连接多个张量，它将这些张量沿着指定维度堆叠在一起。 `torch.stac

谁借莪１个温暖的怀抱￠/ 2024年03月08日 02:29/ 0 赞/ 52 阅读

相关 PyTorch碎片：深刻透彻理解Torch中Tensor.contiguous()函数

1.函数定义 > Returns a contiguous tensor containing the same data as self tensor. > > 返回

朱雀/ 2023年07月24日 14:43/ 0 赞/ 132 阅读

相关 PyTorch softmax - torch.nn - torch.nn.functional

PyTorch `softmax` \- `torch.nn` \- `torch.nn.functional` PyTorch documentation [ht

「爱情、让人受尽委屈。」/ 2023年02月20日 02:20/ 0 赞/ 112 阅读

相关 PyTorch - torch.onnx

PyTorch - torch.onnx Table of Contents (目录) PyTorch Tutorials [https://pytorch.org

灰太狼/ 2022年12月23日 03:28/ 0 赞/ 166 阅读

相关理解 PyTorch 中的 gather 函数

好久没更新博客了，最近一直在忙，既有生活上的也有工作上的。道阻且长啊。今天来水一文，说一说最近工作上遇到的一个函数：[`torch.gather()`][torch.gat

我会带着你远行/ 2022年09月09日 06:03/ 0 赞/ 156 阅读

相关 pytorch:torch.mm()和torch.matmul()

torch.matmul()没有强制规定维度和大小，可以用利用广播机制进行不同维度的相乘操作 `torch.mm(a, b)`是矩阵a和b矩阵相乘，比如a的维度是(m, x)

r囧r小猫/ 2022年09月05日 04:06/ 0 赞/ 190 阅读

相关 torch中关于torch.max()和torch.min()函数的理解

简介在tensor类型的数据中，max和min函数常用来比较两个tensor数据的大小，或者取出tensor数据中的最大值。关于max函数和min函数的用法有以下几种

我会带着你远行/ 2021年12月12日 14:33/ 0 赞/ 1785 阅读

相关 pytorch torch.Stroage();torch.cuda()

转自：[https://ptorch.com/news/52.html][https_ptorch.com_news_52.html] `torch.Storage`是

偏执的太偏执、/ 2021年10月25日 13:20/ 0 赞/ 379 阅读