PyTorch中的matmul函数详解

迈不过友情╰ 2023-09-27 12:46 154阅读 0赞

PyTorch中的两个张量的乘法可以分为两种：

1.  两个张量对应的元素相乘（element-wise），在PyTorch中可以通过`torch.mul`函数（或者 ∗ \* ∗运算符）实现
2.  两个张量矩阵相乘（Matrix product），在PyTorch中可以通过`torch.matmul`函数实现

本文主要介绍两个张量的矩阵相乘。

语法为：

torch.matmul(input, other, out = None)

函数对input和other两个张量进行矩阵相乘。为了方便后续的讲解，将input记为a，将other记为b。

> 点积在数学中，又称数量积，是指接受在实数R上的两个1D张量并返回一个实数值0D张量的二元运算。  
> 若1D张量a=\[1,2\]，1D张量b=\[3,4\]，则：  
> a ⋅ \\cdot ⋅b=1 × \\times × 3 + 2 × \\times × 4 = 11

1.  若a为1D张量，b为1D张量，则返回两个张量的点积，则返回两个张量的点积（此时的torch.matmul不支持out参数）

举例如下：

import torch
    a = torch.tensor([1, 2])
    b = torch.tensor([3, 4])
    result = torch.matmul(a, b)
    print(result)

结果为：

(PyTorch) D:\Code Project>D:/Anaconda/envs/PyTorch/python.exe "d:/Code Project/demo.py"
    tensor(11)

1.  若a为2D张量，b为2D张量，则返回两个张量的矩阵乘积。

> 矩阵相乘最重要的方法是一般矩阵乘积，它只有在第一个2D张量（矩阵）的列数（column）和第二个2D张量（矩阵）的行数（row）相同时才有意义。  
> 若2D张量a=\[\[1,2\],\[3,4\]\]，2D张量b=\[\[5,6,7\],\[8,9,10\]\]，则：  
> a × \\times × b=\[\[21,24,27\],\[47,54,61\]\]，2D张量a的形状为（2，2），而2D张量b的形状（2，3）。矩阵乘积的运算规则：  
> ![在这里插入图片描述][706567ad70bf4b8f8685178691ebac0c.png]

举例为：

import torch
    a = torch.tensor([[1, 2],[3,4]])
    b = torch.tensor([[5,6,7],[8,9,10]])
    result = torch.matmul(a, b)
    print(result)

结果展示为：

(PyTorch) D:\Code Project>D:/Anaconda/envs/PyTorch/python.exe "d:/Code Project/demo.py"
    tensor([[21, 24, 27],
            [47, 54, 61]])

1.  若a为1D张量，b为2D张量，torch.matmul函数：

首先，在1D张量a的前面插入一个长度为1的新维度变成2D张量；

然后，在满足第一个2D张量（矩阵）的列数（column）和第二个2D张量（矩阵）的行数（row）相同的条件下，两个2D张量矩阵乘积，否则会抛出错误；

最后，将矩阵乘积结果中长度为1的维度（前面插入的长度为1的新维度）删除作为最终torch.matmul函数返回的结果。

import torch
    a = torch.tensor([1, 2])
    b = torch.tensor([[5, 6, 7],[8, 9, 10]])
    result = torch.matmul(a, b)
    print(result, result.shape)

结果为：

(PyTorch) D:\Code Project>D:/Anaconda/envs/PyTorch/python.exe "d:/Code Project/demo.py"
    tensor([21, 24, 27]) torch.Size([3])

简单来说，先将1D张量a扩展成2D张量，满足矩阵乘积的条件下，将两个2D张量进行矩阵乘积的运算。  
![在这里插入图片描述][ebbd63fb5a734e29b9f02d2abd264ac5.png]  
此时得到的形状是（1，3）的2D张量，最后将前面插入长度为1的新维度删除即为最终torch.matmul(a, b)函数返回的结果。

1.  若a为2D张量，b为1D张量，torch.matmul函数：

首先，在1D张量b的后面插入一个长度为1的新维度变成2D张量；

然后，在满足第一个2D张量（矩阵）的列数（column）和第二个2D张量（矩阵）的行数（row）相同的条件下，两个2D张量矩阵乘积，否则会抛出错误；

最后，将矩阵乘积结果中长度为1的维度（后面插入的长度为1的新维度）删除作为最终torch.matmul函数返回的结果；

import torch
    b = torch.tensor([1, 2, 3])
    a = torch.tensor([[5, 6, 7],[8, 9, 10]])
    result = torch.matmul(a, b)
    print(result, result.shape)

结果展示为：

(PyTorch) D:\Code Project>D:/Anaconda/envs/PyTorch/python.exe "d:/Code Project/demo.py"
    tensor([38, 56]) torch.Size([2])

其中：

38 = 1*5+2*6+3\*7

56 = 1*8+2*9+3\*10

[706567ad70bf4b8f8685178691ebac0c.png]: https://img-blog.csdnimg.cn/706567ad70bf4b8f8685178691ebac0c.png
[ebbd63fb5a734e29b9f02d2abd264ac5.png]: https://img-blog.csdnimg.cn/ebbd63fb5a734e29b9f02d2abd264ac5.png