pytorch---仿射变换

秒速五厘米 2021-11-05 08:12 467阅读 0赞

一、仿射变换

图片的旋转、平移、缩放等可以看做一个像素的重采样过程。将原图的像素映射到目标图像的对应位置上，可以

![\\begin\{bmatrix\} x\\\\ y\\\\ 1 \\end\{bmatrix\} = \\begin\{bmatrix\} \{x\}^\{s\} & \{y\}^\{s\} & 1 \\end\{bmatrix\} \* \\begin\{bmatrix\} a & b &0 \\\\ c & d & 0\\\\ e &f & 1 \\end\{bmatrix\}][begin_bmatrix_ x_ y_ 1 _end_bmatrix_ _ _begin_bmatrix_ _x_s_ _ _y_s_ _ 1 _end_bmatrix_ _ _begin_bmatrix_ a _ b _0 _ c _ d _ 0_ e _f _ 1 _end_bmatrix]

其中![\{x\}^\{s\} ,\{y\}^\{s\}][x_s_ _y_s]为原图的坐标，x,y为目标图的坐标，该变换称为前向变换，遍历原图像素，求出改像素在目标图像的对应位置。

前向变换虽然符合逻辑，但是却使得目标图像上很多位置没有对应的像素。因此一种更合理的方式是使用后向变换，即从目标图像出发，遍历目标图像的每个位置，求出每个位置在原图中的对应像素。此时，公式变为：

![\\begin\{bmatrix\} x^\{s\}\\\\ y^\{s\}\\\\ 1 \\end\{bmatrix\} = \\begin\{bmatrix\} \{x\} & \{y\} & 1 \\end\{bmatrix\} \*\{ \\begin\{bmatrix\} a & b &0 \\\\ c & d & 0\\\\ e &f & 1 \\end\{bmatrix\}\}^\{-1\}][begin_bmatrix_ x_s_ y_s_ 1 _end_bmatrix_ _ _begin_bmatrix_ _x_ _ _y_ _ 1 _end_bmatrix_ _ _begin_bmatrix_ a _ b _0 _ c _ d _ 0_ e _f _ 1 _end_bmatrix_-1]

二、pytorch中的仿射变换

pytorch中就使用的为后向变换。主要涉及两个函数

*      F.affine_grid(theta,size)
 *      F.grid_sample(input, grid, mode='bilinear', padding_mode='zeros')

1.F.affine\_grid根据输入的变换矩阵theta和尺寸利用后向变换求出目标图像每个像素在原图像的位置。

theta是一个\[N,2,3\]的tensor，N为batchsize大小；2行3列共六个参数，为affine的变换矩阵，第一行为x坐标，即横坐标的变换参数，前两个为权重，最后一个为偏移，值得注意的是偏移值是一个相对于图像宽归一化的参数a,c,e（并非像素值），例如0.5表示左移半个图像的宽度。第二行表示y坐标的变换参数(b,d,f)。

size是一个tuple，为(N,C,H,W)

output为\[N,h,w,2\]的Tensor，表示在原图中的对应位置。

2. F.grid\_sample()为重采样函数，根据输入的原图和位置对应关系矩阵（F.affine\_grid的输出）对原图像素进行重采样，构成变换后的图像。由于重采样过程中，在原图中的位置会出现小数，因此需要对原图进行插值，插值方式为可选参数，默认双线性插值。

下面我们来看一个例子：

将图像顺时针旋转45度，注意pytorch使用的为后向变换。

对于前向变换来说，顺时针旋转45度的变换矩阵为![\\begin\{bmatrix\} cos\\theta &sin \\theta & 0\\\\ -sin \\theta& cos\\theta & 0 \\\\ 0& 0 & 1\\end\{bmatrix\}][begin_bmatrix_ cos_theta _sin _theta _ 0_ -sin _theta_ cos_theta _ 0 _ 0_ 0 _ 1_end_bmatrix],后向变换应该对其求逆。但是我们可以换一个角度理解，原图到目标图需要顺时针旋转45度，那么目标图到原图不就是逆时针旋转45度吗，因此直接取![\\theta = -45][theta _ -45]带入原公式计算即可

代码如下：

import torch
    import cv2
    import torch.nn.functional as F
    import matplotlib.pyplot as plt
    
    
    theta = torch.Tensor([[0.707,0.707,0],[-0.707,0.707,0]]).unsqueeze(dim=0)
    img = cv2.imread('achor.png',cv2.IMREAD_GRAYSCALE)
    plt.subplot(2,1,1)
    plt.imshow(img,cmap='gray')
    plt.axis('off')
    img = torch.Tensor(img).unsqueeze(0).unsqueeze(0)
    grid =  F.affine_grid(theta,size=img.shape)
    output = F.grid_sample(img,grid)[0].numpy().transpose(1,2,0).squeeze()
    plt.subplot(2,1,2)
    plt.imshow(output,cmap='gray')
    plt.axis('off')
    plt.show()

结果如下（pytorch中以图像中心点为原点，与一般的左上角为原点不太一样）：

![2019080821035286.png][]

[begin_bmatrix_ x_ y_ 1 _end_bmatrix_ _ _begin_bmatrix_ _x_s_ _ _y_s_ _ 1 _end_bmatrix_ _ _begin_bmatrix_ a _ b _0 _ c _ d _ 0_ e _f _ 1 _end_bmatrix]: https://private.codecogs.com/gif.latex?%5Cbegin%7Bbmatrix%7D%20x%5C%5C%20y%5C%5C%201%20%5Cend%7Bbmatrix%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%20%7Bx%7D%5E%7Bs%7D%20%26%20%7By%7D%5E%7Bs%7D%20%26%201%20%5Cend%7Bbmatrix%7D%20*%20%5Cbegin%7Bbmatrix%7D%20a%20%26%20b%20%260%20%5C%5C%20c%20%26%20d%20%26%200%5C%5C%20e%20%26f%20%26%201%20%5Cend%7Bbmatrix%7D
[x_s_ _y_s]: https://private.codecogs.com/gif.latex?%7Bx%7D%5E%7Bs%7D%20%2C%7By%7D%5E%7Bs%7D
[begin_bmatrix_ x_s_ y_s_ 1 _end_bmatrix_ _ _begin_bmatrix_ _x_ _ _y_ _ 1 _end_bmatrix_ _ _begin_bmatrix_ a _ b _0 _ c _ d _ 0_ e _f _ 1 _end_bmatrix_-1]: https://private.codecogs.com/gif.latex?%5Cbegin%7Bbmatrix%7D%20x%5E%7Bs%7D%5C%5C%20y%5E%7Bs%7D%5C%5C%201%20%5Cend%7Bbmatrix%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%20%7Bx%7D%20%26%20%7By%7D%20%26%201%20%5Cend%7Bbmatrix%7D%20*%7B%20%5Cbegin%7Bbmatrix%7D%20a%20%26%20b%20%260%20%5C%5C%20c%20%26%20d%20%26%200%5C%5C%20e%20%26f%20%26%201%20%5Cend%7Bbmatrix%7D%7D%5E%7B-1%7D
[begin_bmatrix_ cos_theta _sin _theta _ 0_ -sin _theta_ cos_theta _ 0 _ 0_ 0 _ 1_end_bmatrix]: https://private.codecogs.com/gif.latex?%5Cbegin%7Bbmatrix%7D%20cos%5Ctheta%20%26sin%20%5Ctheta%20%26%200%5C%5C%20-sin%20%5Ctheta%26%20cos%5Ctheta%20%26%200%20%5C%5C%200%26%200%20%26%201%5Cend%7Bbmatrix%7D
[theta _ -45]: https://private.codecogs.com/gif.latex?%5Ctheta%20%3D%20-45
[2019080821035286.png]: /images/20211104/255915ec59c0468db21a05f4172acb00.png