解读 pytorch对resnet的官方实现(转)

素颜马尾好姑娘i 2023-07-08 15:25 2阅读 0赞

#  #

地址：[https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py][https_github.com_pytorch_vision_blob_master_torchvision_models_resnet.py]

贴代码

首先导入torch.nn，pytorch的网络模块多在此内，然后导入model\_zoo，作用是根据下面的model\_urls里的地址加载网络预训练权重。后面还对conv2d进行了一次封装，个人觉得有些多余。

这里定义了最重要的残差模块，这个是基础版，由两个叠加的3x3卷积组成，与之相对应的bottleneck模块在下面定义

与基础版的不同之处只在于这里是三个卷积，分别是1x1,3x3,1x1,分别用来压缩维度，卷积处理，恢复维度，inplane是输入的通道数，plane是输出的通道数，expansion是对输出通道数的倍乘，在basic中expansion是1，此时完全忽略expansion这个东东，输出的通道数就是plane，然而bottleneck就是不走寻常路，它的任务就是要对通道数进行压缩，再放大，于是，plane不再代表输出的通道数，而是block内部压缩后的通道数，输出通道数变为plane\*expansion。接着就是网络主体了。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 </td> 
 <td> <code>class</code>&nbsp;<code>ResNet(nn.Module):</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>__init__(</code><code>self</code><code>, block, layers, num_classes</code><code>=</code><code>1000</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.inplanes&nbsp;</code><code>=</code>&nbsp;<code>64</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>super</code><code>(ResNet,&nbsp;</code><code>self</code><code>).__init__()</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.conv1&nbsp;</code><code>=</code>&nbsp;<code>nn.Conv2d(</code><code>3</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>7</code><code>, stride</code><code>=</code><code>2</code><code>, padding</code><code>=</code><code>3</code><code>,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.bn1&nbsp;</code><code>=</code>&nbsp;<code>nn.BatchNorm2d(</code><code>64</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.relu&nbsp;</code><code>=</code>&nbsp;<code>nn.ReLU(inplace</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.maxpool&nbsp;</code><code>=</code>&nbsp;<code>nn.MaxPool2d(kernel_size</code><code>=</code><code>3</code><code>, stride</code><code>=</code><code>2</code><code>, padding</code><code>=</code><code>1</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.layer1&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>._make_layer(block,&nbsp;</code><code>64</code><code>, layers[</code><code>0</code><code>])</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.layer2&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>._make_layer(block,&nbsp;</code><code>128</code><code>, layers[</code><code>1</code><code>], stride</code><code>=</code><code>2</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.layer3&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>._make_layer(block,&nbsp;</code><code>256</code><code>, layers[</code><code>2</code><code>], stride</code><code>=</code><code>2</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.layer4&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>._make_layer(block,&nbsp;</code><code>512</code><code>, layers[</code><code>3</code><code>], stride</code><code>=</code><code>2</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.avgpool&nbsp;</code><code>=</code>&nbsp;<code>nn.AvgPool2d(</code><code>7</code><code>, stride</code><code>=</code><code>1</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.fc&nbsp;</code><code>=</code>&nbsp;<code>nn.Linear(</code><code>512</code>&nbsp;<code>*</code>&nbsp;<code>block.expansion, num_classes)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>m&nbsp;</code><code>in</code>&nbsp;<code>self</code><code>.modules():</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>isinstance</code><code>(m, nn.Conv2d):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>nn.init.kaiming_normal_(m.weight, mode</code><code>=</code><code>'fan_out'</code><code>, nonlinearity</code><code>=</code><code>'relu'</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>elif</code>&nbsp;<code>isinstance</code><code>(m, nn.BatchNorm2d):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>nn.init.constant_(m.weight,&nbsp;</code><code>1</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>nn.init.constant_(m.bias,&nbsp;</code><code>0</code><code>)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>_make_layer(</code><code>self</code><code>, block, planes, blocks, stride</code><code>=</code><code>1</code><code>):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>downsample&nbsp;</code><code>=</code>&nbsp;<code>None</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code>&nbsp;<code>stride !</code><code>=</code>&nbsp;<code>1</code>&nbsp;<code>or</code>&nbsp;<code>self</code><code>.inplanes !</code><code>=</code>&nbsp;<code>planes&nbsp;</code><code>*</code>&nbsp;<code>block.expansion:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>downsample&nbsp;</code><code>=</code>&nbsp;<code>nn.Sequential(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>nn.Conv2d(</code><code>self</code><code>.inplanes, planes&nbsp;</code><code>*</code>&nbsp;<code>block.expansion,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>kernel_size</code><code>=</code><code>1</code><code>, stride</code><code>=</code><code>stride, bias</code><code>=</code><code>False</code><code>),</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>nn.BatchNorm2d(planes&nbsp;</code><code>*</code>&nbsp;<code>block.expansion),</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>layers&nbsp;</code><code>=</code>&nbsp;<code>[]</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>layers.append(block(</code><code>self</code><code>.inplanes, planes, stride, downsample))</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>self</code><code>.inplanes&nbsp;</code><code>=</code>&nbsp;<code>planes&nbsp;</code><code>*</code>&nbsp;<code>block.expansion</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>for</code>&nbsp;<code>i&nbsp;</code><code>in</code>&nbsp;<code>range</code><code>(</code><code>1</code><code>, blocks):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>layers.append(block(</code><code>self</code><code>.inplanes, planes))</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>nn.Sequential(</code><code>*</code><code>layers)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>def</code>&nbsp;<code>forward(</code><code>self</code><code>, x):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.conv1(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.bn1(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.relu(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.maxpool(x)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.layer1(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.layer2(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.layer3(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.layer4(x)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.avgpool(x)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>x.view(x.size(</code><code>0</code><code>),&nbsp;</code><code>-</code><code>1</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>x&nbsp;</code><code>=</code>&nbsp;<code>self</code><code>.fc(x)</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>x</code> </td> 
 </tr> 
 </tbody> 
</table>

resnet共有五个阶段，其中第一阶段为一个7x7的卷积处理，stride为2，然后经过池化处理，此时特征图的尺寸已成为输入的1/4，接下来是四个阶段，也就是代码中的layer1,layer2,layer3,layer4。这里用make\_layer函数产生四个layer，需要用户输入每个layer的block数目（即layers列表)以及采用的block类型（基础版还是bottleneck版）

接下来就是resnet18等几个模型的类定义

这里比较简单，就是调用上面ResNet对象，输入block类型和block数目，这里可以看到resnet18和resnet34用的是基础版block，因为此时网络还不深，不太需要考虑模型的效率，而当网络加深到52，101，152层时则有必要引入bottleneck结构，方便模型的存储和计算。另外是否加载预训练权重是可选的，具体就是调用model\_zoo加载指定链接地址的序列化文件，反序列化为权重文件。

最后，不妨看一下resnet18和resnet50的网络结构，主要是为了看一下basic和bottleneck的区别。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 </td> 
 <td> <code>ResNet(</code> <code>&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>3</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>7</code><code>,&nbsp;</code><code>7</code><code>), stride</code><code>=</code><code>(</code><code>2</code><code>,&nbsp;</code><code>2</code><code>), padding</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;</code><code>(maxpool): MaxPool2d(kernel_size</code><code>=</code><code>3</code><code>, stride</code><code>=</code><code>2</code><code>, padding</code><code>=</code><code>1</code><code>, dilation</code><code>=</code><code>1</code><code>, ceil_mode</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(layer1): Sequential(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>0</code><code>): BasicBlock(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>1</code><code>): BasicBlock(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(layer2): Sequential(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>0</code><code>): BasicBlock(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>128</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>2</code><code>,&nbsp;</code><code>2</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>128</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>128</code><code>,&nbsp;</code><code>128</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>128</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(downsample): Sequential(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>0</code><code>): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>128</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>2</code><code>,&nbsp;</code><code>2</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>1</code><code>): BatchNorm2d(</code><code>128</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>1</code><code>): BasicBlock(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>128</code><code>,&nbsp;</code><code>128</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>128</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>128</code><code>,&nbsp;</code><code>128</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>128</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

这是resnet18,只贴出了前两层，其他层类似，第一层是没有downsample的，因为输入与输出通道数一样，其余层都有downsample。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 </td> 
 <td> <code>ResNet(</code> <code>&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>3</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>7</code><code>,&nbsp;</code><code>7</code><code>), stride</code><code>=</code><code>(</code><code>2</code><code>,&nbsp;</code><code>2</code><code>), padding</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;</code><code>(maxpool): MaxPool2d(kernel_size</code><code>=</code><code>3</code><code>, stride</code><code>=</code><code>2</code><code>, padding</code><code>=</code><code>1</code><code>, dilation</code><code>=</code><code>1</code><code>, ceil_mode</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;</code><code>(layer1): Sequential(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>0</code><code>): Bottleneck(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv3): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>256</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn3): BatchNorm2d(</code><code>256</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(downsample): Sequential(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>0</code><code>): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>256</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>1</code><code>): BatchNorm2d(</code><code>256</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>1</code><code>): Bottleneck(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>256</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv3): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>256</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn3): BatchNorm2d(</code><code>256</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(</code><code>2</code><code>): Bottleneck(</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv1): Conv2d(</code><code>256</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn1): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv2): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>64</code><code>, kernel_size</code><code>=</code><code>(</code><code>3</code><code>,&nbsp;</code><code>3</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), padding</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn2): BatchNorm2d(</code><code>64</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(conv3): Conv2d(</code><code>64</code><code>,&nbsp;</code><code>256</code><code>, kernel_size</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), stride</code><code>=</code><code>(</code><code>1</code><code>,&nbsp;</code><code>1</code><code>), bias</code><code>=</code><code>False</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(bn3): BatchNorm2d(</code><code>256</code><code>, eps</code><code>=</code><code>1e</code><code>-</code><code>05</code><code>, momentum</code><code>=</code><code>0.1</code><code>, affine</code><code>=</code><code>True</code><code>, track_running_stats</code><code>=</code><code>True</code><code>)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>(relu): ReLU(inplace)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>)</code> <code>&nbsp;&nbsp;</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

这是resnet50，只贴出了第一层，每一层都有downsample，因为输出与输入通道数都不一样。可以看在resnet类中输入的64，128，256，512，都不是最终的输出通道数，只是block内部压缩的通道数，实际输出通道数要乘以expansion，此处为4。

[https_github.com_pytorch_vision_blob_master_torchvision_models_resnet.py]: https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py