pytorch实现CBAM

﹏ヽ暗。殇╰゛Y 2024-03-26 08:37 42阅读 0赞

CBAM (Convolutional Block Attention Module) 是一种用于计算卷积层中特征图的注意力权重的方法。在 PyTorch 中实现 CBAM 需要使用自定义层。

首先，需要计算特征图的通道注意力权重和空间注意力权重。通道注意力权重可以使用全连接层和 softmax 函数计算，空间注意力权重可以使用卷积层和 sigmoid 函数计算。

然后，将计算出的两种注意力权重乘在特征图上，得到最终的输出特征图。

示例代码如下：

\`\`\`python import torch import torch.nn as nn

class CBAM(nn.Module): def **init**(self, in\_channels, reduction\_ratio=16): super(CBAM, self).**init**() self.avg\_pool = nn.AdaptiveAvgPool2d(1) self.max\_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Linear(in\_channels, in\_channels // reduction\_ratio) self.fc2 = nn.Linear(in\_channels // reduction\_ratio, in\_channels) self.conv\_after\_concat = nn.Conv2d(in\_channels \* 2, in\_channels, kernel\_size=1, stride=1)

def forward(self, x):
        # calculate channel attention weight
        avg_out = self.avg_pool(x)
        avg_out = self.fc1(avg_out.view(avg_out.size(0), -1))
        avg_out = nn.ReLU()(avg_out)
        avg_out = self.fc2(avg_out)
        avg_out = nn.Sigmoid()(avg_out)
        
        max_out = self.max_pool(x)
        max_out = self.fc1(max_out.view(max_out.size(0), -1))
        max_out = nn.ReLU()(max_out)
        max_out = self.fc2(max_out)
        max_out = nn.Sigmoid()(max_out)
        
        # calculate spatial attention weight
        x = self.conv_after_con

发表评论取消回复

表情：

评论列表（有 0 条评论，42人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch实现CBAM

CBAM (Convolutional Block Attention Module) 是一种用于计算卷积层中特征图的注意力权重的方法。在 PyTorch 中实现 CBAM 需

﹏ヽ暗。殇╰゛Y/ 2024年03月26日 08:37/ 0 赞/ 43 阅读

相关 CBAM: Convolutional Block Attention Module

CBAM: Convolutional Block Attention Module 1. 摘要 > 作者提出了一个简单但有效的注意力模块 CBAM，给定一个中间特

深碍√TFBOYSˉ_/ 2023年08月17日 16:01/ 0 赞/ 64 阅读

相关 CBAM CBAM: Convolutional Block Attention Module

\https://blog.csdn.net/u011699990/article/details/81276851?utm\_medium=distribute.pc\_re

红太狼/ 2022年11月28日 10:47/ 0 赞/ 111 阅读

相关 CBAM

论文：[https://arxiv.org/pdf/1807.06521.pdf][https_arxiv.org_pdf_1807.06521.pdf] 1 CBAM

朴灿烈づ我的快乐病毒、/ 2022年11月27日 00:45/ 0 赞/ 78 阅读

相关 pytorch实现unet

unet是非常经典的图像分割的网络，因网络结构形似字母U而著称实现起来不是很复杂，代码如下： -- coding: utf-8 -- import to

我会带着你远行/ 2022年10月28日 12:23/ 0 赞/ 276 阅读

相关 StemBlock pytorch实现

本文mark一下peleeent和yolov5中的实现： import time from collections import OrderedDict

柔光的暖阳◎/ 2022年10月10日 06:12/ 0 赞/ 181 阅读

相关 LSTM-CNN-CBAM模型

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhp

本是古典何须时尚/ 2022年10月08日 14:25/ 0 赞/ 169 阅读

相关 CBAM: Convolutional Block Attention Module

摘要我们提出卷积块注意模块(CBAM)，一个简单而有效的前馈卷积神经网络的注意模块。给定一个中间特征图，我们的模块沿着两个独立的维度(通道和空间)依次推断注意力权重

- 日理万妓/ 2022年10月08日 11:29/ 0 赞/ 139 阅读

相关 CBAM: Convolutional Block Attention Module

CBAM: Convolutional Block Attention Module 文章目录 CBAM: Convolutional Block

刺骨的言语ヽ痛彻心扉/ 2022年09月16日 01:25/ 0 赞/ 76 阅读

相关 pytorch 实现LSTM

\\ Pytorch基础知识点整理 \\ 梯度下降： __coding:utf-8__ from math import pi impo

客官°小女子只卖身不卖艺/ 2022年03月28日 09:44/ 0 赞/ 264 阅读