Caffe中BN（BatchNorm ) 层参数：均值、方差和滑动系数说明

╰半夏微凉° 2022-03-19 01:18 775阅读 0赞

Caffe 的 BN（BatchNorm ) 层共有三个参数参数：均值、方差和滑动系数，BN层结构如下：

layer {
        bottom: "res2a_branch2b"
        top: "res2a_branch2b"
        name: "bn2a_branch2b"
        type: "BatchNorm"
        batch_norm_param {
            use_global_stats: false       //训练阶段和测试阶段不同，
        }
     include: { phase: TRAIN }
    
    }
    layer {
        bottom: "res2a_branch2b"
        top: "res2a_branch2b"
        name: "bn2a_branch2b"
        type: "BatchNorm"
        batch_norm_param {
            use_global_stats: true
        }
     include: { phase: TEST }
    
    }

*  use\_global\_stats：如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。该参数缺省的时候，如果

是测试阶段则等价为真，如果是训练阶段则等价为假。

*  moving\_average\_fraction：滑动平均的衰减系数，默认为0.999

*  eps：分母附加值，防止除以方差时出现除0操作，默认为1e-5（不同框架采用的默认值不一样），

在Caffe中使用Batch Normalization需要**注意以下两点**：

1. 要配合Scale层一起使用，具体参见http://blog.csdn.net/sunbaigui/article/details/50807398以及Residual Network

2. 训练的时候，将BN层的use\_global\_stats设置为false，然后测试的时候将use\_global\_stats设置为true，不然训练的时候会报“NAN”或者模型不收敛。

## **—————————— 可选参数 ——————————** ##

可选参数定义在 src\\caffe\\proto\\caffe.proto 中，共有3个：

> `message BatchNormParameter {`
> 
> `// 如果为真，则使用保存的均值和方差，否则采用滑动平均计算新的均值和方差。`
> 
> `// 该参数缺省的时候，如果是测试阶段则等价为真，如果是训练阶段则等价为假。`
> 
> `optional bool use_global_stats = 1;`
> 
>  
> 
> `// 滑动平均的衰减系数，默认为0.999`
> 
> `optional float moving_average_fraction = 2 [default = .999];`
> 
>  
> 
> `// 分母附加值，防止除以方差时出现除0操作，默认为1e-5`
> 
> `optional float eps = 3 [default = 1e-5];`
> 
> `}`

## **—————————— 前向传播 ——————————** ##

**说前向传播之前，先注意几点：**

### **(1)均值和方差的个数：** ###

> `// 如果bottom是1维的，则均值和方差个数为1，否则等于通道数`
> 
> `if (bottom[0]->num_axes() == 1)`
> 
> `channels_ = 1;`
> 
> `else`
> 
> `channels_ = bottom[0]->shape(1);`

### **(2)均值和方差的更新** ###

均值和方差采用的是滑动平均的更新方式。因此，BN层共存储了3个数值：均值滑动和、方差滑动和、滑动系数和。

### **(3)均值和方差的使用** ###

caffe到目前仍然没有实现和论文原文保持一致的BN层，即没有 参数，因此更新公式就比较简单了。

参考链接：[http://blog.csdn.net/shuzfan/article/details/52729424][http_blog.csdn.net_shuzfan_article_details_52729424]

[http_blog.csdn.net_shuzfan_article_details_52729424]: http://blog.csdn.net/shuzfan/article/details/52729424