Batch Normalization详解

矫情吗；* 2022-10-31 05:28 77阅读 0赞

参考文章

  • BN详解
  • BN在具体案例中的使用

BN的作用

使用BN可以获得如下好处：

  • 可以使用更大的学习率，训练过程更加稳定，极大提高了训练速度。
  • 可以将bias置为0，因为Batch Normalization的Standardization过程会移除直流分量，所以不再需要bias。
  • 对权重初始化不再敏感，通常权重采样自0均值某方差的高斯分布，以往对高斯分布的方差设置十分重要，有了Batch Normalization后，对与同一个输出节点相连的权重进行放缩，其标准差σ也会放缩同样的倍数，相除抵消。
    对权重的尺度不再敏感，理由同上，尺度统一由γ参数控制，在训练中决定。
  • 深层网络可以使用sigmoid和tanh了，理由同上，BN抑制了梯度消失。
  • Batch Normalization具有某种正则作用，不需要太依赖dropout，减少过拟合

BN层放在relu前还是后？

原paper建议将BN层放置在ReLU前，因为ReLU激活函数的输出非负，不能近似为高斯分布。

发表评论

表情：
评论列表 （有 0 条评论，77人围观）

还没有评论，来说两句吧...

相关阅读