算法工程师面试之Batch Normalization和 Layer Normalization

0.总结

Batch Normalization 和 Layer Normalization的由来、各自优缺点
二者都志在解决什么问题？ => 加速模型收敛
文章来源：CSDN@LawsonAbs

1.`Batch Normalization`

1.1 背景

在使用梯度下降的时候，我们经常会采取one-example SGD,full-batch SGD,mini-batch SGD的方法来更新参数。但是这些操作会遇到一个问题：随着网络深度的增加，梯度的变化越来越不明显【也就是梯度消失】，梯度消失会让训练一个模型变得十分困难，那么该怎么解决这个问题呢?
有研究人员发现，模型在输入数据的前几层时训练效果还是

有点儿类似于CV中的白化操作【在把数据输入到模型时，进行一系列的处理操作 => 将数据变化成一个标准正态分布】，目的是为了加速收敛。
由这个想法再扩展一点点，那就是如果不仅仅是在输入层把输入数据处理一下，甚至于在每层的数据输入时都处理一下，那么是不是会有更好的效果？基于这个思想，BN出世了。

1.2 特点

BN相当于将神经网络的每一层的输入都做了一次白化
BN 的归一化过程是以batch为单位的。

1.2 真正原理

在BN算法提出之后，很多人自认为这个算法的有效性就如论文中所述的那样，但事实并非如此，就有学者证明BN有效的原理并不是如原论文所述的那样。这里我也不班门弄斧，有兴趣的同学可以自行查看。

1.3 细节

BatchNorm 就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。那么问题来了：

1.3.1 是不同层之间保持相同的分布？还是对于同层之间不同的batch 保持性相同的分布？

1.3.2 为什么深度神经网络随着网络深度加深，训练起来越困难？收敛越来越慢？

Relu激活函数
residual network 等等
都是为了解决上面这个问题提出的

BN 算法是存在问题的，如果再按照变换操作，那么就会变成之前的样子。
γ \gamma γ

1.3.3 对谁做BN？

Batch Normalization is about normalizing the hidden units activation values so that the distribution of these activations remains same during training.

对每个隐层神经元的激活值做BN，它位于 x = w u + B x=wu+B x=wu+B激活值获得之后，非线性函数变换之前。
【首先得清楚深度神经网络的结构是什么样子的？然后才能在这个基础上得到一个清晰的认识】