Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d-蒲公英云

Pytorch：BatchNorm1d、BatchNorm2d、BatchNorm3d

网络训练时和网络评估时，BatchNorm模块的计算方式不同。如果一个网络里包含了BatchNorm，则在训练时需要先调用train()，使网络里的BatchNorm模块的training=True（默认是True），在网络评估时，需要先调用eval()使网络的training=False。

一、BatchNorm1d

torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, 
                                   affine=True, track_running_stats=True)

num_features
- 输入维度是(N, C, L)时，num_features应该取C；这里N是batch size，C是数据的channel，L是数据长度。
- 输入维度是(N, L)时，num_features应该取L；这里N是batch size，L是数据长度，这时可以认为每条数据只有一个channel，省略了C
eps
对输入数据进行归一化时加在分母上，防止除零，详情见下文。
momentum
更新全局均值running_mean和方差running_var时使用该值进行平滑，详情见下文。
affine
设为True时，BatchNorm层才会学习参数\gamma和\beta，否则不包含这两个变量，变量名是weight和bias，详情见下文。
track_running_stats
设为True时，BatchNorm层会统计全局均值running_mean和方差running_var，详情见下文。