Batch Normalization

" class="reference-link">

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

tensorflow 2.0 画出model网络模型的拓扑图

tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）

TensorBoard视觉化网络每层权重分布、视觉化网络层结构

MSE(均方误差)、MAE(平均绝对误差)

from_logits

CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)

对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理

损失函数loss、指标函数metrics

激活函数 Sigmoid、Tanh、ReLU、Softmax

Batch Normalization

反向传播、梯度下降、学习率、优化器optimizers（GD、SGD、Momentum、AdaGrad、Adam）

权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化

图像增强(IA)、数据预处理

混淆矩阵tf.math.confusion_matrix

使用预训练网络训练的两种方式：Keras Applications、TensorFlow Hub

1.Batch Normalization 作用
    强制让每一层的输出分布变得均匀，用于对每一个batch批次数据进行计算mean平均值和std标准差，并最后累加起来，
    作为对网络每一层的输出都做标准化，还有额外对输出进行缩放(Scale)、偏移(Shift)的参数。
    Batch Normalization使得可以同时使用较大的学习率进行训练，不仅可以时的网络收敛速度加快，更一定程度上减少梯度消失/梯度爆炸的出现，
    并可实现减少使用Dropout/正则化Regularization(L1/L2)的同时也同样达到避免过拟合的问题，
    并且Batch Normalization也不需要依赖权重初始化方法。
2.Batch Normalization 使用
    layers.BatchNormalization()：
        一般配置在卷积层layers.Conv2D和激活函数之间，用于作为对卷积运算输出进行标准化之后使得输出分布变得均匀，
        然后再输入到激活函数中，使得激活函数的输出分布也同样变得比较均匀，从而达到降低激活函数中出现梯度消失/梯度爆炸的问题。