归一化：Layer Normalization、Batch Normalization

柔光的暖阳◎ 2023-10-01 19:37 41阅读 0赞

Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为 1 的数据。我们在把数据送入激活函数之前进行 normalization（归一化），因为我们不希望输入数据落在激活函数的饱和区。同时，使得训练数据在训练过程中尽可能的保持和测试数据拥有相同的分布。

一方面，这样可以减少数据的偏差，避免在训练过程中出现梯度爆炸或是梯度消失的问题；
另一方面，这也是确保模型测试性能的重要假设之一。

二者提出的目的都是为了加快模型收敛，减少训练时间。
在这里插入图片描述

LN：Layer Normalization，LN是“横”着来的，对一个样本，不同的神经元neuron间做归一化。
BN：Batch Normalization，BN是“竖”着来的，各个维度做归一化，所以与batch size有关系。

一、Batch Normalization（BN）

Batch normalization 论文

Batch Normalization(BN)是深度学习中非常好用的一个算法，加入BN层的网络往往更加稳定并且BN还起到了一定的正则化的作用。

在提出BN的文章中 Bat

发表评论取消回复

表情：

评论列表（有 0 条评论，41人围观）

还没有评论，来说两句吧...

相关阅读

相关机器学习的特征归一化Normalization

文章目录为什么需要做归一化？两种常用的归一化方法批归⼀化（Batch Normalization）局部响应归⼀化批归

电玩女神/ 2023年10月04日 22:17/ 0 赞/ 79 阅读

相关归一化：Layer Normalization、Batch Normalization

Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为 1 的数据。我们在把数据送入激活函数之前进行 normalization

柔光的暖阳◎/ 2023年10月01日 19:37/ 0 赞/ 42 阅读

相关 Unity 把向量归一化的normalized和Normalized

场景：只需要拿到向量的方向，不需要这个向量的距离时 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

小鱼儿/ 2023年01月15日 08:28/ 0 赞/ 222 阅读

相关 opencv 归一化函数 normalize

方法:NORM\_MINMAX Mat src=new Mat(new Size(5,1),CvType.CV_32FC1); for(int i=

r囧r小猫/ 2022年10月29日 01:50/ 0 赞/ 224 阅读

相关 BN（Batch Normalization）：批量归一化

现在的神经网络通常都特别深，在输出层像输入层传播导数的过程中，梯度很容易被激活函数或是权重以指数级的规模缩小或放大，从而产生“梯度消失”或“梯度爆炸”的现象，造成训练速度下降和

港控/mmm°/ 2022年10月09日 06:27/ 0 赞/ 256 阅读

相关数据标准化/归一化normalization

http://[blog.csdn.net/pipisorry/article/details/52247379][blog.csdn.net_pipisorry_articl

超、凢脫俗/ 2022年09月25日 10:16/ 0 赞/ 253 阅读

相关数据标准化/归一化normalization

这里主要讲连续型特征归一化的常用方法。离散参考\[[数据预处理：独热编码（One-Hot Encoding）][One-Hot Encoding]\]。基础知识参考：

妖狐艹你老母/ 2022年06月11日 01:43/ 0 赞/ 494 阅读

相关机器学习之归一化（Normalization）

一、定义数据标准化（Normalization），也称为归一化，归一化就是将你需要处理的数据在通过某种算法经过处理后，限制将其限定在你需要的一定的范围内。数据标准化处理

╰+哭是因爲堅強的太久メ/ 2022年06月07日 06:18/ 0 赞/ 344 阅读

相关数据标准化/归一化normalization

http://[blog.csdn.net/pipisorry/article/details/52247379][blog.csdn.net_pipisorry_articl

以你之姓@/ 2022年05月20日 01:15/ 0 赞/ 835 阅读

相关深度学习：批归一化和层归一化Batch Normalization、Layer Normalization

深度神经网络模型训练难，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 自 2015 年由Google 提出之

分手后的思念是犯贱/ 2021年12月09日 19:37/ 0 赞/ 1593 阅读