如何理解归一化（Normalization）对于神经网络（深度学习）的帮助？

刺骨的言语ヽ痛彻心扉 2023-06-04 02:50 5阅读 0赞

# 如何理解归一化（Normalization）对于神经网络（深度学习）的帮助？ #

作者：知乎用户  
链接：https://www.zhihu.com/question/326034346/answer/730051338  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

回顾一下围绕normalization的一些工作（由最新到最旧的BatchNorm）：

2019，**Weight Standardization**（没有发表，但是有大佬Alan Yuille加持）

> Weight Standardization 2019

WS叫权重标准化，建立在**BN可以平滑损失landscape**/**BN可以平滑激活值**这个观点上，进一步提升GN的效果匹配到BN的水平上，针对GN在micro-batch训练时性能不及BN。WS的原理是：**减小损失和梯度的Lipschitz常数**。

2019，**Dynamic Normalization**

> Differentiable Dynamic Normalization for Learning Deep Representation ICML 2019

跟SN类似，加入了GN。

2019，**Switchable Normalization**

> Differentiable Learning-to-Normalize via Switchable Normalization ICLR 2019

SN是为每一层选择/学习适当的归一化层（IN、LN和BN），在ImageNet，COCO，CityScapes，ADE20K和Kinetics等数据集上进行实验，应用涵盖图像分类、物体检测、语义分割和视频分类。

2019，**Iterative Normalization**（CVPR）

> Iterative Normalization Beyond Standardization towards Efficient Whitening CVPR 2019

DBN的高效版本

2019，**Spatially-Adaptive Normalization**（CVPR）

> Semantic Image Synthesis with Spatially-Adaptive Normalization CVPR 2019

用于图像生成

2018，**Gradient Normalization**（ICML）

> GradNorm Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks ICML 2018

2018，**Kalman Normalization**

> Kalman Normalization Normalizing Internal Representations Across Network Layers NIPS 2018

2018，**Decorrelated Batch Normalization**

> Decorrelated Batch Normalization CVPR 2018

BN+白化

2018，**Spectral Normalization**（ICLR）

> Spectral Normalization for Generative Adversarial Networks ICLR 2018

2018，**Group Normalization**（ECCV）

> Group Normalization ECCV 2018

用于物体检测和语义分割等batch size很小的时候

GroupNorm是InstanceNorm的变体。

2018，**Batch-Instance Normalization**

> Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks NIPS 2018

2018，**Instance-Batch Normalization**

> Two at Once Enhancing Learning and Generalization Capacities via IBN-Net ECCV 2018

2016，**Layer Normalization**（没有发表）

用于RNN

2016，**Instance Normalization**（没有发表，但是经过了实践检验）

用于风格迁移

2016，**Weight Normalization**（NIPS）

2015，**Batch Normalization**（ICML）

用于卷积网络ConvNet和图像分类

转载于:https://www.cnblogs.com/think90/p/11522645.html

发表评论取消回复

表情：

评论列表（有 0 条评论，5人围观）

还没有评论，来说两句吧...

相关阅读

相关零基础理解批量归一化（batch normalization)

文从最基础的部分讲起，并包含很多对理解过程中的问题的思考。最近深度学习入门，读文献常常很多不懂，批量归一化这部分很重要，学习中有很多思考，写出来与大家分享。其中的问题或理...

喜欢ヅ旅行/ 2024年04月17日 05:45/ 0 赞/ 61 阅读

相关深度学习入门笔记（十三）：批归一化（Batch Normalization）

欢迎关注WX公众号：【程序员管小亮】 [专栏——深度学习入门笔记][Link 1] 声明 1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资

╰半橙微兮°/ 2023年07月02日 14:28/ 0 赞/ 233 阅读

相关如何理解归一化（Normalization）对于神经网络（深度学习）的帮助？

如何理解归一化（Normalization）对于神经网络（深度学习）的帮助？作者：知乎用户链接：https://www.zhihu.com/question/32

刺骨的言语ヽ痛彻心扉/ 2023年06月04日 02:50/ 0 赞/ 6 阅读

相关数据标准化/归一化normalization

http://[blog.csdn.net/pipisorry/article/details/52247379][blog.csdn.net_pipisorry_articl

超、凢脫俗/ 2022年09月25日 10:16/ 0 赞/ 192 阅读

相关数据标准化/归一化normalization

这里主要讲连续型特征归一化的常用方法。离散参考\[[数据预处理：独热编码（One-Hot Encoding）][One-Hot Encoding]\]。基础知识参考：

妖狐艹你老母/ 2022年06月11日 01:43/ 0 赞/ 422 阅读

相关机器学习之归一化（Normalization）

一、定义数据标准化（Normalization），也称为归一化，归一化就是将你需要处理的数据在通过某种算法经过处理后，限制将其限定在你需要的一定的范围内。数据标准化处理

╰+哭是因爲堅強的太久メ/ 2022年06月07日 06:18/ 0 赞/ 210 阅读

相关数据标准化/归一化normalization

http://[blog.csdn.net/pipisorry/article/details/52247379][blog.csdn.net_pipisorry_articl

以你之姓@/ 2022年05月20日 01:15/ 0 赞/ 657 阅读

相关神经网络与深度学习（一）

1. 神经网络与深度学习 1.1. 深度学习概述吴恩达（Andrew Ng）相信大家都不陌生了。8月8日，吴恩达在他自己创办的在线教育平台Coursera上线

叁歲伎倆/ 2022年04月23日 12:46/ 0 赞/ 440 阅读

相关神经网络为什么要归一化

想要在网络搭建上培养出自己的独立想法，扎实的理论基础还是很有必要的，不要只停留于工程应用。一直在用归一化操作，但没仔细想过好处在哪里，所以特意去查看了一下，加深理解。 [ht

蔚落/ 2022年03月15日 08:08/ 0 赞/ 241 阅读

相关深度学习：批归一化和层归一化Batch Normalization、Layer Normalization

深度神经网络模型训练难，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 自 2015 年由Google 提出之

分手后的思念是犯贱/ 2021年12月09日 19:37/ 0 赞/ 1494 阅读