BN算法批量归一化算法

柔情只为你懂 2022-02-28 11:26 148阅读 0赞

### 1. BN算法的过程 ###

2015年的论文[《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》][Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift]  
思想：

1.  给每层神经网络的输出做一个**归一化**，将数据变为一个高斯分布。
2.  **为增加模型的表达能力**，每个神经元都要以自训练方式调整scale和shift两个参数。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb21pc2VqaWE_size_16_color_FFFFFF_t_70]

### 2. BN算法的好处 ###

1.  **可以增加训练速度，防止过拟合**：如果没有归一化，每一层训练后的数据分布都不同，网络需要更大的开销去学习新的分布，造成网络模型更加复杂，因此容易发生过拟合，网络收敛也比较慢。
2.  **可以避免激活函数进入非线性饱和区，从而造成梯度弥散问题**
3.  由于因为BN具有**提高网络泛化能力**的特性，可以减少了你可以移除dropout比例和正则化参数，这样**减少繁琐的调参**。
4.  可以省LRN局部归一化层。

[Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift]: https://arxiv.org/pdf/1502.03167.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb21pc2VqaWE_size_16_color_FFFFFF_t_70]: /images/20220228/d93cf5b1628246cfa15c5a5f63cfb3e6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，148人围观）

还没有评论，来说两句吧...

相关阅读

相关零基础理解批量归一化（batch normalization)

文从最基础的部分讲起，并包含很多对理解过程中的问题的思考。最近深度学习入门，读文献常常很多不懂，批量归一化这部分很重要，学习中有很多思考，写出来与大家分享。其中的问题或理...

喜欢ヅ旅行/ 2024年04月17日 05:45/ 0 赞/ 21 阅读

相关算法-递归算法

1、定义：函数（方法）直接或间接调用自身。必须要有一个明确的结束递归的条件 > 递归的退出条件：思考临界值-`拿到参数对它的范围进行判断`

墨蓝/ 2024年04月08日 09:38/ 0 赞/ 35 阅读

相关 k近邻算法-5.数据归一化

数据归一化（Feature Scaling）多个特征值时，其中某个特征数量级比较大，其他特征较小时，分类结果会被特征值所主导，而弱化了其他特征的影响，这是各个特征值的量

水深无声/ 2023年08月17日 16:44/ 0 赞/ 51 阅读

相关常用的归一化（Normalization）方法：BN、LN、IN、GN

常用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instan

墨蓝/ 2023年08月17日 16:40/ 0 赞/ 60 阅读

相关局部响应归一化（Local Response Normalization，LRN）和批量归一化（Batch Normalization，BN）的区别

为什么要归一化？归一化已成为深度神经网络中的一个重要步骤，它可以弥补ReLU、ELU等激活函数无界性的问题。有了这些激活函数，输出层就不会被限制在一个有限的范围内(比如

梦里梦外;/ 2023年07月04日 08:43/ 0 赞/ 11 阅读

相关 BN（Batch Normalization）：批量归一化

现在的神经网络通常都特别深，在输出层像输入层传播导数的过程中，梯度很容易被激活函数或是权重以指数级的规模缩小或放大，从而产生“梯度消失”或“梯度爆炸”的现象，造成训练速度下降和

港控/mmm°/ 2022年10月09日 06:27/ 0 赞/ 142 阅读

相关递归算法

今年上半年开展新项目, 每天都很忙但也很充实, 学到了很多东西, 比如如何处理50M以上的Excel, 批量处理10W+的数据，新的设计模式等。。。本次分享的是一个小技

àì夳堔傛蜴生んèń/ 2022年05月17日 06:34/ 0 赞/ 229 阅读

相关递归算法

定义：简单来说，递归算法就是直接或者间接调用自身的函数。把一个大型的复杂问题层层转换为一个与原问题相似的小规模的问题来求解。例子：一列数的规则如下: 1、1、2、3、5、8

绝地灬酷狼/ 2022年05月12日 12:14/ 0 赞/ 224 阅读

相关 BN算法批量归一化算法

1. BN算法的过程 2015年的论文[《Batch Normalization: Accelerating Deep Network Training by Reduc

柔情只为你懂/ 2022年02月28日 11:26/ 0 赞/ 149 阅读

相关算法--递归

递归：注意两点： 1.边界条件时（有时有return，有时是别的操作）代码里用橘红色标出 2.递归时参数变化（规模变小）代码里用黄色标出递归：你

野性酷女/ 2021年10月09日 03:44/ 0 赞/ 437 阅读