神经网络中权值初始化的方法

蔚落 2023-06-12 12:30 3阅读 0赞

from:http://blog.csdn.net/u013989576/article/details/76215989

权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive\_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）

**常量初始化(constant)**

把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定义

**高斯分布初始化（gaussian）**

需要给定高斯函数的均值与标准差

**positive\_unitball初始化**

让每一个神经元的输入的权值和为 1，例如：一个神经元有100个输入，让这100个输入的权值和为1. 首先给这100个权值赋值为在（0，1）之间的均匀分布，然后，每一个权值再除以它们的和就可以啦。这么做，可以有助于防止权值初始化过大，从而防止激活函数（sigmoid函数）进入饱和区。所以，它应该比较适合simgmoid形的激活函数

**均匀分布初始化（uniform）**

将权值与偏置进行均匀分布的初始化，用min 与 max 来控制它们的的上下限，默认为（0，1）

**xavier初始化(论文：[《Understanding the difficulty of training deep feedforward neural networks》）][Understanding the difficulty of training deep feedforward neural networks]**

对于权值的分布：均值为0，方差为（1 / 输入的个数） 的 均匀分布。如果我们更注重前向传播的话，我们可以选择 fan\_in，即正向传播的输入个数；如果更注重后向传播的话，我们选择 fan\_out, 因为在反向传播的时候，fan\_out就是神经元的输入个数；如果两者都考虑的话，就选 average = (fan\_in + fan\_out) /2。对于ReLU激活函数来说，XavierFiller初始化也是很适合。关于该初始化方法，具体可以参考[文章1][1]、[文章2][2]，该方法假定激活函数是线性的。

**msra初始化(论文：[《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》][Delving Deep into Rectifiers_Surpassing Human-Level Performance on ImageNet Classification].）**

对于权值的分布：基于均值为0，方差为( 2/输入的个数)的高斯分布；它特别适合 ReLU激活函数，该方法主要是基于Relu函数提出的，推导过程类似于xavier，可以参考[博客][Link 1]。

**双线性初始化（bilinear）**

常用在反卷积神经网络里的权值初始化

[Understanding the difficulty of training deep feedforward neural networks]: http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_GlorotB10.pdf
[1]: https://zhuanlan.zhihu.com/p/22028079
[2]: https://zhuanlan.zhihu.com/p/22044472
[Delving Deep into Rectifiers_Surpassing Human-Level Performance on ImageNet Classification]: http://arxiv.org/pdf/1502.01852.pdf
[Link 1]: http://blog.csdn.net/shuzfan/article/details/51347572