转载：深度学习网络之Dropout

叁歲伎倆 2022-06-08 04:16 159阅读 0赞

转载地址：https://yq.aliyun.com/articles/68901

摘要： 本文详细介绍了深度学习中dropout技巧的思想，分析了Dropout以及Inverted Dropout两个版本，另外将单个神经元与伯努利随机变量相联系让人耳目一新。

更多深度文章，请关注云计算频道：[https://yq.aliyun.com/cloud][https_yq.aliyun.com_cloud]

--------------------

过拟合是深度神经网（DNN）中的一个常见问题：模型只学会在训练集上分类，这些年提出的许多过拟合问题的解决方案；其中dropout具有简单性并取得良好的结果：

Dropout

![7e31586d15d887ae0901452e2e1b1c6cb94f882e][]

上图为Dropout的可视化表示，左边是应用Dropout之前的网络，右边是应用了Dropout的同一个网络。

Dropout的思想是训练整体DNN，并平均整个集合的结果，而不是训练单个DNN。DNNs是以概率P舍弃部分神经元，其它神经元以概率q=1-p被保留，舍去的神经元的输出都被设置为零。

引述[作者][Link 1]：

在标准神经网络中，每个参数的导数告诉其应该如何改变，以致损失函数最后被减少。因此神经元元可以通过这种方式修正其他单元的错误。但这可能导致复杂的协调，反过来导致过拟合，因为这些协调没有推广到未知数据。Dropout通过使其他隐藏单元存在不可靠性来防止共拟合。

简而言之：Dropout在实践中能很好工作是因为其在训练阶段阻止神经元的共适应。

Dropout如何工作

Dropout以概率p舍弃神经元并让其它神经元以概率q=1-p保留。每个神经元被关闭的概率是相同的。这意味着：

假设：

h(x)=xW\+b，di维的输入x在dh维输出空间上的线性投影；

a(h)是激活函数

在训练阶段中，将假设的投影作为修改的激活函数：

![650f8f00ffeb3ef346a61ee248670abe173c4acb][]

其中D=(X1,...,Xdh)是dh维的伯努利变量Xi，伯努利随机变量具有以下概率质量分布：

![32363b313f65d3bf4231c5c57eace39d6fb7cb2c][]

其中k是可能的输出。

将Dropout应用在第i个神经元上：

![8899c12575bca1550dfd8127fd7eb0a2912a8f2a][]

其中P(Xi=0)=p

由于在训练阶段神经元保持q概率，在测试阶段必须仿真出在训练阶段使用的网络集的行为。

为此，作者建议通过系数q来缩放激活函数：

训练阶段：![fdb59b52bfa583cf08eaf7980e26e8fad453d148][]

测试阶段：![d6a2b220ee68540890eaf0dc537188c738600fb7][]

Inverted Dropout

与dropout稍微不同。该方法在训练阶段期间对激活值进行缩放，而测试阶段保持不变。

倒数Dropout的比例因子为![223ab9380c566fb9a74ff8a0a127e1174593bdf8][]，因此：

训练阶段：![6ebd718f4256f50134f7428bc5df4d3cc9ddceae][]

测试阶段：![6ccbf2b63a56155b6403093e8771952bb3e3515b][]

Inverted Dropout是Dropout在各种深度学习框架实践中实现的，因为它有助于一次性定义模型，并只需更改参数（保持/舍弃概率）就可以在同一模型上运行训练和测试过程。

一组神经元的Dropout

n个神经元的第h层在每个训练步骤中可以被看作是n个伯努利实验的集合，每个成功的概率等于p。

因此舍弃部分神经元后h层的输出等于：

![f580cf9006a568171c48ac7ec10f1d8997bf7d81][]

因为每一个神经元建模为伯努利随机变量，且所有这些随机变量是独立同分布的，舍去神经元的总数也是随机变量，称为二项式：

![023627f0453afe34e4bebb9ee10dfb7678d87989][]

n次尝试中有k次成功的概率由概率质量分布给出：

![55460b3bb5d23fc5fbc732366679150a56a67fec][]

当使用dropout时，定义了一个固定的舍去概率p，对于选定的层，成比例数量的神经元被舍弃。

![3be3ad14ec1d82ebafe981d1d3fc40ef6132e020][]

从上图可以看出，无论p值是多少，舍去的平均神经元数量均衡为np：

![933a160e2ead33c8ea51c1c7d41a69d3bb369eda][]

此外可以注意到，围绕在p = 0.5值附近的分布是对称。

Dropout与其它正则化

Dropout通常使用L2归一化以及其他参数约束技术。正则化有助于保持较小的模型参数值。

L2归一化是损失的附加项，其中λ是一种超参数、F(W;x)是模型以及ε是真值y与和预测值y^之间的误差函数。

![e596c69e772f833df283a96e806dde994d8b979d][]

通过梯度下降进行反向传播，减少了更新数量。

![a762ce896975e697de82661ee4e69a11f6e92fad][]

Inverted Dropout和其他正则化

由于Dropout不会阻止参数增长和彼此压制，应用L2正则化可以起到作用。

明确缩放因子后，上述等式变为：

![337e71fd721fded5b9298cad73ba6c3310057d6c][]

可以看出使用Inverted Dropout，学习率是由因子q进行缩放 。由于q在\[0,1\]之间，η和q之间的比例变化：

![71cf583c223c9f4e2d7a3021640ae747b9f5dacd][]

将q称为推动因素，因为其能增强学习速率，将r(q)称为有效的学习速率。

有效学习速率相对于所选的学习速率而言更高：基于此约束参数值的规一化可以帮助简化学习速率选择过程。

总结

1 Dropout存在两个版本：直接（不常用）和反转

2 单个神经元上的dropout可以使用伯努利随机变量建模

3 可以使用二项式随机变量来对一组神经元上的舍弃进行建模

4 即使舍弃神经元恰巧为np的概率是低的，但平均上np个神经元被舍弃。

5 Inverted Dropout提高学习率

6 Inverted Dropout应该与限制参数值的其他归一化技术一起使用，以便简化学习速率选择过程

7 Dropout有助于防止深层神经网络中的过度拟合

作者介绍：Paolo Galeone，计算机工程师以及深度学习研究者，专注于计算机视觉问题的研究

![bafcc5518a0f203dc66a08af1dd9a6ce1e386173][]

Blog：[https://pgaleone.eu/][https_pgaleone.eu]

Linkedin：[https://it.linkedin.com/in/paolo-galeone-6782b311b][https_it.linkedin.com_in_paolo-galeone-6782b311b]

Twitter：[https://twitter.com/paolo\_galeone][https_twitter.com_paolo_galeone]

以上为译文

本文由北邮[@爱可可-爱生活][-] 老师推荐，[阿里云云栖社区][Link 2]组织翻译。

文章原标题《Analysis of Dropout》，作者：Paolo Galeone，译者：海棠，审校：我是主题曲哥哥。

文章为简译，更为详细的内容，请查看[原文][Link 3]

[https_yq.aliyun.com_cloud]: https://yq.aliyun.com/cloud
[7e31586d15d887ae0901452e2e1b1c6cb94f882e]: /images/20220608/968f48d9720f458bbc04db2818e051c7.png
[Link 1]: https://arxiv.org/abs/1207.0580
[650f8f00ffeb3ef346a61ee248670abe173c4acb]: /images/20220608/04625291b8024377ba20bf4ffdf7890f.png
[32363b313f65d3bf4231c5c57eace39d6fb7cb2c]: /images/20220608/5c9c9f64e93349e2a5aedc455480fa55.png
[8899c12575bca1550dfd8127fd7eb0a2912a8f2a]: /images/20220608/4a028c9140834050965590d6249812ad.png
[fdb59b52bfa583cf08eaf7980e26e8fad453d148]: /images/20220608/c04b29fa5db64918a3d3afffc798b497.png
[d6a2b220ee68540890eaf0dc537188c738600fb7]: /images/20220608/a5ba13d44fd5475eb78e65a6ac6a8b2f.png
[223ab9380c566fb9a74ff8a0a127e1174593bdf8]: /images/20220608/43e4721ef1544918bb739ea0ad25ff70.png
[6ebd718f4256f50134f7428bc5df4d3cc9ddceae]: /images/20220608/f8750eb83544468eaa6a83c57809333f.png
[6ccbf2b63a56155b6403093e8771952bb3e3515b]: /images/20220608/67b0f027f8204c559dc2c91dd225c1b4.png
[f580cf9006a568171c48ac7ec10f1d8997bf7d81]: /images/20220608/6f83f3591adf4625acd5ade32827bbd9.png
[023627f0453afe34e4bebb9ee10dfb7678d87989]: /images/20220608/18e8674c9a30492c927f3c8757b459b8.png
[55460b3bb5d23fc5fbc732366679150a56a67fec]: /images/20220608/97b77acbb3d5465580dc4c4f89e96a87.png
[3be3ad14ec1d82ebafe981d1d3fc40ef6132e020]: /images/20220608/47ea830c92f64193931773ec2ac0e00c.png
[933a160e2ead33c8ea51c1c7d41a69d3bb369eda]: /images/20220608/394ae4d8a5604e2db460e36b3f6e7dac.png
[e596c69e772f833df283a96e806dde994d8b979d]: /images/20220608/a15a72fd989e4e5ea2917dea8f74a755.png
[a762ce896975e697de82661ee4e69a11f6e92fad]: /images/20220608/d84c3a3d1d9941be98036a1eaab65a1f.png
[337e71fd721fded5b9298cad73ba6c3310057d6c]: /images/20220608/fcffa26502b9408ebeeffaf8f3042ca7.png
[71cf583c223c9f4e2d7a3021640ae747b9f5dacd]: /images/20220608/698785f01ea0454f857f62dbb946269e.png
[bafcc5518a0f203dc66a08af1dd9a6ce1e386173]: /images/20220608/5c1c4a49d85547d1bb15e4e431f24ae2.png
[https_pgaleone.eu]: https://pgaleone.eu/
[https_it.linkedin.com_in_paolo-galeone-6782b311b]: https://it.linkedin.com/in/paolo-galeone-6782b311b
[https_twitter.com_paolo_galeone]: https://twitter.com/paolo_galeone
[-]: http://weibo.com/fly51fly
[Link 2]: http://weibo.com/taobaodeveloperclub
[Link 3]: https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/