防止过拟合（二）：Dropout

怼烎@ 2023-07-14 10:37 1阅读 0赞

[深度学习笔记：欠拟合、过拟合][Link 1]  
[防止过拟合（一）：正则化][Link 2]  
[防止过拟合（三）：数据增强][Link 3]

## Dropout ##

在 2012 年，Hinton 等人在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中使用了 Dropout 方法来提高模型性能。**Dropout**通过随机**断开**神经网络之间的**连接**，减少每次训练时实际参与计算的模型的参数量，从而减少了模型的实际容量，来防止过拟合。

**但是需要注意的是：在测试时，Dropout 会恢复所有的连接，保证模型测试时获得最好的性能。**

## 示意图 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70]  
图(a)是标准的全连接神经网络，当前节点与前一层的所有输入节点相连。  
图(b)是添加dropout功能的网络，按照概率随机断开神经网络的连接线。图中虚线代表了采样结果为断开的连接线，实线代表了采样结果不断开的连接线。

## TensorFlow2.0中实现dropout ##

1.可以通过 tf.nn.dropout(x, rate)函数实现某条连接的 Dropout 功能，其中rate表示断开的概率值。

# 添加dropout操作
    x = tf.nn.dropout(x, rate=0.5)

2.也可以将Dropout作为一个网络层使用，在网络中间插入一个 Dropout 层

# 添加dropout层
    model.add(layers.Dropout(rate=0.5))

## 实验效果 ##

为了验证 Dropout 层对网络训练的影响，我们在维持网络层数等超参数不变的条件下，通过在 5 层的全连接层中间隔插入不同数量的 Dropout 层来观测 Dropout 对网络训练的影响。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70 1]

从上图可以看到，在不添加 Dropout 层时，网络模型出现了明显的过拟合现象；**随着 Dropout 层的增加，网络模型训练时的实际容量减少，泛化能力变强。**

[Link 1]: https://blog.csdn.net/wjinjie/article/details/104849774
[Link 2]: https://blog.csdn.net/wjinjie/article/details/104851821
[Link 3]: https://blog.csdn.net/wjinjie/article/details/104860314
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70]: /images/20230529/1d79ead630b94a88bd93b11fd7d73880.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqaW5qaWU_size_16_color_FFFFFF_t_70 1]: /images/20230529/792b7b2aeb584e31b6069ab8954f518c.png