过拟合问题

朱雀 2022-03-10 02:56 224阅读 0赞

# 过拟合 #

神经网络模型在训练数据集上的准确率较高，在新的数据进行预测或分类时准确率较低。模型的泛化能力差。

发生过拟合的原因，主要有两个：

1）模型拥有大量参数、表现能力强；

2）训练数据太少；

# 正则化 #

权值衰减是通过在学习过程中对大的权值进行惩罚，来抑制过拟合。这时，为损失函数加上权重的平方数（L2范数），这样一来，就可以抑制权重变大。

> 对上面的话，作一下解释：
> 
> 权重参数的更新过程为：![W\_\{n+1\} = W\_\{n\}-learningRate\*\\bigtriangledown][W_n_1_ _ W_n_-learningRate_bigtriangledown]。如果为损失函数加上一个权重的L2范数，那么，梯度▽就会变大，![W\_\{n+1\}][W_n_1]自然会相应的减小。

有了正则化后，损失函数，在原来的基础上，增加了一项![\\frac\{\\lambda \}\{2n\} \\sum\_\{w\}w^\{2\}][frac_lambda _2n_ _sum_w_w_2].

![loss = loss + \\frac\{\\lambda \}\{2n\} \\sum\_\{w\}w^\{2\}][loss _ loss _ _frac_lambda _2n_ _sum_w_w_2]

其中n为训练样本总数，分母上的2是为了方便求导。![\\lambda][lambda]是正则化超参数，![\\lambda][lambda]越小，正则化的作用就越小，模型主要在优化原来的损失函数。![\\lambda][lambda]越大则正则化越重要，参数趋于0附近。

L1范数与之类似。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70][]

# Dropout #

Dropout是一种在学习的过程中随机删除神经元的方法。训练时，随机选出隐藏层的神经元，然后将其删除。被删除的神经元不在进行信号的传递。在测试时，虽然会传递所有的信号，但是，对于各个神经元的输出，要乘上训练时的删除比例后再输出。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1][]

[W_n_1_ _ W_n_-learningRate_bigtriangledown]: https://private.codecogs.com/gif.latex?W_%7Bn&plus;1%7D%20%3D%20W_%7Bn%7D-learningRate*%5Cbigtriangledown
[W_n_1]: https://private.codecogs.com/gif.latex?W_%7Bn&plus;1%7D
[frac_lambda _2n_ _sum_w_w_2]: https://private.codecogs.com/gif.latex?%5Cfrac%7B%5Clambda%20%7D%7B2n%7D%20%5Csum_%7Bw%7Dw%5E%7B2%7D
[loss _ loss _ _frac_lambda _2n_ _sum_w_w_2]: https://private.codecogs.com/gif.latex?loss%20%3D%20loss%20&plus;%20%5Cfrac%7B%5Clambda%20%7D%7B2n%7D%20%5Csum_%7Bw%7Dw%5E%7B2%7D
[lambda]: https://private.codecogs.com/gif.latex?%5Clambda
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70]: /images/20220310/cf694c5e90814aa0845d7d8ab8d90f14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BsU29uZ19DU0RO_size_16_color_FFFFFF_t_70 1]: /images/20220310/6d3954d1fb124cdd9dcfc3fa440842a9.png