机器学习优化问题

今天药忘吃喽~ 2023-02-14 05:50 65阅读 0赞

# 误差 #

误差：方差 ， 偏差  和  噪声之和

偏差（bias）：描述的是偏离正确值的程度。高偏差指的是： 训练集损失值 和 交叉验证集 损失值都很大，欠拟合。

方差（variance）： 描述的是预测值的波动情况。高方差指的是：训练集损失值很小，但是交叉验证集 损失值很大，过拟合。

噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。

## 高方差（过拟合）的优化方法: ##

1. 获取更多的训练样本

2. 尝试减少特征的数量

3. 尝试增加正则化程度lamda

## 高偏差（欠拟合）的优化方法： ##

1. 尝试获取更多的特征

2. 尝试增加多项式特征

3. 尝试减少正则化程度lamda

# 归一化（Normalization） #

用以解决 梯度消失/爆炸 的问题。

vanishing/exploding gradients have been largely addressed by normalized initialization and intermediate normalization layers.

归一化的目的就是使得预处理的数据被限定在一定的范围内（比如\[0,1\]或者\[-1,1\]），从而消除奇异样本数据（特别大或特别小的样本数据）导致的不良影响。

归一化工具：scikit-learn 包，里面有很多可选的归一化方法

# Xtrain 是numpy数组
    from sklearn.preprocessing import StandardScaler
    Xtrain = StandardScaler.transform(Xtrain)
        
    from sklearn.preprocessing import Normalizer
    Xtrain = Normalizer.transform(Xtrain)

# 正则化（Regularization） #

Regularization：减小方差（防止过拟合）的策略。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70][]

## 实现方法 ##

1. pytorch中，在SGD， Adam等优化器中有L2正则项-weight decay（权值衰减）参数

2. paddlepaddle中，在SGD， Adam等优化器中有 regularization 参数

3. tensorflow中，

## 正则化效果图 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 2][]

# Dropout #

（一般方法中设置值为\[0.5, 0.8\])

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 3][]

dropout效果图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 5][]

# 动量（Momentum），应用与SGD中。 #

动量加快代价函数快速收敛，提升收敛速度。

一般取值为：0.5， 0.9， 0.99。 和学习率一样，Momentum也会随着时间不断调整，一开始是一个较小的值，后来慢慢变大。

Momentum 对步长的 影响为：(learning\_rate\*grad) / (1- Momentum)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200601110519912.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200601111827744.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200601111459910.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200601111548606.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200601111759953.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200601111744268.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hc3RlclNoYXc=,size_16,color_FFFFFF,t_70