[调参] 初始化不正确

Myth丶恋晨 2022-05-12 04:12 141阅读 0赞

#### 输出keras每层激励的方差 ####

如果参数初始化不正确，那整个训练过程会越来越慢，甚至直接停掉。不过我们可以很容易发现这个问题。表现最明显的数据是每一层的激励和梯度的方差(波动状况)。举个例子说，如果初始化不正确，很有可能从前到后逐层的激励(激励函数的输入部分)方差变化是如下的状况：  
我们用标准差为0.01均值为0的高斯分布值来初始化权重(这不合理)

Layer 0: Variance: 1.005315e+00
    Layer 1: Variance: 3.123429e-04
    Layer 2: Variance: 1.159213e-06
    Layer 3: Variance: 5.467721e-10
    Layer 4: Variance: 2.757210e-13
    Layer 5: Variance: 3.316570e-16
    Layer 6: Variance: 3.123025e-19
    Layer 7: Variance: 6.199031e-22
    Layer 8: Variance: 6.623673e-25

大家看一眼上述的数值，就会发现，从前往后，激励值波动逐层降得非常厉害，这也就意味着反向算法中，计算回传梯度的时候，梯度都要接近0了，因此参数的迭代更新几乎就要衰减没了，显然不太靠谱。我们按照上一讲中提到的方式正确初始化权重，再逐层看激励/梯度值的方差，会发现它们的方差衰减没那么厉害，近似在一个级别：  
重新正确设定权重:

Layer 0: Variance: 1.002860e+00
    Layer 1: Variance: 7.015103e-01
    Layer 2: Variance: 6.048625e-01
    Layer 3: Variance: 8.517882e-01
    Layer 4: Variance: 6.362898e-01
    Layer 5: Variance: 4.329555e-01
    Layer 6: Variance: 3.539950e-01
    Layer 7: Variance: 3.809120e-01
    Layer 8: Variance: 2.497737e-01

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关深度学习调参经验

前言笔者接触深度学习一年多了，阅读不少的CV论文，也敲了不少代码。当复现论文时，paper作者有时候不会给一些超参数以及调参经验，就得靠自己去揣摩了。调参是个技术活，快速...

淩亂°似流年/ 2024年05月24日 02:21/ 0 赞/ 41 阅读

相关 mllib调参 spark_Spark 模型选择和调参

Spark - ML Tuning 这一章节主要讲述如何通过使用MLlib的工具来调试模型算法和pipeline，内置的交叉验证和其他工具允许用户优化模型和pipeline中

妖狐艹你老母/ 2023年01月01日 04:54/ 0 赞/ 123 阅读

相关 LightGBM参数调优 LightGBM调参经验

对比参考 ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5Y-q6KaB5byA5aeL5r

太过爱你忘了你带给我的痛/ 2022年09月10日 10:22/ 0 赞/ 209 阅读

相关 xgboost 调参经验

本文介绍三部分内容： \- xgboost 基本方法和默认参数 \- 实战经验中调参方法 \- 基于实例具体分析 1.xgboost 基本方法和默认参数在

青旅半醒/ 2022年07月28日 09:59/ 0 赞/ 146 阅读

相关 Tensorflow：模型调参

Tensorflow中使用gridsearch 1 使用tf.contrib.learn.estimators 使用tf中自带的Estimator将自定义的

我就是我/ 2022年06月12日 14:13/ 0 赞/ 259 阅读

相关 XGBoost调参指南

XGBoost调参指南 [参考-官网][-] 方法1 可按照max\_depth, min\_child\_weight colsamplt\_bytree,et

客官°小女子只卖身不卖艺/ 2022年05月30日 09:44/ 0 赞/ 223 阅读

相关 [调参] 初始化不正确

输出keras每层激励的方差如果参数初始化不正确，那整个训练过程会越来越慢，甚至直接停掉。不过我们可以很容易发现这个问题。表现最明显的数据是每一层的激励和梯度的方差(波

Myth丶恋晨/ 2022年05月12日 04:12/ 0 赞/ 142 阅读

相关 caffe训练调参

参考： [https://blog.csdn.net/qq\_16234613/article/details/79596609][https_blog.csdn.net_

曾经终败给现在/ 2022年03月19日 07:20/ 0 赞/ 191 阅读

相关 SVM调参

[https://www.cnblogs.com/pinard/p/6117515.html][https_www.cnblogs.com_pinard_p_6117515.h

怼烎@/ 2022年01月20日 14:59/ 0 赞/ 237 阅读

相关 [机器学习]模型调参

一、问题描述当我们在处理图像识别或者图像分类或者其他机器学习任务的时候，我们总是迷茫于做出哪些改进能够提升模型的性能（识别率、分类准确率）。。。或者说我们在漫长而苦恼的

秒速五厘米/ 2021年11月29日 23:56/ 0 赞/ 292 阅读