tf.train.AdamOptimizer()函数解析

ゝ一世哀愁。 2021-11-09 05:10 818阅读 0赞

tf.train.AdamOptimizer()函数是Adam优化算法：是一个寻找全局最优点的优化算法，引入了二次方梯度校正。

tf.train.AdamOptimizer.__init__(
    	learning_rate=0.001, 
    	beta1=0.9, 
    	beta2=0.999, 
    	epsilon=1e-08, 
    	use_locking=False, 
    	name='Adam'
    )

参数：

*  learning\_rate:张量或浮点值。学习速率
 *  beta1:一个浮点值或一个常量浮点张量。一阶矩估计的指数衰减率
 *  beta2:一个浮点值或一个常量浮点张量。二阶矩估计的指数衰减率
 *  epsilon:数值稳定性的一个小常数
 *  use\_locking:如果True，要使用lock进行更新操作
 *  name:应用梯度时为了创建操作的可选名称。默认为“Adam”

本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]

## 代码理解 ##

实际上运行tf.train.AdamOptimizer(),除了利用反向传播算法对权重和偏置项进行修正外，也在运行中不断修正学习率。根据其损失量学习自适应，损失量大则学习率大，进行修正的角度越大，损失量小，修正的幅度也小，学习率就小，但是不会超过自己所设定的学习率。

lr = 0.1
    step_rate = 1000
    decay = 0.95
    
    global_step = tf.Variable(0, trainable=False)
    increment_global_step = tf.assign(global_step, global_step + 1)
    learning_rate = tf.train.exponential_decay(lr, global_step, step_rate, decay, staircase=True)
    
    optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate, epsilon=0.01)
    trainer = optimizer.minimize(loss_function)
    
    # Some code here
    
    print('Learning rate: %f' % (sess.run(trainer ._lr)))

参考文章  
[tensorflow tf.train.AdamOptimizer][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5ODUyNjc2_size_16_color_FFFFFF_t_70]: /images/20211109/6e5831b2fcff4e13981e1283b6f22295.png
[tensorflow tf.train.AdamOptimizer]: https://www.jianshu.com/p/e6e8aa3169ca