Tensorflow：estimator训练

谁借莪１个温暖的怀抱￠ 2021-12-11 14:37 391阅读 0赞

学习流程：Estimator 封装了对机器学习不同阶段的控制，用户无需不断的为新机器学习任务重复编写训练、评估、预测的代码。可以专注于对网络结构的控制。  
数据导入：Estimator 的数据导入也是由 input\_fn 独立定义的。例如，用户可以非常方便的只通过改变 input\_fn 的定义，来使用相同的网络结构学习不同的数据。  
网络结构：Estimator 的网络结构是在 model\_fn 中独立定义的，用户创建的任何网络结构都可以在 Estimator 的控制下进行机器学习。这可以允许用户很方便的使用别人定义好的 model\_fn。model\_fn模型函数必须要有features, mode两个参数，可自己选择加入labels（可以把label也放进features中）。最后要返回特定的tf.estimator.EstimatorSpec()。模型有三个阶段都共用的正向传播部分，和由mode值来控制返回不同tf.estimator.EstimatorSpec的三个分支。

## 训练 ##

### 输出信息解析 ###

\[[Tensorflow：模型训练tensorflow.train][Tensorflow_tensorflow.train]\]

### 在训练或评估中利用Hook打印中间信息 ###

hooks：如果不送值，则训练过程中不会显示字典中的数值。

steps：指定了训练多少次，如果不送值，则训练到dataset API遍历完数据集为止。

max\_steps：指定了最大训练次数。

\# 在训练或评估的循环中，每50次print出一次字典中的数值  
tensors\_to\_log = \{"probabilities": "softmax\_tensor"\}  
logging\_hook = tf.train.LoggingTensorHook(tensors=tensors\_to\_log, every\_n\_iter=50)  
mnist\_classifier.train(input\_fn=train\_input\_fn, hooks=\[logging\_hook\])

## early stopping ##

### 函数原型 ###

tf.contrib.estimator.stop\_if\_no\_increase\_hook(  
    estimator,  
    metric\_name,  
    max\_steps\_without\_increase,  
    eval\_dir=None,  
    min\_steps=0,  
    run\_every\_secs=60,  
    run\_every\_steps=None  
)

'stop\_if\_no\_decrease\_hook'这个模块在tf 1.10才加入。hook可以看作一个管理训练过程的工具，比如说这里就是设置提前终止的条件，变量loss在100000步以内没有下降即终止，实际上更广泛的用法是用在对测试集的f1值上。

### **参数** ###

metric\_name: str类型，比如loss或者accuracy. hook中的参数metric\_name='acc'就是tf.estimator.EstimatorSpec(mode, loss=loss, eval\_metric\_ops=metrics)中的eval\_metric\_ops，即tf模块代码中通过的for step, metrics in read\_eval\_metrics(eval\_dir).items()得到的。但是训练好checkpoint后，就不能改，需要删除之前训练好的模型，重新训练。

max\_steps\_without\_increase: int，如果没有增加的最大长是多少，如果超过了这个最大步长metric还是没有增加那么就会停止。

eval\_dir：默认是使用estimator.eval\_dir目录，用于存放评估的summary file。

min\_steps：训练的最小步长，如果训练小于这个步长那么永远都不会停止。

run\_every\_secs和run\_every\_steps：表示多长时间获得步长调用一次should\_stop\_fn。

### 示例 ###

metrics = \{  
            'acc': tf.metrics.accuracy(tf.argmax(labels), tf.argmax(pred\_ids)),  
            'precision': tf.metrics.precision(tf.argmax(labels), tf.argmax(pred\_ids)),  
            'precision\_': tf\_metrics.precision(tf.argmax(labels), tf.argmax(pred\_ids), num\_labels),  
            'recall': tf.metrics.recall(tf.argmax(labels), tf.argmax(pred\_ids)),  
            'recall\_': tf\_metrics.recall(tf.argmax(labels), tf.argmax(pred\_ids), num\_labels),  
            'f1\_': tf\_metrics.f1(tf.argmax(labels), tf.argmax(pred\_ids), num\_labels),  
            'auc': tf.metrics.auc(labels, pred\_ids),  
        \}

for metric\_name, op in metrics.items():  
            tf.summary.scalar(metric\_name, op\[1\])

''' train and evaluate '''  
        if mode == tf.estimator.ModeKeys.EVAL:  
            return tf.estimator.EstimatorSpec(mode, loss=loss, eval\_metric\_ops=metrics)  
        elif mode == tf.estimator.ModeKeys.TRAIN:  
            train\_op = tf.train.AdamOptimizer().minimize(loss=loss,  
                                                         global\_step=tf.train.get\_or\_create\_global\_step())

...

hook = tf.contrib.estimator.stop\_if\_no\_increase\_hook(estimator, 'f1', max\_steps\_without\_increase=1000,  
                                                             min\_steps=8000, run\_every\_secs=120)   
        train\_spec = tf.estimator.TrainSpec(input\_fn=train\_inpf, hooks=\[hook\])

\[简书[tf.estimate][]\]

from: [\-柚子皮-][-_-]

ref:

[Tensorflow_tensorflow.train]: https://youzipi.blog.csdn.net/article/details/75110053
[tf.estimate]: https://www.jianshu.com/p/82cf413b899c
[-_-]: https://me.csdn.net/pipisorry